新一代人工智能与预训练大模型导论-1
大模型、大知识和大变革
从数据到知识
TRIZ理论
Genrich Altshuller提出了TRIZ发明问题解决理论。曾经的”收敛创新过程“主要包含了大量的试错，而TRIZ创新模式则是将待解决的问题抽象转化为TRIZ标准问题，再通过TRIZ工具得出TRIZ通用解，最后再通过辨识求解得出最终答案。
TRIZ包含40个创新原理，如分割原理、抽取原理……包含39个工程参数，如运动物体的质量、静止物体的质量……将上述工程参数形成为一张矛盾矩阵，纵轴为可以升级的工程参数，而横轴为会恶化的工程参数。通过查表，我们可以知道想要解决问题并且不造成大量恶化时应当采用的原理
TRIZ背后的逻辑
- 海量数据：250万人高水平发明专利，投入1500人年
- 规律与规则：40个创新原理、39个通用工程参数、矛盾矩阵
- 应用：TRIZ创新模式、Pro/Innovator、TRIZ软件
知识的表示和调用方式发生变化
| 表示方式的精确度 | 知识调用方式 | 调用方式的自然度 | 研究领域 | 代表应用 | 代表公司 | |
|---|---|---|---|---|---|---|
| 数据库 | 高 | sql | 低 | 数据库 | DBMS | Microsoft Oracle |
| 互联网 | 中 | keybored | 中 | 信息检索 | 搜索引擎 | |
| 大模型 | 低 | 自然语言 | 高 | 自然语言处理 | ChatGPT | OpenAI |
当我们讨论自然语言时，我们在讨论人类文明诞生和发展至今的全部知识。
通用人工智能的火花
GPT-4是AGI的早期版本。AGI，即artificial general intelligence，通用人工智能，具有一般人类智慧，
预训练大模型
技术浪潮
2022年11月30日，ChatGPT面世，我们看到了人工智能逐渐成为人人都会用的工具。
可以看到，ChatGPT快速走红，大众用户成长速度最快，并且在专业领域迅速普及，ChatGPT已经逐渐成为了科研工具。
什么是Chat GPT
GPT，即Generative Pre-Training Transformer。Openai，是一个开源AI平台，从2018年出现的GPT-1，具有一定的泛化能力，算是一个还算不错的语言理解工具，到2022年的ChatGPT，映入基于人类反馈的强化学习策略，再到2023年出现的GPT-4，更规模化、复杂化，增加视觉交互能力。
GPT的背后
大数据
从2018年的GPT-1到2022年的GPT-3，模型训练量从4.6GB增加到了45TB。主要模型数据集包括：
- 维基百科数据集（客观知识）
- 书记（故事讲述能力和反应）
- 杂志期刊（语言生成的严谨）
- Github代码等其他数据（逻辑推理）
大参数
ChatGPT的参数量约为1750亿，而GPT-4的参数量约为1750亿×5.7
大算力
ChatGPT的训练：
- 硬件门槛：>一万张A100显卡
- 训练费用：超过十亿人民币
- 训练电量：每次训练可支撑3000辆特斯拉行驶20万英里
- 碳排放：训练GPT-3的碳排放量，是客机从旧金山到纽约碳排放的3.5倍
涌现、开悟和思维链
模型规模到达一定程度时，多项任务性能发生质变：
- 涌现：大量事物聚集成整体后发生全新的规律、属性或模式
- 开悟：量变应发质变。带来的新能力：小样本学习、尝试推理、类比
- 思维链：一系列思考过程
相关概念
- 判别式人工智能：以深度学习技术学习数据分布为特征，主要任务是车辆识别、人脸识别等
- 生成式人工智能：以学习数据分布、数据产生的模式为特征，可以进行文学创作等
AIGC：AI-Generated Content。AI可以逐渐生成更加复杂的事物，文本、图像、甚至游戏
在AIGC之前，有PGC（Professional Generated Content）专业内容生成，有专业的内容创作者，工业化的生产流程；还有UGC（User Generated Content）由普通用户自行创作，质量参差不齐，但是形式更多样，具有简单直接的生产流程。而AIGC则由人工智能自动或者人机协作生成内容，质量迅速提升，且具有高度自动化的生产流程
*使用AI工具，学习相关概念
- 使用AI工具，对话式学习相关概念
- 建构笔记工具，构建知识图谱
大语言模型的典型能力
LLM典型能力
- 连续对话能力：在多轮对话中保持上下文，多轮对话、持续交互
- 抽象概括能力：从复杂内容中提取关键信息，归纳、抽象出主要意义和主题，生成简明扼要的总结或概括。主要应用在学术论文摘要等方面
- 角色扮演能力：理解人类意图，深挖模型自身所蕴含的潜在知识，模拟相应角色，主要应用是对话式学习
- 逻辑推理能力：GPT能模拟人类解决复杂任务的推理过程，典型应用有数学问题求解等
- 更正错误：在基础大模型上可以逐步更正错误
- 代码生成：根据上下文提示、用户的输入和问题描述，自动生成程序代码
LLM综合能力
- 通过律师考试，GPT-4超过90%人类。
- 通过程序员面试
- 智商测试超过绝大多数㑍
大语言模型能力边界与应用
局限
- 一本正经的胡说八道：幻觉（Hallucination），模型可能包含许多自然流畅、预警正确但是完全虚假的信息
- 数学：GPT-4在表达数学概念、解决数学问题、应用量化推理、面对需要数学思维和模型建构的问题等方面有很大的进展，但在数学计算方面仍然有可能出错
典型应用
- 可以用作搜索引擎，更高效地获得知识
- 再例如Copilot，可以更高效地整理文档，理解
- 智能笔记：Notion AI，可以文档自动写作
- 辅助阅读：ChatPDF，可以更快地了解PDF内容
- 多媒体摘要：Glarity Summary
- 需求分析： Shulex VOC
- 知识服务：Libaria，用作自定义客服
大语言模型的社会影响
人机协作加速社会发展
人机协作的工作模式极大地提升了工作效率，同时降低了运营成本。十年内的劳动生产率的增长提高1.5%/年，GDP增长7%。
- 职业影响：80%的员工至少有10%的任务可以被GPT减少>=50%。
- 薪资影响：工资越高，受影响程度越大，如数学家、作家、口译笔译，而一些体力劳动者则不怎么受影响
人工智能能快速提高人类决策质量，正如AlphaGO战胜李世石后，人类在围棋上的思维决策增强。
我们将有可能有新的工作机会和体面工作，技能提升是关键，大多数人要做的是技能提升，即学会使用AI，将有许多工作毁灭、工作产生，甚至变成每周四天工作制。根据统计，从第二次工业革命开始，人类的日均工作时间一直在下降，而生成式人工智能能将每个工人的平均劳动时间降低1.3%
产业新格局正在构建
可以看到大量领域出现新的人工智能，而从基础大模型再到领域知识微调适配，最后到垂直领域的应用创新，将成为发展趋势。不过目前，一些较为敏感的数据，如物联网数据、人民数据等暂未彻底进入基础大模型，将来仍有很大的发展空间
AI成为新的基础设施
从第一次工业革命的蒸汽时代开始，基础设置不断地进化，到了今天，将要形成以人工智能为代表的新型基础设施。
科技进步进入爆发期
AI for Science。从理论发现到产业落地，随着AI的发展，可能只需要四到五年，而在以前，这个周期是二十到三十年。
未来10年的科技进步，将超过之前100年的总和——麦肯锡
未来10年的科技创新，将超过之前100年的总和。
使用AI工具（批判性）阅读报告/论文
- 验证AI的输出，对AI提供的信息进行验证，确保其准确性和相关性。
- 理解AI的局限性：AI工具通常有一定的局限性，我们仍然需要去自己阅读资料
