趋势洞察-新一代AI范式
从计算机发展角度看AI，分为两条支线, 即 硬件 和 算法。
发走观点如下：
硬件与算法互为因果
- 硬件发展历程(中央处理器)：
CPU => GPU => 仿生芯片(存算一体)
- 算法发展历程：
决策树 => SVM => NN => Transformer => ?
1.CPU-时代
遵从冯诺伊曼计算机架构（即通用计算机组成原理)。
将计算部件和存储部件分离，各自独立发展。
数据来会于两个部件，需要复杂的多级缓存即I/O技术。
-
硬件特点
计算部件CPU只负责计算，不能存储，离CPU越近，存储越小。
存储部件需要将数据和程序分块送进CPU, 再将计算结果返回。
发展结果就是CPU计算能力很强，但每次计算数据的数据量很少
-
算法特点
程序按逐条顺序执行，逐步发展到面向对象的分块执行。
算法更多是解决下采样问题，如分类问题，特征提取，压缩等。
无法解决上采样问题，如内容生成问题。
即对数据离散化，同时将复杂问题逐级拆解，再顺序运算得到结果。
2. GPU时代
-
硬件特点
需大规模矩阵运算，并存储过程数据，以更新模型参数
(单位时间内，存储需求大于计算速率)。计算部件(cuda)两边紧贴存储部件(显存)，存储和计算部件的距离更近。
（提升数据传递到计算单元的速度，适合大规模矩阵运算和存储)。
例子：单个显卡计算性能降低20%，但多显卡并行计算时计算性能并不会降低，性能瓶颈还是在数据传输上。
-
算法特点
端到端模型：学习一个庞大的参数模型，本质就是一堆参数。
需要大量真实数据，以及标注用于矩阵梯度计算，以学习数据特征。
算法首要需求是单位时间的数据量足够大，而非速度快。
例子：大模型
3. 未来新范式
3.1 大模型+小模型
这个在AI很多方面都在做，就是大模型有通用知识，小模型完成特定任务
-
抽象 + 具体
-
底层逻辑 + 上层业务
-
基座模型 + 任务模型
-
Pre-trained + Fine-tuning
-
Base Model + Personal Context
3.2 存算一体
算存合一的硬件，进一步降低存储到计算部件的传输成本，终极目标是计算和存储一体的仿生中央处理器，无需完成数据I/O这个当前技术最大瓶颈。
两个可能：
-
可能性一： 硬件无法实现，模型要不性能有限，要不开销过大，那通用人工智能就无法变革到强AI时代，机器也无法超越人。
-
可能性二： 硬件实现，AI模型的消耗大幅降低，同时性能取得突破。大雄配机器猫的通用人工智能时代到来。
参考文献
本文内容是对《安克创新CEO阳萌》专访的总结和延伸(2024 Jun) ，访谈链接如下：
大模型解决不了英伟达的难题：专访安克创新CEO阳萌 | 大咖谈芯第10期