解读 | 为什么有很多名人让人们警惕人工智能

大家好，我是极智视界，欢迎关注我的公众号，获取我的更多前沿科技分享

邀您加入我的知识星球「极智视界」，星球内有超多好玩的项目实战源码和资源下载，链接：https://t.zsxq.com/0aiNxERDq

这个话题总能引起很多人的讨论。

这个话题最开始应该来源于著名理论物理学家史蒂芬·霍金，2014 年霍金在接受英国广播公司采访时警告说，人工智能的发展可能意味着人类的灭亡：

我们已经拥有原始形式的人工智能，而且已经证明非常有用。但我认为人工智能的完全发展会导致人类的终结

而后几年，相似的言论马斯克和比尔盖茨也表达过：

马斯克：我们需要万分警惕人工智能，它们比核武器更加危险

比尔盖茨：人工智能将最终构成一个现实性的威胁，但它在此之前会使我们的生活更轻松

把这个话题推向高潮的事情可能是，在 2023 年 3 月 28 日，包括马斯克、苹果联合创始人斯蒂夫·沃兹尼亚克在内的 1000 多名人工智能专家和行业高管签署了一份公开信，他们呼吁将 AI 系统的训练暂停六个月，理由是对社会和人性存在潜在风险。他们在公开信中呼吁暂停高级人工智能开发，直至此类设计的共享安全协议经由独立专家开发、实施和审核：

只有我们确信他们的影响积极且风险可控时，强大的人工智能系统才应该被开发出来

从这些事情也足以看出，很多名人都在通过媒体发声，呼吁人们警惕人工智能。

我来举两个最近的例子，第一个是前段时间 OpenAI CEO 奥特曼的离职风波，其背后的原因就是 "来自人工智能的威胁"，后来经过层层深挖，OpenAI 的神秘大模型 Q-Star 浮出水面，而 OpenAI 的首席科学家 Sutskever 也属于题意中的人工智能威胁论的 "保守派名人"，很大程度上就是因为在 Q-Star 身上看到了 AGI 的 "影子"，"警惕" 人工智能可能会对人类的危险，所以发动了这次 OpenAI 的高层 "政变"。这个事件再一次让 "人工智能威胁论" 摆在大众热议的话题下，对于这个事件的整理以及由这个事件引出对于 "被认为需要被人们警惕" Q-Star 的分析解读，可以看我的文章 供参考，

• 《详细梳理山姆·奥特曼离职闹剧 仍试图重返OpenAI》；
• 《外网讨论疯了的神秘模型Q*(Q-Star)究竟是什么？OpenAI的AGI真的要来了吗 | 详细解读》；

另一个例子是这几天闹得沸沸扬扬的 "GPT-4 变懒了的" 事件。事情是这样的，很多用户反映在 11 月 6 日 OpenAI 开发者日更新之后，GPT-4 就有了 "偷懒" 的毛病，特别是在代码任务，让用户和 OpenAI 都一脸懵逼。这个事件充分暴露了以 GPT-4 为代表的大模型的 "不确定性" 和 "不可控性"，目前来看，真的很难理解和弄清楚 "为啥会这样"，大家解释来解释去，大多还是停留在猜测以及试验的归纳总结。正是因为缺乏 "科学的可解释性"，在咱们这么一个 "科学为上" 的认识世界里，"不安" 和 "警惕" 的存在就很能够理解了，特别是对于那些 "心怀远大" 的名人来说，尤为如此。对于这个事件，我也从技术角度进行了分析解读，可供你 "一探究竟"。

• 《解读 | GPT-4突然"变赖" 是莫名其妙还是另有玄机》；

继续来说说我的观点。

我觉得是否需要 "警惕"，关键还是在于是否会出现 AGI 或者是否有出现 AGI 的迹象。而对于这个 "需要警惕的标准"，我还是比较乐观的，我觉得以咱们目前的方式想要实现 AGI 基本是不太可能的。我心目中的 AGI 所依赖的算力功耗不应该是目前这么庞大的，这就像人脑一样，咱们的智力水平这么高但是功耗却很低。我心目中真正的 AGI 应该是那种低功耗却能提供无穷无尽的智力，它可以一开始一无所知，但是它能够超级快速地自我学习、自我反馈。这种模式可以借用咱们国产大模型厂商的一个名字，我觉得取得挺好，那就是 "零一万物"，零生一、一生万物。在这样的角度下，目前拥有的不管是 OpenAI 的 GPT 模型，还是 Meta 的 LLaMA 模型，都不是那种 "理想形态"。这主要体现在，一是它们消耗的算力实在过于庞大，这就像一堆二愣子堆出来一个小孩子一样；二是它们对于开放世界的在线学习能力特别有限，甚至是没有，现在多是借助外挂。目前你要想让它们像咱们人脑一样实时在线学习，那是不可能的，所以这根本不像 AGI 的生存形态。

现在的基于 Transformer 的大模型算力依旧是依靠晶体管的堆叠，这种冯诺依曼的架构在超高算力场景下的 "各种墙"，比如存储墙、比如功耗墙，注定不会让算力无止尽。你不要看英伟达现在如此风光，明年要发布的新一代 GPU 性能多么地 "无止尽"，需要清楚的是现在认为的算力高，只是堆出来的，并没有本质上解决低功耗超高算力的问题。

而我会更加看好量子计算、量子机器学习、类脑计算的研究 (存内计算也许算一种过渡但也不算终极答案，但是存内计算会比现在的计算模式更加先进，这点毋庸置疑)，也许未来还有其他方向的研究，但实现 AGI 绝对不会是目前的这套解决方案。所以从我的角度，前段时间曝出的 OpenAI 的 Q-Star 模型不会是 AGI，要实现 AGI，不仅仅是目前这套深度学习模型架构还得换代 (这种换代就像是从卷积神经网络换代到 Transformer 一样，Transformer 还得继续换代到下一代)，而且算力提供的方式也得换代 (基于晶体管的堆叠，对于无穷尽的算力需求是不可能实现的)。要实现 AGI，绝没有这么简单，也没有这么快。

所以从我的角度，不用过于 "警惕人工智能"，对于 AGI 来说，现在的 "小打小闹" 才哪到哪。

【极智视界】

《解读 | 为什么有很多名人让人们警惕人工智能》

畅享人工智能的科技魅力，让好玩的AI项目不难玩。邀请您加入我的知识星球，星球内我精心整备了大量好玩的AI项目，皆以工程源码形式开放使用，涵盖人脸、检测、分割、多模态、AIGC、自动驾驶、工业等。一定会对你学习有所帮助，也一定非常好玩，并持续更新更加有趣的项目。https://t.zsxq.com/0aiNxERDq