初心 | AIGC时代下的思想蜕变
在24年初愚人节那天,完成了「融合RL与LLM思想,探寻世界模型以迈向AGI」全篇内容的撰写(共10万+字),在这里占用一篇笔记的空间向大家做一下推广,因最近几篇笔记中多有关于文章的思考、回顾,如几篇关于“泛化”、“表征”、“推理”等论述内容部分引自这篇文章中的节选内容,甚至近期几篇来自MIT,Meta,国内清北、大厂所发表的高引论文(也可参考近期所发的笔记)中的探索尝试也印证了文中早期的一些思考和观点。接下来也将持续为大家带来更多围绕这篇文章核心思想及相关最新前沿论文内容的延展性思考与最新阐释。
因为写作过程中诸多欠考虑因素,可能会造成篇幅仍过于冗长、繁杂的阅读体验,而且在内容表述和思考阐释过程中,自己感觉仍未找到一个更加适合的形式化表达工具或方法来阐释核心要点内容,最后只有通过这种可能是当前最简单、传统的自然语言文字的形式来表述,以方便各受众群体的阅读,再次跟大家抱歉!
在写完这篇文章外加最近外界的诸多新闻,似乎更坚定了我对AGI的确定性,因此回到我最初想要写这篇文章前其中的一个非常重要的目的之一即非常迫切的希望我们需尽快着手完善对AI进行综合安全监管和治理上的考虑,正如Hitton所担忧的那样..
不管未来AGI的实现路径是基于LLMs自回归一直暴力scaling prediction下去,还是沿着LeCun的“世界模型”路径缓慢摸索前进,还是下一代GPT中的Q*中出现了真正通往AGI的方法或范式,亦或sora变成了真正的世界模拟器,我想不管人类最终探索出上述通往AGI路途中的哪种路径,采用哪种模型结构,运用哪些数学变换方法,还是最终找到了创造无限的数据构象分布并建立全域流形pattern的可能,在这个世界中所蕴含的复杂认知模式以及对人类的长远影响,我想都是值得我们当下每一位AIer们持续思考、探索并做出正确的人类发展历程中的重要决定。
虽然看起来当前已经没有什么能够阻止以奥特曼为首率领的OpenAI大跨步迈向AGI前进了,其所尊崇的scaling law是否会成为阻止其“吞噬”真实世界的最后屏障,而也许此scaling law也许非彼law,即在自然法则下无休止的scaling law也许存在某种程度的逆向law,就像在我们的真实世界中并没有演化出无限制scaling的超级个体一样,也许这个世界还存在着另一个restricting law吧..
ps,文章出处大家可私信