『大模型笔记』如何让小型语言模型发挥作用！
| 如何让小型语言模型发挥作用！ |
文章目录
- 一. 如何让小型语言模型发挥作用！
- 不可能的可能性
- 小模型的潜力
- 创新方法与突破
- 实践与验证
- 过滤系统与数据质量
- 小模型的逐步改进
- 信息理论蒸馏方法(新工作InfoSum)
- 总结与展望
- Infini-Gram与N-gram模型的新时代
- 后缀数组与高速计算
- 二. 参考文献
- 作者主页：https://homes.cs.washington.edu/~yejin/
一. 如何让小型语言模型发挥作用！
不可能的可能性
好吧，我今天要与你分享一些看似不可能的可能性。去年，有人问Sam Altman，印度的初创企业如何为印度创建基础模型时，他回答说：“不用费心了，这是没有希望的。”哇。首先，我希望印度的初创企业没有因此放弃，也不会放弃。其次，这种对话可能发生在任何地方。在美国的任何大学、初创企业或研究机构，即使它们没有那么多计算资源。所以，这里介绍一种“不可能的蒸馏”方法。如何以环保的方式训练你的小型语言模型，并且效果堪比大型模型。
目前，我们听到的成功配方是极大规模的预训练，然后是极大规模的后训练，如RLHF（人类反馈强化学习）