『大模型笔记』LLM秘密：温度、Top-K和Top-P抽样技术解析！
| 『大模型笔记』LLM秘密：温度、Top-K和Top-P抽样技术解析！ |
文章目录
- 一. LLM秘密：温度、Top-K和Top-P随机采样技术解析！
- 1. 温度（Temperature）参数
- 2. Top-K采样
- 3. Top-P采样
- 4. 总结
- 补充：TopK采样解释：
- 步骤1: 确定Top-K词
- 步骤2: 归一化选择的Top-K词的概率
- 步骤3: 从重新归一化的Top-K词中抽样
- 结果
- 二. 参考文献
一. LLM秘密：温度、Top-K和Top-P随机采样技术解析！
嗨，大家好！今天我们将学习 大语言模型中的随机采样技术，这是一个关键算法，我们还将探讨三个重要的辅助技术：温度（Temperature）、TopK和TopP采样。首先，让我们回顾一下大语言模型是如何生成文本的。简单来说，它们通过自回归方式生成文本，即在每个步骤生成一个Token时，利用一定窗口内的前几个Token的信息，为每个单词创建一个概率分布，从中选择当前步骤的最佳候选词。
通常，我们可以简单地选择概率最高的单词，这种方法被称为 贪婪解码（greedy decoding）。例如，对于句子“today the weather is”，会选择单词“sunny”。然而，这种方法往往会导致输出过于确定和重复，这在某些需要精确结果的情况下是有用的，比如语音识别系统的语音转录。
但在大语言模型中，我们的目标往往是生成具有一定创造性的输出。这些模型被设计用来捕捉和再现人类语言的复杂性，其中多样性和原创性是很重要的。通过温度、TopK和TopP