大模型-模型预训练-模型参数量计算
一、说明
- 当前主流大模型架构为因果解码器架构
- 以下参数量计算以LLaMA为例
- 假设解码器有L层、词表大小为V
二、参数量组成部分及计算
1、输入嵌入层【VH】
词表大小为V，每个单次映射到一个H维的向量，且输入嵌入层只有一层，因此有VH个参数
2、多头自注意力层【4LH²】
解码器的每一层都包含一个多头自注意力层，查询、键、值三个组成变换矩阵，1个包含H²个参数，共3H²个参数，同事还需要1个额外的线性变换来将多头自注意力机制的输出拼接成最终的输出，有需要H²个参数，总共需要4LH²个参数
3、前馈网络层【3LHH´】
由三个线性变换组成，中间有一个非线性激活函数，前两个线性变换将输入从H维映射到H´维度，需要2HH´个参数，最后一个线性变换将输出从H´维映射回H维，需要HH´个参数，总共需要3HH´个参数
4、归一化层【2HL+H】
每层解码器包含两个RMSNorm操作，分别用于多头注意力层和前馈网络层的输入进行归一化处理，共有2LH个参数，最后一层也有一个归一化层，需要H个参数
5、输出层【VH】
输出层包含一个线性变换，将解码器的输出映射到词表大小V的维度，使用Softmax归一化后预测下一个单词的概率分布，需要VH个参数
三、计算过程
输入嵌入层VH+多头自注意力层4LH² +前馈网络层3LHH´+归一化层2LH+H +输出层VH
= 2VH + H + L(4H² + 3HH´ + 2H)