词向量，位置嵌入；归一化；自注意力层；投影；残差连接：防止梯度消失；MLP；
目录
词向量，位置嵌入
归一化
自注意力层
我们该如何处理Q、K和V向量呢
投影
残差连接：防止梯度消失
MLP
层归一化处理
GELU激活函数
MLP Weights 和MLP Projection Weights区别和联系
一、MLP Weights
二、MLP Projection Weights：输入数据或隐藏层的输出投影到一个新的特征空间，以便进行进一步的处理或分析
投影的目的为了矩阵整合成合适的长宽，便于下一次的多头注意力计算，就是多Nx计算
三、区别与联系
五、举例说明
前面的层往往侧重于学习较低层次的特征和模式
后面的层则学习识别和理解较高层次的抽象概念和关系
底层可能学习语法、句法和简单的词汇关联
高层可能捕捉更复杂的语义关系、话语结构和上下文相关的含义。
词向量，位置嵌入
T代表
C代表通道（channel），但也称为「特征」或「维度」或「嵌入大小」。
归一化
我们的目标是使该列的平均值等于0，标准偏差等于1。为此，我们要找出该列的这两个量（平均值 (μ) 和标准偏差 (σ)），然后减去平均值，再除以标准偏差。
最后，在得到归一化值后，我们将列中的每个元素乘以学习权重 (γ)，然后加上偏置 (β)，最终得到归一化值。
我们在「输入嵌入」矩阵的每一列上执行这一归一化操作，得到的结果就是归一化后的「输入嵌入」，并将其传递给自注意力层。