Transformer - Outputs(Shifted Right)
Transformer - Outputs(Shifted Right)
flyfish
输入: “je suis etudiant”
预期输出 : “i am a student”
除了普通词汇之外，模型还引入了一些特殊token，常有的（start of sequence）、（end of sequence）以及（padding）等。
用于标记输出序列的开始，
用于表示序列的结束，
则用于填充较短序列至相同长度以便于批处理。
对Outputs有Shifted Right操作。Shifted Right 实质上是给输出添加特殊token。
正常的输出序列位置关系如下：
0-"je"
1-"suis"
2-"etudiant"
但在执行的过程中，我们在初始输出中添加了起始符，相当于将输出整体右移一位（Shifted Right），所以输出序列变成如下情况：
0-<sos>
1-"je"
2-"suis"
3-"etudiant"
The Illustrated Transformer