Attention (注意力机制)
1. 背景：
字面的意思：给你一些东西(看见一个美女:).....)，你会注意什么？
大数据的时代下，有太多的数据，我们又该如何选择重要的数据呢？
Attention 诞生了，但是又该如何去做呢(i.e., 实现该机制呢)？
2. 如何实现注意力
查询的对象Q, 被查询的对象V
以下是网友的说法(初次接触这方面的只是点， 保留帮助理解)：
1） Query，Key，Value的概念取自于信息检索系统，举个简单的搜索的例子来说。当你在某电商平台搜索某件商品（年轻女士冬季穿的红色薄款羽绒服）时，你在搜索引擎上输入的内容便是Query。然后搜索引擎根据Query为你匹配Key（例如商品的种类，颜色，描述等）。然后根据Query和Key的相似度得到匹配的内容（Value)。
2）Q，K，V是三个矩阵。 是 X 输入与 Wq，Wk，Wv 点积的结果。 最开始Wq，Wk，Wv 是随机生成的， 后面通过训练 Wq，Wk，Wv 会不断调整，通过loss 函数进行。 Wq，Wk，Wv 就是需要训练的参数。
以下图来自(attention注意力机制到底是什么？Q，K，V指的谁，如何操作？什么是多头注意力？带你深入了解注意力机制，以及transformer中的QKV。_哔哩哔哩_bilibili)
