一、 自注意力机制
最近非常火的ChatGPT中，核心部分使用了著名的self-attention自注意力机制，对输入输出序列的 “依赖” 项（依赖通过相关性来度量）进行建模而无需考虑它们在序列中的距离。注意力可以认为是对观察对象中找出分辨对象特征重要性能力。如辨识人，脸是最重要的一个参考。对于如下这个句子： “原野中，牡丹是最美丽的花卉。”，“牡丹”是最核心的，是我们解读这个句子最需要抓住的对象，“美丽”是一个很重要的描述，这个词和“牡丹”有很重要的关联，而“花卉”和“牡丹”的关联性也很强。哪一个和“牡丹”的关联性更强，也就是需要发掘出一个句子中各个单词相对重要性，这个过程的实现就是注意力机制。
要在一个句子中得到词的重要性，就涉及两个方面，一个是这个词本身的含义（全域意义），一个是这个词和句子中其他词的相关性（局部相关）。二者结合起来共同形成注意力机制。
二、 分词及词向量
句子中要进行分析，需要先进行断句得到分词。如可以分成 〖 “原野”，“中”，“，”，“牡丹”， “是”，“最”，“美丽”，“的”，“花卉”，“。”〗。得到token（标识符），也就是上句中的单词和标点符号。去掉对句子意义影响不大后的标点符号和停用词后，如剩下〖 “原野”，“牡丹”， “最”，“美丽”，花卉〗，对剩下的token转化为可以被计算机识别的词向量。在这个过程中，有许多开源软件来实现。
“牡丹”如果转化为词向量，可以是(0,0,1,0,⋯,0) ⋯①，也可以是 (0.2,0.5,0.1,0.55,⋯,0.65) ⋯②。比如，这两个向量的维度都是512维。但是，前一个向量，其中的分量只有一个1，其他的都是0，很稀疏，后一个就很稠密了。
三、 注意力机制的两个要素计算
1. 句子中各个词的之间的依赖性
词之间的相似性，一般有两种方式来求。一种是词向量之间的距离远近，一种是词向量之间的夹角，二者都可以反映词之间的相似性。但是在此使用词向量时，就需要使用②式类的。
余弦夹角反映了向量之间的相似性，只用上式的分子部分，就是向量之间的内积就可以反映向量之间的相似性。一个句子中，如果第一个token为
第二个token为
则可以计算
矩阵 X 可以变为由行向量 xi （i∈m）组成的列向量
这里，n就是词向量的维度，如512维。
如果要计算一个句子中所有的词之间的相似度，就可以通过 XXT 来实现。
2. 词向量本身的语义
对于输入矩阵X，每一个行向量是一个词向量，本身就含有某种语义的信息价值，②式可以表达这种语义，至少语义相近的词，其词向量也相似。语义相似的词有相似的向量表示。赋予词向量中分量的数值算法，也就需要保证这种语义在全篇文章中的体现。密集词向量，总体目标是尽量使该概率最大化，以便经过百万次反向传播后，具有相同周围词向量的词更容易在向量空间中具备相似的含义。
每个单词的词向量是通过将其表示为一个高维空间中的点来实现的。我们使用预训练的词向量模型，如Word2Vec或GloVe，来为每个单词分配一个向量表示。这里的词向量不仅仅是为了在多头注意力机制中计算内积，还可以捕捉单词的语义特征，并且可以帮助模型识别同义词、近义词等简化语法规则。通常会令相同的词在词向量空间中非常接近，以使得这些词之间在注意力计算过程中的内积得分高于其他词。
一个词在整个文本中的重要性，和他的模的大小具有相关性。关于模大小表示文本中单词的重要性在某些情况下可能很有用。例如，在关键字检索任务中，可以通过使用TF-IDF权重对单词进行加权，其中权重与单词出现的频率和在文档中出现的频率成反比。这种权重表示单词在文本中的重要性，并且可以有效地在文本分类和信息检索等任务中使用。
3. 融合句子中词的相关性和词的语义
⋯③
词向量之间的相似性矩阵再结合了词组的语义得到的关于每个词的注意力机制。
四、 优化注意力机制
1. 容易出现的问题
词的相似度为何不直接使用来计算式，③中存在问题如下
Token永远和自己的相关度最大。，X和自己的转置矩阵相乘，X的一个行向量是词向量，
就是句子中每一个词向量和其他所有词向量的内积<x·x>，内积的大小度量词之间相似度。
是一个对称矩阵。主对角线是词和自己的相似度。这不是希望的结果。
容易出现欠拟合。很简单，容易出现欠拟合。
2. 对输入词向量进行线性变换
一定要在右边训练参数矩阵W？原因如下。
增加一个张量W，让X经历了一次线性变换得到 Q、K、V，可降低经验风险，让模型结构复杂一些，增加模型拟合能力，泛化能力也更高
隐因子模型LFM推荐算法中，也不是直接填充用户-项目矩阵U，而是经过SVD，分别对用户-隐因子矩阵P，隐因子-项目矩阵Q填充。U = PQ，通过填充 P，Q，再相乘得到 U
3. 核心ATTENTION模型
可以使用其他激活函数，如 ReLU 来替代 softmax
4. 对结果的进一步分析理解
结论解读：词向量
5.人工神经元
自注意力机制中，参数矩阵W可以认为是输入矩阵X连接权值，XW 可以认为是做了一个乘以了权重的线性相加，是一个对输入向量进行线性变换的过程。softmax 函数可以被看作是一个非线性激活函数，它将线性变换的结果转换为概率分布形式，输出是多分类的，因此这个过程可以认为就相当于一个人工神经元所做的工作。在神经网络中起着类似于神经元的作用。
不过需要注意的是，注意力机制是一种更灵活的机制，它不像传统的神经元具有固定的权重参数，而是可以根据不同的输入，进而实现更高效、更准确的特征编码和提取。
