NLP：Attention和self-attention的区别

核心思想是根据不同的上下文为不同的信息分配不同的注意力权重

效果：

• Attention：它允许模型在解码时聚焦于输入的特定部分，从而更好地捕获上下文信息。
• Self-attention：它帮助模型捕获输入序列内部的关系，无论这些关系的距离有多远。

计算：

• Attention：权重是基于当前的输出（或解码器状态）和所有的输入（或编码器状态）来计算的。
• Self-attention：权重是基于输入序列的每一个元素与其他所有元素的关系来计算的。

数学：

self-attention比attention约束条件多了两个：

1. Q=K=V（同源）   也就是说，查询、键、和值都来自于同一个地方，即输入序列和输出序列是相同的，即模型在生成每一个输出时都对自己的所有输入（包括自己）进行加权求和。

2. Q，K，V需要遵循attention的做法