当前位置：首页 > news >正文

transformer - 注意力机制

news 2026/2/7 21:56:26

在这里插入图片描述

Transformer 的注意力机制

Transformer 是一种用于自然语言处理任务的模型架构，依赖于注意力机制来实现高效的序列建模。注意力机制允许模型在处理一个位置的表示时，考虑输入序列中所有其他位置的信息，而不仅仅是前面的几个位置。这种机制能够捕捉远距离的依赖关系，是 Transformer 的核心组件。

注意力机制的核心组件

在 Transformer 中，注意力机制的核心组件包括查询（Query，Q）、键（Key，K）和值（Value，V）。这些组件的具体作用和生成过程如下：

查询（Query，Q）： 表示需要查找的信息。
键（Key，K）： 表示可以提供的信息。
值（Value，V）： 表示每个位置的实际信息或特征。

这些组件通过以下步骤实现注意力机制：

1. 输入嵌入和线性变换

原理解释： 输入序列首先通过嵌入层转化为嵌入向量，然后通过线性变换生成查询、键和值向量。假设输入序列为 $X$ ，线性变换生成 Q、K 和 V 的公式如下：

$XW^Q, \quad K = XW^K, \quad V = XW^V$

生活中的例子： 想象你在图书馆寻找书籍。每本书都有其特定的主题标签（嵌入向量）。你通过查询标签（Q）寻找与你想读的书（K）匹配的标签，然后提取相应书籍的内容（V）。

目的： 通过线性变换生成查询、键和值向量，确保模型能够在统一的特征空间中进行相似度计算。

原因解释： 将输入转化为统一的特征表示后，模型能够更有效地计算相似度，并进行后续的注意力计算。

2. 计算点积注意力

原理解释： 点积注意力（Dot-Product Attention）的计算包括以下几个步骤：

计算查询和键的点积： 计算查询向量 $Q$ 和键向量 $K$ 的点积，得到相似度矩阵。

$QK^T$
缩放点积： 将点积结果除以键向量维度的平方根 $\sqrt{d_k}$ 进行缩放。

$\frac{QK^T}{\sqrt{d_k}}$
应用 Softmax 函数： 对缩放后的点积结果应用 softmax 函数，得到注意力权重。

$\text{softmax}\left( \frac{QK^T}{\sqrt{d_k}} \right)$
加权求和值向量： 使用注意力权重对值向量 $V$ 进行加权求和，得到最终的注意力输出。

$Z = A V$

生活中的例子： 你在图书馆用一个关键词（Q）搜索书籍。图书馆系统会根据每本书的主题标签（K）计算与关键词的相似度（点积），然后按照相似度高低（softmax）推荐书籍，并根据这些推荐给你提取书籍的内容（V）。

目的： 计算每个查询与键的相似度，分配注意力权重，并根据这些权重对值进行加权求和，得到最终的注意力输出。

原因解释： 通过计算相似度，模型能够识别输入序列中哪些部分相关，从而根据相关性分配注意力。缩放操作确保数值稳定，softmax 函数将相似度转化为概率分布，加权求和则整合了相关信息。

缩放点积的数学推导

为什么使用 $\sqrt{d_k}$ 进行缩放？这是因为点积的期望和方差。假设 $Q$ 和 $K$ 的每个元素是零均值单位方差的随机变量：

点积的期望为0。
点积的方差为 $d_k$ 。

通过缩放，使得点积的期望和方差标准化，防止数值过大导致梯度消失和数值不稳定。

生活中的例子： 想象你在图书馆搜索书籍时，系统会根据标签（K）的数量调整搜索结果的相似度计算。例如，如果标签很多，系统会将相似度分数进行缩放，避免过大的数值影响推荐。

目的： 缩放点积结果，确保数值稳定，避免梯度消失和数值不稳定问题。

原因解释： 点积的方差随着维度增加而变大，缩放操作将其标准化，确保计算的数值范围合理，从而提高模型训练的稳定性和效果。

3. 多头注意力机制

原理解释： 为了捕捉输入序列中的不同特征，Transformer 使用多头注意力机制（Multi-Head Attention）。具体步骤如下：

线性变换生成多个头的 Q、K 和 V： 对输入进行多次线性变换，生成多个头的查询、键和值。
独立计算每个头的注意力： 对每个头独立计算注意力。
拼接多个头的输出： 将所有头的输出拼接在一起。
线性变换融合多个头的输出： 对拼接后的输出进行线性变换，得到最终输出。

生活中的例子： 想象你在图书馆用不同的关键词（多个头）搜索书籍。每个关键词会得到一组推荐书籍（每个头的输出），然后你将所有推荐结果综合考虑，得到最终的书籍列表（拼接和线性变换）。

目的： 捕捉输入序列中的多种特征，增强模型的表达能力。

原因解释： 不同的头能够关注输入序列中的不同部分，通过多头注意力机制，模型能够更全面地理解输入序列中的信息。

4. 位置编码

原理解释： 由于 Transformer 不包含递归或卷积结构，因此需要引入位置编码（Positional Encoding）来保留输入序列中元素的位置信息。位置编码是添加到输入嵌入中的固定或可学习的向量。

常用的正弦和余弦位置编码公式如下：

$PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$
$PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{\text{model}}}}\right)$

生活中的例子： 想象你在图书馆借书时，图书馆会记录每本书的位置（位置编码），即使书籍内容相同，位置不同也会影响你找到书的效率。

目的： 保留输入序列中元素的位置信息，使模型能够捕捉顺序信息。

原因解释： 位置信息对于语言理解非常重要，通过位置编码，模型能够更好地理解序列中元素的相对位置和顺序。

5. 残差连接和层归一化

原理解释： 每个注意力层和前馈神经网络层后面都有残差连接（Residual Connection）和层归一化（Layer Normalization），以确保梯度流动更顺畅，并加速模型训练。

生活中的例子： 想象你在图书馆阅读书籍时，有一个记录你阅读进度的系统（残差连接），确保你不会丢失之前的阅读进度。同时，图书馆会定期整理和归类书籍（层归一化），确保书籍的排列整齐有序。

目的： 确保梯度流动更顺畅，加速模型训练，保持输入和输出的数值稳定。

原因解释： 残差连接能够避免梯度消失问题，层归一化则确保输入和输出的数值范围一致，增强模型的训练效果。

6. 前馈神经网络

原理解释： 注意力机制的输出通过前馈神经网络（Feedforward Neural Network, FFN），每个位置独立地通过相同的网络。FFN 包括两个线性变换和一个激活函数：

$\text{FFN}(x) = \max(0, xW_1 + b_1)W_2 + b_2$

生活中的例子： 想象你在图书馆选择了几本书（注意力输出），然后你决定逐本阅读，并将每本书的内容进行总结和理解（前馈神经网络处理）。

目的： 对注意力输出进行进一步的特

征提取和处理。

原因解释： 前馈神经网络能够对每个位置的特征进行深度处理，提取更高层次的表示。

7. Transformer 编码器和解码器

原理解释： Transformer 包括编码器和解码器两个部分：

编码器（Encoder）： 由多个相同的层组成，每层包括多头注意力机制和前馈神经网络。
解码器（Decoder）： 与编码器类似，但每层包括额外的一个用于处理编码器输出的多头注意力层。

编码器和解码器的交互通过注意力机制，解码器中的多头注意力机制利用编码器的输出来生成新的序列。

生活中的例子： 想象你在图书馆借书（编码器），你阅读这些书并记下笔记（解码器），然后用这些笔记写一篇文章（生成新的序列）。

目的： 实现序列到序列的任务，如机器翻译和文本生成。

原因解释： 编码器提取输入序列的特征，解码器根据这些特征生成新的序列，完成语言理解和生成任务。

结合具体实例

假设我们有一个句子 “I love NLP”，输入嵌入如下：
$\begin{pmatrix} 0.1 & 0.2 & 0.3 \\ 0.4 & 0.5 & 0.6 \\ 0.7 & 0.8 & 0.9 \end{pmatrix}$

通过线性变换生成 Q、K 和 V：
$XW^Q, \quad K = XW^K, \quad V = XW^V$

假设 $W^Q$ 、 $W^K$ 和 $W^V$ 是：
$W^Q = \begin{pmatrix} 0.1 & 0.2 & 0.3 \\ 0.4 & 0.5 & 0.6 \\ 0.7 & 0.8 & 0.9 \end{pmatrix}, \quad W^K = \begin{pmatrix} 0.1 & 0.3 & 0.5 \\ 0.2 & 0.4 & 0.6 \\ 0.3 & 0.5 & 0.7 \end{pmatrix}, \quad W^V = \begin{pmatrix} 0.1 & 0.2 & 0.3 \\ 0.4 & 0.5 & 0.6 \\ 0.7 & 0.8 & 0.9 \end{pmatrix}$

计算结果：
$\begin{pmatrix} 0.14 & 0.32 & 0.5 \\ 0.32 & 0.77 & 1.22 \\ 0.5 & 1.22 & 1.94 \end{pmatrix}, \quad K = \begin{pmatrix} 0.26 & 0.44 & 0.62 \\ 0.62 & 1.07 & 1.52 \\ 0.98 & 1.7 & 2.42 \end{pmatrix}, \quad V = \begin{pmatrix} 0.14 & 0.32 & 0.5 \\ 0.32 & 0.77 & 1.22 \\ 0.5 & 1.22 & 1.94 \end{pmatrix}$

通过点积和 softmax 计算得到注意力权重矩阵 $A$ ：
$\begin{pmatrix} 0.2 & 0.3 & 0.5 \\ 0.1 & 0.7 & 0.2 \\ 0.4 & 0.4 & 0.2 \end{pmatrix}$

将注意力权重应用于值向量，得到最终输出矩阵 $Z$ ：
$Z = A V$
$\begin{pmatrix} 0.2 & 0.3 & 0.5 \\ 0.1 & 0.7 & 0.2 \\ 0.4 & 0.4 & 0.2 \end{pmatrix} \begin{pmatrix} 0.14 & 0.32 & 0.5 \\ 0.32 & 0.77 & 1.22 \\ 0.5 & 1.22 & 1.94 \end{pmatrix} = \begin{pmatrix} 0.342 & 0.81 & 1.278 \\ 0.21 & 0.658 & 1.106 \\ 0.256 & 0.612 & 0.968 \end{pmatrix}$

总结

Transformer 中的注意力机制通过查询（Q）、键（K）和值（V）捕捉输入序列中元素之间的相关性，利用多头注意力机制增强模型的表达能力。通过缩放点积、应用 softmax、加权求和值向量，模型能够有效地调整输入序列中的信息权重。位置编码确保了位置信息的保留，残差连接和层归一化加速了训练，前馈神经网络进一步处理了注意力输出。编码器和解码器的结合使得 Transformer 能够高效地进行序列到序列的任务，如机器翻译和文本生成。