关于Transformer中的位置编码

位置编码 (Positional Encoding)

位置编码是在自然语言处理中，特别是在 Transformer 架构中使用的一个重要概念。Transformer 架构由于其自注意力机制 (Self-Attention Mechanism) 的特性，对序列中的元素没有固有的顺序感知。这意味着，如果不加以处理，Transformer 无法区分序列中的元素的相对位置。为了解决这个问题，位置编码被引入。

位置编码的重要性

位置编码的重要性主要体现在以下几点：

1. 序列顺序的感知：在许多任务中，如机器翻译、文本生成等，元素的顺序是非常关键的。位置编码确保 Transformer 可以考虑到这种顺序。
2. 增强模型的表达能力：位置编码为模型提供了额外的信息，使其能够更好地理解和生成序列。
3. 灵活性：位置编码是可学习的，这意味着模型可以在训练过程中调整它，以更好地适应特定的任务。
4. 与自注意力机制的结合：位置编码与自注意力机制结合，使 Transformer 能够考虑到序列中的长距离依赖关系。

图像中的位置编码

在图像处理中，位置编码的引入与自然语言处理中的方法有所不同，但基本的原理是相似的：为模型提供空间位置信息。以下是几种在图像处理中引入位置编码的方法：

1. 二维位置编码

与自然语言处理中的一维位置编码不同，图像通常需要二维的位置编码来表示其宽度和高度。这可以通过为每个像素或区域分配一个二维编码来实现。

2. 绝对位置编码

为图像中的每个像素或区域分配一个固定的编码，表示其在图像中的绝对位置。

3. 相对位置编码

与绝对位置编码不同，相对位置编码表示一个像素或区域与其他像素或区域之间的相对位置关系。

4. 位置嵌入 (Position Embeddings)

这是一种学习位置信息的方法。与位置编码不同，位置嵌入是在模型训练过程中学习的，而不是预先定义的。

5. 卷积操作

卷积神经网络 (CNN) 通过其卷积操作隐式地捕获位置信息。但在某些无卷积的模型结构中，如 Vision Transformer (ViT)，需要显式地引入位置编码。

6. 扩展到更高维度

对于视频或3D图像，可以考虑引入三维或更高维度的位置编码。

7. 组合方法

在某些应用中，可能需要同时使用多种方法来捕获位置信息，例如，结合绝对位置编码和相对位置编码。

绝对位置编码

绝对位置编码是为序列中的每个位置分配一个固定的编码，这个编码表示该位置在整个序列中的确切位置。这种编码方式不依赖于其他位置，因此被称为“绝对”。

特点：

• 固定编码：每个位置都有一个预定义的编码，不受其他位置的影响。
• 独立性：绝对位置编码不考虑其他位置，只关注当前位置。
• 常见实现：在 Transformer 模型中，通常使用正弦和余弦函数来生成绝对位置编码。

相对位置编码

相对位置编码不是直接编码每个位置，而是编码两个位置之间的相对距离。例如，对于一个给定的位置，其与其他位置的相对位置编码将表示它们之间的距离或关系。

特点：

• 距离感知：相对位置编码捕获了两个位置之间的距离或关系。
• 动态性：相对于一个固定的参考点，其他位置的编码会发生变化。
• 应用场景：在某些模型中，如 Transformer 的自注意力机制，相对位置编码可以帮助模型捕获长距离的依赖关系。

对比：

• 稳定性：绝对位置编码为每个位置提供了一个稳定的、不变的编码，而相对位置编码则依赖于参考位置。
• 灵活性：相对位置编码可以更灵活地捕获位置之间的关系，而绝对位置编码则更注重每个位置本身。
• 实现复杂性：相对位置编码的实现通常比绝对位置编码更复杂，因为它需要考虑两个位置之间的关系。

绝对位置编码

绝对位置编码在 Transformer 模型中使用正弦和余弦函数来表示每个位置的信息。

公式

对于偶数维度 (i):
$$PE(pos,2i)=\sin \left(\frac{pos}{10000^{\frac{2i}{d_{\text{model}}}}}\right)$$

2. 对于奇数维度 (i):
   $$PE(pos,2i+1)=\cos \left(\frac{pos}{10000^{\frac{2i}{d_{\text{model}}}}}\right)$$

其中：

• $PE(pos,2i)$是位置 $pos$ 在维度 $i$的位置编码。
• $d_{\text{model}}$是模型的维度。

代码分析

代码中的这一部分：

div_term = np.exp(np.arange(0, d_model, 2) * -(np.log(10000.0) / d_model))

实际上是在计算上述公式的除数部分：
$$\text{div\_term}=10000^{\frac{2i}{d_{\text{model}}}}$$

当我们对上述公式取自然对数，我们得到：
$$\log (\text{div\_term})=\frac{2i}{d_{\text{model}}}\log (10000)$$
这与代码中的形式相匹配，其中 np.exp 是为了从对数形式回到原始的指数形式。

Python 实现

import numpy as np
def get_positional_encoding(seq_len, d_model):position = np.arange(seq_len)[:, np.newaxis]div_term = np.exp(np.arange(0, d_model, 2) * -(np.log(10000.0) / d_model))position_encoding = np.zeros((seq_len, d_model))position_encoding[:, 0::2] = np.sin(position * div_term)position_encoding[:, 1::2] = np.cos(position * div_term)return position_encoding

相对位置编码

相对位置编码主要用于增强 Transformer 中的自注意力机制对位置信息的感知。在原始的 Transformer 模型中，注意力权重是基于查询（Q）、键（K）和值（V）来计算的。当引入相对位置编码时，我们会修改注意力权重的计算方式，使其同时考虑相对位置信息。

使用相对位置编码的简化步骤：

1. 计算相对位置编码：首先，使用提供的 relative_positional_encoding 函数计算相对位置编码。
2. 计算注意力权重：在计算自注意力的 Q 和 K 的点积时，将相对位置编码添加到结果中。这可以通过将相对位置编码与 Q 的每一行相乘并求和来实现。
3. 归一化注意力权重：使用 softmax 函数归一化注意力权重。
4. 计算输出：使用归一化的注意力权重与 V 相乘，得到自注意力的输出。

Python 代码示例

import numpy as npclass SelfAttentionWithRelativePosition:def __init__(self, d_model, seq_len):self.d_model = d_modelself.seq_len = seq_lenself.scale = np.sqrt(d_model)# 初始化权重self.WQ = np.random.rand(d_model, d_model)self.WK = np.random.rand(d_model, d_model)self.WV = np.random.rand(d_model, d_model)# 获取相对位置编码self.relative_pos_encoding = self.relative_positional_encoding(seq_len, d_model)def relative_positional_encoding(self, seq_len, d_model):position = np.arange(seq_len)relative_position_matrix = position[:, np.newaxis] - position[np.newaxis, :]relative_position_matrix = np.clip(relative_position_matrix + seq_len, 0, 2 * seq_len - 1)div_term = np.exp(np.arange(0, d_model, 2) * -(np.log(10000.0) / d_model))sinusoid_table = np.zeros((2 * seq_len, d_model))sinusoid_table[:, 0::2] = np.sin(relative_position_matrix * div_term)sinusoid_table[:, 1::2] = np.cos(relative_position_matrix * div_term)return sinusoid_table[relative_position_matrix]def forward(self, Q, K, V):Q = np.matmul(Q, self.WQ)K = np.matmul(K, self.WK)V = np.matmul(V, self.WV)attn_logits = np.matmul(Q, K.T) / self.scaleattn_logits += np.matmul(Q, self.relative_pos_encoding.T)attn_weights = np.exp(attn_logits) / np.sum(np.exp(attn_logits), axis=-1, keepdims=True)output = np.matmul(attn_weights, V)return output# 示例
seq_len = 10
d_model = 512
Q = np.random.rand(1, d_model)
K = np.random.rand(seq_len, d_model)
V = np.random.rand(seq_len, d_model)attention_layer = SelfAttentionWithRelativePosition(d_model, seq_len)
output = attention_layer.forward(Q, K, V)
print(output)