大语言模型-Transformer-Attention Is All You Need

一、背景信息：

Transformer是一种由谷歌在2017年提出的深度学习模型。

主要用于自然语言处理（NLP）任务，特别是序列到序列（Sequence-to-Sequence）的学习问题，如机器翻译、文本生成等。Transformer彻底改变了之前基于循环神经网络（RNNs）和长短期记忆网络（LSTMs）的序列建模范式，并且在性能上取得了显著提升。

二、整体结构：

Transformer 由 Encoder 和 Decoder 两个部分组成，Encoder 和 Decoder 都包含 6 个 block。

Transformer 的输入
Transformer 的输入由 x的 词向量 和 位置向量 相加得到。
其中Transformer 在位置向量中保存单词在序列中的相对或绝对位置信息，位置向量由PE(Positional Encoding)表示：

eg：假设n为序列长度，d为表示向量维度，原始输入为$X_{ori-input}$（$[x_1,x_2...x_n]$）
则，原始输入$X_{ori-input}$的词向量矩阵为$X_{WE}$其维度为(n, d),
原始输入$X_{ori-input}$的位置向量矩阵$X_{PE}$维度也为(n, d)，
最终 Transformer 的输入矩阵$X_{input}$ = $X_{WE}$ + $X_{PE}$维度也是(n, d)。

三、 Encoder

Encoder 部分由6个Encoder block 组成。
Encoder block 由Multi-Head Attention结合Add & Norm、Feed Forward结合 Add & Norm 组成。
即由下面两部分组成：
$X=LayderNorm(X_{input}+MultiHeadAttention(X_{input}))$
$X=LayderNorm(X+FeedForword(X))$

MultiHeadAttention部分
其中MultiHeadAttention为多个Self-Attention进行Concat后linear而成：
$Q=X_{input}\times W_q$
$K=X_{input}\times W_k$
$V=X_{input}\times W_v$
$Z=Attention(Q,K,V)=softmax(\frac{Q{K}^T}{\sqrt{d_k}})V$
其中，$Z_1....Z_8$为X_{input} 经过8个不同Self-Attention得到的结果
$X=MultiHeadAttention(X_{input})=Linear(Concat(Z_1,Z_2....Z_8))$

FeedForword部分
Feed Forward 层，是一个两层的全连接层，第一层的激活函数为 Relu，第二层不使用激活函数，公式如下。

$FeedForword(X)=max(0,X{W}_1+b_1)W_2+b_2$

四、 Decoder

Decoder 由 6个Decoder block 以及最后的一个linear组成。
Decoder block 由 一个带有 Masked的Multi-Head Attention结合Add & Norm和一个Multi-Head Attention结合Add & Norm以及一个Feed Forward结合 Add & Norm 组成。

$X_{output}=X_{ouput-ori}\otimes X_{Mask}$
$X=LayderNorm(X_{output}+MaskMultiHeadAttention(X_{ouput}))$

$X=LayderNorm(X+MultiHeadAttention([X_{asQ},E{C}_{asK},E{C}_{asV}])$
$X_{result}=Softmax(X)$

带有 Masked的Multi-Head Attention层
其中带有 Masked的Multi-Head Attention中$X_{ouput}$为Transformer 标签对应输出向量；$X_{ouput-ori}$需要先$\otimes$$X_{Mask}$得到$X_{ouput}$
$Q=X_{ouput}\times W_q$
$K=X_{ouput}\times W_k$
$V=X_{ouput}\times W_v$
$Z=Attention(Q,K,V)=softmax(\frac{Q{K}^T}{\sqrt{d_k}}\otimes X_{Mask})V$

其中第二个 Multi-Head Attention层
Self-Attention 的 K, V矩阵使用的是根据Encoder编码的输出矩阵C计算得到 K, V； Self-Attention 的 Q矩阵是根据Decoder block中的Masked Multi-Head Attention层输出矩阵 Z 计算得到 Q。

Reference

1.Attention Is All You Need
2.Transformer模型详解（图解最完整版）
3.Self-Attention & Transformer完全指南：像Transformer的创作者一样思考