Skip to content

Transformer Only

Transformer 模型自提出以来，已经成为自然语言处理（NLP）领域的核心技术之一。其架构可以分为三大变体：Decoder-Only、Encoder-Only 和 Encoder-Decoder。每种架构都有其独特的特点和应用场景。本文将重点介绍 Decoder-Only 架构，并对比其他两种架构。

1. Transformer 的三大架构

1.1 Decoder-Only 架构

1.1.1 定义与特点

Decoder-Only 架构仅包含 Transformer 的解码器部分。这种架构的模型擅长生成连贯的文本序列，例如对话生成、文本续写和创造性写作等任务。其核心在于通过自回归的方式逐个生成 Token，每个 Token 的生成依赖于前面已经生成的 Token。

1.1.2 工作原理

Decoder-Only 架构的工作原理如下：

  1. 输入预处理：用户提供的文本（如“这是一个例子”）会被 Token 化并添加位置编码。
  2. 嵌入层：Token ID 通过嵌入层映射到向量空间，并与位置编码相加。
  3. 自注意力机制：每个 Token 生成查询（Query）、键（Key）和值（Value）向量，通过点积计算注意力分数，并使用因果掩码（Causal Mask）确保每个 Token 只能依赖于其前面的 Token。
  4. 前馈网络（FFN）：对每个 Token 的上下文向量进行非线性变换。
  5. 输出层：通过线性层和 Softmax 函数，将每个 Token 的隐藏状态映射为词表中每个 Token 的概率分布。
  6. 生成下一个 Token：选择概率最高的 Token 或通过采样算法（如 Top-k、Top-p）生成下一个 Token。

1.1.3 优点与局限性

  • 优点：
  • 生成能力强：擅长创造性写作和对话生成，能够生成连贯、自然的文本。
  • 高效性：省略了编码器部分，推理效率更高，适合生成任务。

  • 灵活性：能够处理多种自然语言生成任务，如续写、对话等。

  • 局限性：

  • 输入长度受限：输入和生成的文本共享同一序列窗口，长输入可能导致上下文信息不完整。
  • 隐式建模输入语义：输入的理解与生成共享同一个模块，可能在复杂任务中表现不如 Encoder-Decoder 架构。

1.2 Encoder-Only 架构

1.2.1 定义与特点

Encoder-Only 架构仅包含 Transformer 的编码器部分，主要用于理解输入文本的语义信息，而不生成输出序列。其典型代表是 BERT 系列模型。

1.2.2 工作原理

Encoder-Only 架构的工作原理如下：

  1. 输入预处理：输入文本被 Token 化并添加位置编码。
  2. 嵌入层：Token ID 通过嵌入层映射到向量空间，并与位置编码相加。
  3. 自注意力机制：每个 Token 生成查询（Query）、键（Key）和值（Value）向量，通过点积计算注意力分数。
  4. 前馈网络（FFN）：对每个 Token 的上下文向量进行非线性变换。
  5. 输出层：输出每个 Token 的隐藏状态，用于下游任务（如分类、命名实体识别等）。

1.2.3 优点与局限性

  • 优点：
  • 语义理解能力强：擅长理解输入文本的语义信息，适用于分类、情感分析等任务。

  • 计算效率高：由于没有解码器部分，计算资源消耗相对较少。

  • 局限性：

  • 无法生成输出序列：不适用于需要生成文本的任务，如对话生成或文本续写。

1.3 Encoder-Decoder 架构

1.3.1 定义与特点

Encoder-Decoder 架构同时包含编码器和解码器部分，能够处理输入和输出序列长度不一致的任务。其典型代表是 T5 和 BART。

1.3.2 工作原理

Encoder-Decoder 架构的工作原理如下：

  1. 输入预处理：输入文本被 Token 化并添加位置编码。
  2. 编码器部分：编码器对输入文本进行编码，生成上下文向量。
  3. 解码器部分：解码器根据编码器生成的上下文向量，逐个生成输出 Token。
  4. 输出层：通过线性层和 Softmax 函数，将每个 Token 的隐藏状态映射为词表中每个 Token 的概率分布。

1.3.3 优点与局限性

  • 优点：
  • 处理复杂映射关系：能够处理输入和输出序列之间复杂的映射关系，适用于机器翻译、问答系统等任务。

  • 灵活性高：可以同时处理理解和生成任务。

  • 局限性：

  • 计算资源消耗大：由于包含编码器和解码器，模型复杂度高，计算资源消耗较大。

2. Decoder-Only 架构的优势

2.1 生成任务的高效性

Decoder-Only 架构专注于生成任务，能够高效地生成连贯、自然的文本。其自回归生成机制使得模型能够根据上下文逐步生成后续内容，特别适合对话生成、文本续写等任务。

2.2 简洁的模型结构

省略了编码器部分，Decoder-Only 架构的模型结构更加简洁，推理效率更高。在处理生成任务时，这种结构能够减少不必要的计算，提高模型的响应速度。

2.3 大规模预训练的支持

Decoder-Only 架构通过大规模预训练学习语言模式和语法结构，能够更好地理解和生成自然语言。这种预训练机制使得模型在面对新任务时能够快速适应，展现出强大的泛化能力。

3. 实际应用案例

3.1 文本生成

Decoder-Only 架构的模型（如 GPT 系列）在文本生成任务中表现出色。例如，给定一个开头“这是一个例子”，模型可以续写出完整的句子或段落。

3.2 对话系统

在对话系统中，Decoder-Only 架构能够根据用户的输入生成自然、连贯的回复。例如，ChatGPT 就是基于 Decoder-Only 架构开发的，能够与用户进行流畅的对话。

3.3 机器翻译

虽然 Encoder-Decoder 架构在机器翻译任务中更为常见，但 Decoder-Only 架构也可以通过预训练和微调实现机器翻译任务。

4. 总结

Transformer 的三大架构各有优缺点，适用于不同的自然语言处理任务。Decoder-Only 架构在生成任务中表现出色，能够高效地生成连贯、自然的文本。Encoder-Only 架构则更擅长理解输入文本的语义信息，适用于分类和情感分析等任务。Encoder-Decoder 架构则能够处理输入和输出序列之间复杂的映射关系，适用于机器翻译和问答系统等任务。

在实际应用中，选择合适的架构需要根据具体任务的需求来决定。对于需要生成连贯文本的任务，Decoder-Only 架构是最佳选择；对于需要理解输入文本的任务，Encoder-Only 架构更为合适；而对于需要同时处理输入和输出的任务，Encoder-Decoder 架构则是更好的选择。

Ref