大语言模型LLM技术完全指南

概述#

LLM（Large Language Model，大语言模型）是一类基于深度学习的大规模预训练语言模型，能够理解和生成人类语言文本。它是当前人工智能领域最核心、最受关注的技术之一。

2017 年，Google 在论文《Attention Is All You Need》中提出了 Transformer 架构，奠定了现代 NLP 的根基。此后，OpenAI 沿着「规模越大、能力越强」的 Scaling Law 路线，于 2020 年推出 GPT-3（1750 亿参数），首次展示了令人震惊的「涌现能力」（Emergent Abilities）。2022 年 ChatGPT 发布，2023 年 GPT-4 到来，大语言模型正式走入千家万户。

技术演进路线#

1
2017  Transformer 诞生（Google）
2
2018  BERT（双向理解）、GPT-1
3
2019  GPT-2（开源，15 亿参数）
4
2020  GPT-3（1750 亿参数，涌现能力初现）
5
2022  ChatGPT（RLHF）、InstructGPT
6
2023  GPT-4（多模态）、Claude 2、Llama 2（开源爆发）、国产模型元年
7
2024  GPT-4o、Gemini 1.5（100 万上下文）、Claude 3.5、Llama 3
8
2025  GPT-o1/o3 推理模型、Gemini 2.0、国产全面追赶
9
2026  AGI 探索持续深入，长程推理、具身智能成为新方向

Transformer 架构详解#

Transformer 是 LLM 的技术基石，其核心组件包括：

输入处理：Tokenization#

LLM 处理文本的第一步是将文本切分为 Token：

1
示例：「人工智能」可能被切分为：
2
["人", "工", "智能"] 或 ["人工", "智能"] 或整词
3
取决于词表训练时的统计规律

位置编码（Positional Encoding）#

Transformer 本身不感知词序，位置编码为每个 Token 添加位置信号：

自注意力机制（Self-Attention）#

自注意力是 Transformer 的核心创新，允许每个 Token 关注序列中所有其他 Token：

数学原理：

1
Attention(Q, K, V) = softmax(QK^T / √d) × V
2

3
其中：
4
- Q（Query）：当前位置"在问什么"
5
- K（Key）：每个位置的"特征标签"
6
- V（Value）：每个位置的实际信息
7
- √d：缩放因子，防止点积过大导致梯度消失

计算过程：

1
输入序列：[Token1, Token2, Token3, ...]
2
    ↓
3
分别投影为 Q, K, V 三个向量
4
    ↓
5
计算 Q × K^T 获取所有位置之间的相关性分数
6
    ↓
7
通过 softmax 归一化为注意力权重
8
    ↓
9
用权重对 V 加权求和，得到融合了全局信息的输出

多头注意力（Multi-Head Attention）#

不是用一组 QKV，而是并行计算多组注意力：

1
MultiHead = Concat(Head_1, Head_2, ..., Head_h) × W^O
2

3
每个 Head_i = Attention(QW_i^Q, KW_i^K, VW_i^V)
4

5
典型配置：
6
- BERT-Large：16 heads，每 head 64 维
7
- GPT-3：96 heads，每 head 128 维
8
- Llama-3：32 heads，每 head 128 维

多头注意力的价值：不同 head 关注不同层面的语义关系

• Head 1：语法结构（主谓宾）
• Head 2：语义相似性（同义词）
• Head 3：指代关系（他 / 她 / 它）
• Head 4：逻辑推理（因为 / 所以）

前馈网络（FFN）#

注意力层之后，每个 Token 会通过一个前馈网络：

1
FFN(x) = GELU(W_1 x + b_1) × W_2 + b_2
2

3
# GELU: Gaussian Error Linear Unit
4
# 近似公式: 0.5 * x * (1 + tanh(sqrt(2/π) * (x + 0.044715 * x^3)))

FFN 通常占据模型参数的约 2/3，是存储知识的主要场所（知识神经元假说）。

残差连接与层归一化#

1
x' = LayerNorm(x + Sublayer(x))

• 残差连接：缓解深层网络的梯度消失问题，使信息直接传递
• 层归一化：稳定训练，加速收敛

混合专家（MoE）#

GPT-4 和 Mistral 等模型采用 MoE 架构，大幅提升参数量同时控制推理成本：

1
示例：Mixtral 8×7B
2
- 总参数量：8 × 7B = 46.7B
3
- 活跃参数：2 × 7B = 14B（与 7B 模型相近）
4
- 推理成本：与 14B 模型相当

预训练（Pre-training）#

自监督学习#

预训练采用自监督学习，无需人工标注，利用文本自身结构作为监督信号：

GPT 系列：Next Token Prediction（下一个词预测）

1
输入：今天天气真
2
输出：好
3
训练目标：最大化 P( 好|今天天气真 )

BERT：Masked Language Model（掩码语言模型）

1
输入：今天天气[MASK]好
2
输出：[MASK] = 真
3
训练目标：预测被掩码的词

对比：GPT 的单向 vs BERT 的双向

• GPT：只看左边，只能学习前缀上下文
• BERT：看左右，能获取完整上下文

训练数据#

数据质量处理：

1. 去重：去除重复的段落和文档
2. 过滤：去除低质量内容（广告、机器翻译等）
3. 安全过滤：去除有害内容
4. 去隐私：移除个人身份信息（PII）
5. 质量评分：用分类器对内容打分，优先使用高质量数据

Scaling Law（缩放定律）#

OpenAI 2020 年论文《Scaling Laws for Neural Language Models》揭示了模型规模与性能的关系：

核心发现：

• 模型性能（困惑度）与：参数数量 (N)、数据集大小 (D)、计算量 (C) 呈幂律关系
• 三个因素同等重要，需要按比例缩放
• 更大的模型样本效率更高，达到同等性能需要的训练数据更少

GPT-4 的规模估计：

• 参数量：~1.8 万亿（未经官方确认）
• 训练数据：~13 万亿 Token
• 训练计算量：~2.15×10^25 FLOPs

涌现能力（Emergent Abilities）#

当模型规模超过某个临界点时，会突然出现之前没有的能力：

注意：有研究（如「Switch Transformer」）认为涌现可能是评估指标选择的人为效应，而非真实质变。

指令微调（Instruction Fine-tuning）#

预训练模型擅长「续写」，但不一定「听话」。指令微调让模型学会按照人类指令行动。

SFT（监督微调）#

使用人工标注的指令-响应对进行有监督训练：

1
格式示例（Alpaca 格式）：
2
{
3
  "instruction": "把以下句子翻译成英文",
4
  "input": "今天天气很好",
5
  "output": "The weather is nice today."
6
}

人类反馈强化学习（RLHF）#

让模型学习人类偏好，分三步：

1
Step 1: 收集人类偏好数据
2
        人类对同一问题的多个回答打分 / 排序
3

4
Step 2: 训练 Reward Model
5
        学习预测人类偏好打分
6

7
Step 3: PPO 强化学习优化
8
        用 Reward Model 的信号更新 LLM

RLHF 的价值：

• 使模型输出更有帮助（Helpful）
• 使模型输出更诚实（Honest）
• 使模型输出更无害（Harmless）

替代方案：

• DPO（Direct Preference Optimization）：绕过 Reward Model，直接用偏好数据优化
• RLAIF：用 AI 反馈替代人类反馈，降低标注成本

注意力机制的工程优化#

KV Cache#

推理时保存已计算的 Key 和 Value，避免重复计算：

1
# 推理优化前：每次生成都重新计算所有历史
2
logits = model(input_ids)  # O(n²) 复杂度
3

4
# 推理优化后：缓存 KV，每次只计算新 Token
5
cache_k, cache_v = cache.get()
6
new_k, new_v = compute_new_tokens()
7
cache.update(new_k, new_v)
8
logits = model(new_token, cache_k, cache_v)  # O(n) 复杂度

注意力近似方法#

标准注意力 O(n²) 复杂度在长序列上不可行，需要近似：

Llama 3 采用 GQA（Grouped Query Attention）：

• 8 个 Key-Value 组
• 大幅减少 KV 缓存，延长上下文

主要能力详解#

文本生成#

知识问答#

• 事实性问答：基于训练知识回答
• 常识推理：结合世界知识进行推理
• 开放域问答：需要广泛知识储备的问题
• 局限：知识截止于训练时间，依赖模型容量

推理分析#

思维链（Chain of Thought）：要求模型展示推理过程能显著提升复杂推理任务的表现。

代码生成#

多模态能力#

现代 LLM 已不仅限于文本：

主流模型生态#

国际主流#

国产主流#

局限性#

评估方法#

总结#

LLM 是当前 AI 领域的核心技术之一，其强大的语言理解和生成能力正在重塑人机交互方式。理解 LLM 的基本原理，有助于更好地应用和驾驭这一工具。掌握 LLM 的能力边界和局限性，是在实际项目中合理选型和规避风险的关键。

关于我#