RAG检索增强生成技术完全指南

1
┌──────────────────────────────────────────────────────────────┐
2
│                      RAG 系统架构                             │
3
├──────────────────────────────────────────────────────────────┤
4
│                                                              │
5
│  【离线阶段：知识库构建】                                      │
6
│  ┌──────────┐   ┌──────────┐   ┌──────────┐   ┌──────────┐ │
7
│  │  文档    │ → │  文档    │ → │  向量    │ → │  向量    │ │
8
│  │  加载    │   │   切分   │   │   嵌入   │   │  存储    │ │
9
│  └──────────┘   └──────────┘   └──────────┘   └──────────┘ │
10
│                                                              │
11
│  【在线阶段：检索生成】                                        │
12
│  ┌──────────┐   ┌──────────┐   ┌──────────┐   ┌──────────┐ │
13
│  │ 用户问题 │ → │ 问题嵌入 │ → │ 向量检索 │ → │ 上下文  │ │
14
│  └──────────┘   └──────────┘   └──────────┘   │  组装   │ │
15
│                                                  └────┬─────┘ │
16
│  ┌──────────┐   ┌──────────┐                       │       │
17
│  │ 最终回答 │ ← │ LLM 生成  │ ←──────────────────────┘       │
18
│  └──────────┘   └──────────┘                                │
19
└──────────────────────────────────────────────────────────────┘

1
块 1: [句子 1][句子 2][句子 3]
2
块 2:      [句子 3][句子 4][句子 5]  ← 句子 3 重复，避免语义断裂

1
query_embedding = embed_model.encode("用户问题")
2
results = vector_db.search(query_embedding, top_k=5)

1
from rank_bm25 import BM25Okapi
2
bm25 = BM25Okapi(tokenized_chunks)
3
scores = bm25.get_scores(tokenized_query)

1
# 综合向量相似度和 BM25 分数
2
hybrid_score = 0.7 * vector_score + 0.3 * keyword_score

1
# 初筛后精排
2
from sentence_transformers import CrossEncoder
3
reranker = CrossEncoder('cross-encoder/ms-marco-MiniLML-12-v2')
4
reranked = reranker.predict(query_doc_pairs)

1
你是一个问答助手。请根据以下参考资料回答用户问题。
2
如果参考资料中没有相关信息，请如实告知。
3

4
参考资料：
5
{context}
6

7
用户问题：{question}
8

9
回答要求：
10
1. 基于参考资料回答，不要编造信息
11
2. 如涉及多个参考资料，请综合整理
12
3. 引用时注明来源

1
# 原始问题可能模糊或口语化
2
query = "那个关于 Python 的文档在哪里"
3

4
# 改写为更明确的检索表达
5
rewritten = llm.invoke(
6
    "将以下问题改写为适合检索的表述，保留核心信息："
7
    f"原问题：{query}"
8
)
9
# 结果："Python 编程语言文档"

1
# 让 AI 生成假设性答案
2
hypothetical = llm.invoke(f"回答以下问题：{query}")
3

4
# 用假设性答案做检索
5
results = vector_db.search(embed(hypothetical))

1
文档层级：
2
├── 父文档（完整章节，2000 tokens）
3
│   ├── 子块 1（200 tokens）← 检索用
4
│   ├── 子块 2（200 tokens）← 检索用
5
│   └── 子块 3（200 tokens）← 检索用
6

7
检索：找到相关子块
8
组装：返回对应父文档

1
# LLM 判断是否需要检索
2
is_retrieval_needed = llm.invoke(
3
    f"判断是否需要检索外部知识来回答：{query}"
4
)
5

6
if is_retrieval_needed:
7
    results = retrieve(query)
8
    rag_output = llm.invoke(f"基于以下资料回答：{results}\n\n 问题：{query}")
9
else:
10
    direct_output = llm.invoke(query)

1
用户问："张三的上司是谁？"
2

3
知识图谱：
4
张三 --同事--> 李四
5
李四 --下属--> 王五
6
张三 --下属--> [?]
7

8
推理：直接检索无法回答
9
知识图谱推理：张三的下司的下司是王五？→ 需要补充信息