向量Embedding与语义搜索完全指南

1
文本：「人工智能」
2
    ↓ Embedding
3
向量：[0.23, -0.45, 0.78, 0.12, ...]  ← 1536 维向量

1
                「猫」
2
                 ×
3

4
「狗」×                      ×「汽车」
5

6
                ×「人工智能」
7
              「机器学习」

1
正样本对（相似）：["人工智能", "机器学习"]
2
负样本对（不相似）：["人工智能", "做蛋糕"]
3

4
训练目标：正样本对的向量距离小，负样本对的距离大

1
[1, 2] + [3, 4] = [4, 6]
2
语义：合并两个概念的含义

1
[中国] - [北京] ≈ [上海 / 广州 / 深圳]
2
语义：去除某个方面的含义

1
[1, 2] · [3, 4] = 1×3 + 2×4 = 11
2
语义：衡量向量"方向"的一致性

1
cosine(A, B) = (A · B) / (|A| × |B|)
2

3
取值范围：[-1, 1]
4
- 1：完全相同
5
- 0：不相关
6
- -1：完全相反

1
dot(A, B) = A · B
2

3
要求：向量已归一化
4
特点：计算更快

1
distance = ||A - B|| = √(Σ(Ai - Bi)²)
2

3
取值：0 到 +∞
4
- 0：完全相同
5
- 越小越相似

1
# 用户查询
2
query = "Python 入门教程"
3
query_vector = embed_model.encode(query)
4

5
# 向量数据库检索
6
results = vector_db.search(
7
    vector=query_vector,
8
    top_k=5,
9
    filter={"category": "教程"}
10
)

1
文档切分 → 向量化 → 存入向量库
2
                ↓
3
用户问题 → 向量化 → 检索相似块 → 注入 Prompt → LLM 生成

1
from sklearn.cluster import KMeans
2
from sklearn.metrics import pairwise_distances
3

4
# 向量化文本
5
texts = ["体育新闻", "科技新闻", "娱乐新闻", "财经新闻"]
6
vectors = embed_model.encode(texts)
7

8
# 聚类
9
kmeans = KMeans(n_clusters=2)
10
labels = kmeans.fit_predict(vectors)

1
# 用户偏好向量
2
user_vector = embed_model.encode("喜欢科幻电影和电子游戏")
3

4
# 商品向量
5
movies = ["星际穿越", "肖申克的救赎", "塞尔达传说"]
6
movie_vectors = embed_model.encode(movies)
7

8
# 计算相似度，推荐最相关的
9
similarities = cosine_similarity([user_vector], movie_vectors)
10
top_indices = np.argsort(similarities[0])[::-1][:2]

1
# 自然语言搜索代码
2
query = "如何实现快速排序"
3
query_vector = embed_model.encode(query)
4

5
code_snippets = ["def quicksort():...", "def bubble_sort():..."]
6
code_vectors = embed_model.encode(code_snippets)
7

8
# 最相似的代码片段
9
best_match = code_snippets[np.argmax(similarities)]

1
# 使用 OpenAI Embedding
2
from openai import OpenAI
3
client = OpenAI()
4

5
response = client.embeddings.create(
6
    model="text-embedding-3-large",
7
    input="人工智能是未来的发展趋势"
8
)
9
vector = response.data[0].embedding
10
print(f"维度: {len(vector)}")

1
# 使用本地模型（Sentence Transformers）
2
from sentence_transformers import SentenceTransformer
3

4
model = SentenceTransformer('BAAI/bge-large-zh-v1.5')
5
vectors = model.encode([
6
    "Python 入门教程",
7
    "JavaScript 高级编程",
8
    "人工智能导论"
9
])