Token与LLM上下文管理完全指南

1
场景：处理一篇 2000 字的中文文章
2

3
Token 估算：2000 × 1.8 = 3600 Token（输入）
4
假设需要生成 1000 字回答：1000 × 1.8 = 1800 Token（输出）
5
总 Token：5400
6

7
费用（GPT-4o-mini）：
8
输入：5400 / 1,000,000 × $0.15 = $0.00081
9
输出：1800 / 1,000,000 × $0.6 = $0.00108
10
总计：约 $0.002

1
import tiktoken
2

3
# GPT-4/ChatGPT 使用 cl100k_base 编码
4
enc = tiktoken.get_encoding("cl100k_base")
5
tokens = enc.encode("Hello, world!")
6
print(f"Token 数: {len(tokens)}")  # 2
7

8
# 中文的 Token 数估算
9
chinese_text = "人工智能是未来的发展趋势"
10
tokens_zh = enc.encode(chinese_text)
11
print(f"中文 Token 数: {len(tokens_zh)}")  # 通常 6-10 个

1
# 使用 jina-tokenizer
2
from jina import Tokenizer
3
tok = Tokenizer()
4
tokens = tok.encode("人工智能")
5
print(f"Token 数: {len(tokens)}")  # 约 4 个

1
对话示例：
2
用户：你好，请介绍一下 Python [50 Token]
3
助手：Python 是一种高级编程语言... [200 Token]
4
用户：它和 Java 有什么区别？ [80 Token]
5
助手：Python 和 Java 的区别主要在... [300 Token]
6

7
当前对话总 Token：630
8

9
上下文窗口：128K
10
可用 Token：128K - 630 = 127,370

1
# 方法 1：限制 max_tokens
2
response = client.chat.completions.create(
3
    model="gpt-4o",
4
    messages=[{"role": "user", "content": "写一篇 500 字文章"}],
5
    max_tokens=1000  # 限制输出长度
6
)
7

8
# 方法 2：在 Prompt 中明确字数
9
"请用不超过 200 字回答"