如何挑选适合自己的本地模型？什么是多模态，什么是TTS？

1
开始
2
  ↓
3
有 GPU？
4
  ├─ 是 → 有多 GPU？
5
  │        ├─ 是 → 选择 30B+ 模型（Llama 3.2 70B）
6
  │        └─ 否 → 显存 > 16GB？
7
  │                 ├─ 是 → 选择 14B 模型（Qwen 2.5 14B）
8
  │                 └─ 否 → 选择 7B 模型（Llama 3.2 7B）
9
  └─ 否 → 内存 > 16GB？
10
           ├─ 是 → 选择 7B 量化模型（Q4）
11
           └─ 否 → 选择 3B 模型（Llama 3.2 3B）

1
# ========== 图像问答客服示例 ==========
2
import requests
3

4
def analyze_image(image_path, question):
5
    """
6
    分析图像并回答问题
7
    Args:
8
        image_path: 图像文件路径
9
        question: 关于图像的问题
10
    Returns:
11
        模型的回答文本
12
    """
13
    url = "http://localhost:11434/api/generate"  # Ollama API 端点
14
    with open(image_path, "rb") as f:              # 以二进制模式打开图像文件
15
        image_data = f.read()                      # 读取图像数据
16

17
    payload = {
18
        "model": "llama3.2-vision",                # 使用多模态模型
19
        "prompt": f"[IMAGE]{image_data}[/IMAGE]\n\n 问题：{question}",  # 构造提示词
20
        "stream": False                            # 非流式输出
21
    }
22

23
    response = requests.post(url, json=payload)    # 发送 POST 请求
24
    return response.json()["response"]             # 返回模型的回答
25

26
# 使用示例
27
result = analyze_image(
28
    "product.jpg",                                 # 图像文件路径
29
    "这个产品有什么特点？"                        # 问题
30
)
31
print(result)                                     # 打印回答

1
# ========== 图像内容审核示例 ==========
2
def moderate_image(image_path):
3
    """
4
    审核图像内容
5
    Args:
6
        image_path: 图像文件路径
7
    Returns:
8
        审核结果
9
    """
10
    prompt = """
11
    请分析这张图片，判断是否包含以下内容：
12
    1. 暴力内容
13
    2. 色情内容
14
    3. 仇恨言论
15
    4. 非法活动
16

17
    请逐项说明是否包含，并给出理由。
18
    """
19

20
    result = analyze_image(image_path, prompt)    # 调用图像分析函数
21
    return result

1
# ========== 医疗图像分析示例 ==========
2
def analyze_medical_image(image_path):
3
    """
4
    分析医学影像
5
    Args:
6
        image_path: 医学影像文件路径
7
    Returns:
8
        分析结果
9
    """
10
    prompt = """
11
    作为医学 AI 助手，请分析这张医学影像：
12
    1. 描述你看到的内容
13
    2. 识别可能的异常
14
    3. 给出初步诊断建议
15

16
    注意：这只是 AI 分析，不能替代专业医生的诊断。
17
    """
18

19
    result = analyze_image(image_path, prompt)    # 调用图像分析函数
20
    return result

1
# ========== 有声内容生成示例 ==========
2
import edge_tts
3

4
async def text_to_speech(text, output_file):
5
    """
6
    将文本转换为语音
7
    Args:
8
        text: 要转换的文本
9
        output_file: 输出音频文件路径
10
    """
11
    communicate = edge_tts.Communicate(text, "zh-CN-XiaoxiaoNeural")  # 创建通信对象（中文女声）
12
    await communicate.save(output_file)                               # 保存为音频文件
13

14
# 使用示例
15
import asyncio
16

17
asyncio.run(text_to_speech(
18
    "这是一段示例文本",                         # 输入文本
19
    "output.mp3"                               # 输出文件
20
))

1
# 示例：OpenClaw 语音回复
2
def generate_voice_response(text_response):
3
    """将 AI 回复转换为语音"""
4
    # 1. 生成语音文件
5
    asyncio.run(text_to_speech(text_response, "response.mp3"))
6

7
    # 2. 播放语音
8
    import pygame
9
    pygame.mixer.init()
10
    pygame.mixer.music.load("response.mp3")
11
    pygame.mixer.music.play()
12

13
    # 3. 等待播放完成
14
    while pygame.mixer.music.get_busy():
15
        pygame.time.Clock().tick(10)

1
# 示例：使用 ChatTTS 进行语音克隆
2
import torch
3
from chat_tts import ChatTTS
4

5
# 初始化模型
6
chat = ChatTTS.Chat()
7
chat.load_models()
8

9
# 配置参数
10
params_infer_code = {
11
    'spk_emb': chat.sample_random_speaker(),  # 随机说话人
12
    'temperature': 0.3,  # 温度参数
13
    'top_P': 0.7,  # top_p
14
    'top_K': 20,  # top_k
15
}
16

17
# 生成语音
18
wavs = chat.infer(texts=["你好，欢迎使用语音助手"], params_infer_code=params_infer_code)
19

20
# 保存音频
21
import soundfile as sf
22
sf.write("output.wav", wavs[0], 24000)

1
# 使用 GPU 加速
2
import torch
3

4
device = "cuda" if torch.cuda.is_available() else "cpu"
5
model = model.to(device)
6

7
# 生成语音
8
with torch.no_grad():
9
    wav = model.generate(text)

1
# 批量生成语音
2
async def batch_text_to_speech(texts, output_dir):
3
    tasks = []
4
    for i, text in enumerate(texts):
5
        output_file = f"{output_dir}/output_{i}.mp3"
6
        task = text_to_speech(text, output_file)
7
        tasks.append(task)
8

9
    await asyncio.gather(*tasks)

1
import asyncio
2
import edge_tts
3
from openai import OpenAI
4

5
class VoiceAssistant:
6
    def __init__(self):
7
        self.llm = OpenAI(base_url="http://localhost:11434/v1", api_key="dummy")
8

9
    async def generate_response(self, user_input):
10
        """生成文本回复"""
11
        response = self.llm.chat.completions.create(
12
            model="llama3.2:3b",
13
            messages=[{"role": "user", "content": user_input}]
14
        )
15
        return response.choices[0].message.content
16

17
    async def text_to_speech(self, text, output_file):
18
        """文本转语音"""
19
        communicate = edge_tts.Communicate(text, "zh-CN-XiaoxiaoNeural")
20
        await communicate.save(output_file)
21

22
    async def process(self, user_input):
23
        """处理用户输入并生成语音回复"""
24
        # 1. 生成文本回复
25
        text_response = await self.generate_response(user_input)
26

27
        # 2. 转换为语音
28
        audio_file = "response.mp3"
29
        await self.text_to_speech(text_response, audio_file)
30

31
        return text_response, audio_file
32

33
# 使用示例
34
assistant = VoiceAssistant()
35
asyncio.run(assistant.process("你好"))

1
class VisionVoiceAssistant:
2
    def __init__(self):
3
        self.llm = OpenAI(base_url="http://localhost:11434/v1", api_key="dummy")
4

5
    async def analyze_image(self, image_path, question):
6
        """分析图像并回答问题"""
7
        # 读取图像
8
        with open(image_path, "rb") as f:
9
            image_data = f.read()
10

11
        # 生成回答
12
        response = self.llm.chat.completions.create(
13
            model="llama3.2-vision",
14
            messages=[{
15
                "role": "user",
16
                "content": f"[IMAGE]{image_data}[/IMAGE]\n\n 问题：{question}"
17
            }]
18
        )
19
        return response.choices[0].message.content
20

21
    async def text_to_speech(self, text, output_file):
22
        """文本转语音"""
23
        communicate = edge_tts.Communicate(text, "zh-CN-XiaoxiaoNeural")
24
        await communicate.save(output_file)
25

26
    async def process(self, image_path, question):
27
        """处理图像问题并生成语音回复"""
28
        # 1. 分析图像
29
        text_response = await self.analyze_image(image_path, question)
30

31
        # 2. 转换为语音
32
        audio_file = "response.mp3"
33
        await self.text_to_speech(text_response, audio_file)
34

35
        return text_response, audio_file