本地大模型 vs API：我的真实对比体验
2024-02-20本地大模型
本地 vs API对比评测选择建议
涉及工具：
OllamaGPT-4oClaude
测试对象
- 本地：qwen2.5-7B-Q4_K_M（Ollama）
- API：GPT-4o-mini、Claude-3-haiku
对比结果
| 维度 | 本地 (qwen) | API(GPT) | API(Claude) |
|---|---|---|---|
| 中文理解 | 好 | 好 | 好 |
| 代码能力 | 中（70%） | 好（85%） | 好（80%） |
| 推理能力 | 中 | 强 | 强 |
| 响应速度 | 快 | 依赖网络 | 依赖网络 |
| 成本 | 一次性 4000 元 | 按量付费 | 按量付费 |
我的结论
- 日常使用、追求性价比：本地大模型足够
- 追求最佳效果、需要联网能力：API 更合适
现在我的用法是：日常任务用本地，关键任务用 API。