大模型Token优化与省钱策略

Token 是衡量 LLM 调用成本的基础单位。无论是 ChatGPT 还是 Claude API，每多使用 1M token，就意味着多支出一笔费用。

真实案例：某团队 RAG 每月费用 2400 美元，优化后降至 650 美元，节省 73%。

本文总结了 9 种经过验证的 Token 节省技巧，覆盖从 Prompt 设计到系统架构的各个层面，均提供具体实施步骤。

原理：输入 Token 占总消耗的绝大部分，压缩 Prompt 即可直接减少支出。

方法 1：LLM 自身压缩（Self-Compress）

避免 AI 直接处理长文本，应先让其生成摘要：

方法 2：Few-Shot 示例精简

每个示例都会消耗 Token，优化策略如下：

方法 3：结构化输出限制

减少 Token 在格式解析上的浪费：

原理：OpenAI、Claude 等平台均引入了缓存机制，重复的系统 Prompt 和上下文仅需首次付费。

方法 4：OpenAI Prompt 缓存（2024-2025 新功能）

适用场景：系统 Prompt 固定、参考文档重复的情况。

方法 5：Anthropic Claude 上下文缓存

Claude 也支持类似的缓存策略：

原理：RAG（检索增强生成）是最昂贵的场景之一，每次问答都需要检索文档 + 发送上下文。

方法 6：语义分块 + 分层检索

方法 7：查询改写 + 路由

原理：GPT-4o 比 GPT-3.5 贵 20-60 倍，但并非所有任务都需使用 GPT-4o。

方法 8：LLM 路由（任务路由）

方法 9：输出 Token 严格限制

原理：对话历史越长，累计 Token 越多。在多轮对话中及时“遗忘”旧信息至关重要。

方法 10：对话历史压缩（对话摘要）

方法 11：滑动窗口 + 关键信息保留

实用工具：

核心原则：

背景：某 AI 客服产品，月消耗 2400 美元

诊断：

优化步骤：

结果：月费用从 2400 美元降至 650 美元，节省 73%，且响应速度得到提升。

参考资料：