Prompt 缓存如何削减最高 40% 的 LLM API 支出

重复发送问题

大多数对话应用每条消息都发送完整系统 Prompt。若系统 Prompt 为 800 Token、日处理 10 万条消息，你每天为 8000 万重复 Token 买单——真正变化的只有最后一条用户消息。

在边缘层缓存

Tokened Gateway（Beta）在代理层对相同 Prompt 前缀去重。将 OPENAI_BASE_URL 指向 api.tokened.uk，相同请求在到达模型商之前即命中缓存。

对于读多写少的场景（客服机器人、文档问答），早期测试通常可见 25–40% 的成本下降。