警惕“便宜”但缓存命中率差的AI推理服务商
一些AI推理服务商用低价吸引用户,但提示词缓存命中率很差,导致实际Token消耗可能高达3倍。宣传“99%缓存命中率”需要警惕,因为目前只有DeepSeek被业内认为能达到这一水平。
内容详情 · 原文链接
via AI Pulse | 全球 AI 动态简报 - Telegram Channel
一些AI推理服务商用低价吸引用户,但提示词缓存命中率很差,导致实际Token消耗可能高达3倍。宣传“99%缓存命中率”需要警惕,因为目前只有DeepSeek被业内认为能达到这一水平。
内容详情 · 原文链接
via AI Pulse | 全球 AI 动态简报 - Telegram Channel