Hacker News · AI· Mojah·· 3 小时前精选AI 评分79
大模型结构化输出空白符开销实测:单行压缩 JSON 最高可降 30% 延迟
Your LLM is billing you for whitespace
AI 导读
实测表明,在系统提示词中要求模型输出单行压缩 JSON,能够有效消除结构化输出中占比 27% 至 34% 的缩进与换行 token。在测试的 10 款模型中,Gemini 4 Argon 与 GPT-6.1 等直接输出型模型的延迟降低了 21% 至 30%,成本降低 25% 至 28%。而在思考阶段占大头的推理模型以及本身默认单行输出的模型中,该优化带来的收益相对有限或没有变化。
推荐理由
在系统提示词中加入单行压缩指令可减少结构化输出的空白符开销,为非思考型模型节省最高 30% 延迟与 28% 成本。
来源:Hacker News · AI · getsnapkin.app