语音AI智能体探讨投机工具调用以降低交互延迟

2026年10月13日，技术讨论提出“投机工具调用”方案，旨在消除语音AI智能体在轮次结束后的工具等待延迟。该方案借鉴投机解码思想，适合由实时运行的小型音频决策模型驱动，在用户说话过程中提前预测并异步触发工具查询。机制规定仅对只读或幂等工具在置信度达标时预执行并缓存结果；若轮次结束时预测与大语言模型的真实调用一致则瞬间返回结果，不匹配则丢弃且不改变执行逻辑。相关分析同时提醒，该机制需注意隐私泄露风险，以及用户口语自我纠错导致的参数不稳定性问题。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。