arXiv 机器学习· Shenghong Dai, Shiva Kumar Pentyala, Yingchi Liu, Shubham Mehrotra, Suman Banerjee, James Zhu, Bin Bi, Sitaram Asur, Phil Mui·· 1 天前AI 评分42
Koa-action：基于生成式 LLM 的快速一致结构化决策框架
Koa-action: Fast and Consistent Structured Decision Making with Generative LLMs
AI 导读
Koa-action 提出一种低延迟原子决策框架，通过引入原子标签 token 与监督微调，将分类等任务转化为单步单 token 约束生成。在生产意图路由基准中，该框架准确率达 85.5%，领先 GPT-5 并媲美 Claude-4.8-Opus，响应耗时约 0.5 秒，中位数速度最高达前沿模型的约 7.5x。此外，该框架还支持多模态输入与多标签输出。
来源：arXiv 机器学习 · arxiv.org