arXiv 人工智能· Jie Jin, Ziyin Ma, Min Yin, Jinyu Chen, Haigang Song, Zhikun Pang, Xiaowen Zhang·· 4 小时前AI 评分45
无需解码的批量语音决策：单 token 监督让冻结 LLM 听懂超越文本的语音信息
Batched Speech Decisions Without Decoding: Single-Token Supervision Lets a Frozen LLM Hear Beyond the Transcript
AI 导读
DuplexJev 通过连接器将 ASR 编码器隐状态输入冻结的 LLM，直接读取选项的单 token 分布完成无解码语音决策。在 8-GPU 节点上，该系统可在约 0.1 s 内完成 8 段语音的 80 项决策，语音问答准确率达 90%，说话人性别和情绪识别准确率均达 90%。团队已开源模型权重、训练方案、全双工批处理推理流水线及双语语音问答数据集。
来源：arXiv 人工智能 · arxiv.org