arXiv 自然语言处理· Zheyuan Zhang, Mengyuan Chao, Ke Xiao, Ziyi Chen, Daoan Zhang, Yan Zhang, Yanfang Ye, Wei Xu·· 1 天前AI 评分43
超越先验通信:错误沟通与动态意图下的交互式意图对齐评测
Beyond Oracle Communication: Benchmarking Interactive Intent Alignment Under Miscommunication and Evolving User Intent
AI 导读
针对用户沟通不完善且目标动态变化的现实场景,研究团队提出了交互式意图对齐基准 Drift-Bench++ 与 GRIP 评估协议。该基准构建了具有受控意图偏移和有限耐心的交互协议,涵盖任务扎根、用户真实感、询问有效性及动态自适应等多维度评测。实验与已部署的 ProdAgent 会话验证显示,强化交互虽有帮助但仍远低于先验通信表现,此类失效在实际部署中广泛存在。
来源:arXiv 自然语言处理 · arxiv.org