车载对话助手多轮对话自动化评测

研究提出一种车载对话助手（ICA）多轮对话自动化评测框架，结合策略引导的用户模拟器、对抗策略管理器与两层 LLM 裁判进行闭环黑盒测试。在配备 6 个 LLM 后端的工业级 ICA 上，该自动化裁判与 12 名人类标注员评价高度一致。相比无引导仿真，策略引导使单场对话发现的独特失败类型增加 2.96 倍，独特失败对话数增加超一倍。