arXiv 自然语言处理· Baiqiao Zhang, Shuai Ma, Zhifeng Liao, Chao Zhou, Jianshu Wang, Yuhan Zhao, Chaoyue Zhang, Tongjun Si, Yuying Tang, Xiangxian Li, Yong-Jin Liu, Yulong Bian·· 4 小时前AI 评分39
言语还是行动？LLM 如何在人机对话中预测用户决策
Words or Deeds? How LLMs Predict Users' Decisions in Human-Agent Dialogue
AI 导读
研究测试 8 款开源权重 LLM 预测用户决策的表现，发现模型过度信任口头陈述，仅凭历史决策记录预测的 AUC 达 .80，加入对话并无明显增益。引入对话后，模型在用户违背承诺时的预测准确率从 .65 骤降至 .17，且未能反映用户对不同特质智能体的实际合作率差异（70.6% 对 54.5%）。
来源：arXiv 自然语言处理 · arxiv.org