arXiv 自然语言处理· Tarek Naous, Craig Boutilier, Wei Xu, Ofer Meshi·· 9 小时前AI 评分41
基于潜在内在反馈训练用户模拟器
Training User Simulators with Latent Intrinsic Feedback
AI 导读
研究提出一种具备潜在内在反馈的用户模拟器，通过真实交互日志训练，使其在对话每轮以第一人称生成内心想法、反应和标量评分来评估助手。该模拟器的评估比同尺寸提示词基线更贴近人类判断，并提升了模拟真实度与批评行为。在多轮 RL 训练中，它能提供有效奖励信号，在匹配外部评判 LLM 效果的同时将 RL 算力消耗减少一半以上。
来源：arXiv 自然语言处理 · arxiv.org