评估 LLM 生成的偏好分布

一项针对 9 个开源大语言模型（open-weight models）的研究系统评估了其在航空旅行、餐厅和消费品 3 个领域的偏好分布生成能力。结果显示，虽然各模型在重复采样下均表现出自身一致性且最可能的结果快速稳定，但不同模型家族与规模之间存在显著分歧，极少达成共识。该现象在调整 temperature 及提示词扰动下均保持稳健，表明模型选择对结果的影响远大于提示词措辞。