每个实例都被同等对待了吗？LLM 多实例处理中的顺序效应研究

研究发现大语言模型（LLM）在多实例处理（MIP）聚合预测任务中存在显著的顺序敏感性。通过在 5 个数据集和 7 种实例顺序模式下评估 15 个 LLM，最佳与最差顺序模式间的准确率差距可达约 90 个百分点，当多数标签实例位于开头时模型通常表现更准。推理轨迹更偏向提及早期实例，基于梯度的归因分数在开头和结尾处通常高于中间。