arXiv 自然语言处理· Jiaming Yu, Xiaotian Xie, Jian Ma, Yingjie Li·· 7 小时前AI 评分34
微小修改引发决策漂移：LLM 法语输入变体准确性与可靠性基准评测
Small Edits, Shifting Decisions: Benchmarking LLM Accuracy and Reliability on French Input Variants
AI 导读
研究团队构建了包含 12,600 个实例的法语表面变体基准，系统评测输入扰动对 2 个家族 6 款 LLM 准确性与预测可靠性的影响。测试显示键盘拼写错误影响最大，更大模型虽能减轻高强度扰动下的准确率损失，但 Brier 分数与 NLL 并未随模型规模持续改善。结合输入还原与校准可在保持恢复准确率的同时，进一步优化 Brier 分数和 NLL。
来源：arXiv 自然语言处理 · arxiv.org