arXiv 机器学习· Achref Doula, Max M\"uhlh\"auser·· 2 小时前AI 评分36
推理阶段模型漂移下的大语言模型共形预测审计
Auditing Conformal Prediction for Language Models Under Inference-Time Model Shift
AI 导读
研究人员形式化定义了推理阶段模型漂移,指出量化模式与推理温度等部署配置变动会破坏共形预测的可交换性。在 8 个语言模型、4 个有限标签基准和 12 种推理配置的评测显示,现有匹配评估会显著高估部署时的覆盖率。该研究建议在语言模型系统的共形预测评估中将推理配置作为核心实验维度。
来源:arXiv 机器学习 · arxiv.org