arXiv 人工智能· Roshan Reddy Upendra, Alexandre Dorais, Joe Meyer, Andrew Pouret, Anastasios Lambrianos Stappas, Dinesh Katupputhur Ramprasath, Viswanath Ganapathy, Tom Palczewski, Minghua Li·· 9 小时前AI 评分35
关系型基础模型在上下文学习中的支持集目标泄露:模型依赖性与评估可靠性
Support-Set Target Leakage in Relational Foundation Models during In-Context Learning: Model Dependence and Evaluation Reliability
AI 导读
关系型基础模型在上下文学习(ICL)中存在支持集目标泄露风险,会严重破坏评估可靠性。研究在 13 个 RelBench 任务和 5 种 ICL 配置下测试 20 个受控特征,发现 0-hop 和全量泄露偏差最大,甚至会逆转模型间的相对优劣结论。实验对比 IG、MI 与 LOCO 检测方法表明,依靠检测器移除特征无法稳定恢复干净的评估结果。
来源:arXiv 人工智能 · arxiv.org