arXiv 机器学习· Zehao Zhao, Shangjian Yin, Rui Liu, Chongyang Bai, Mark Ibrahim, Kavosh Asadi, Yuchen Lu, Hang Cui, Hamed Firooz·· 6 小时前AI 评分39
超越更新次数：评估测试时模型更新的 Control Map 框架
Beyond Update Counts: A Control Map for Evaluating Test-Time Model Updates
AI 导读
研究团队提出 Control Map 评估框架，通过追踪作答前的更新历史，独立评测测试时模型更新的即时学习、后续召回与局部保留能力。实验表明，在 760M 参数模型上，相同更新次数的 24 种调度策略导致准确率在 19.7%–34.2% 之间大幅波动。测试还发现 ROME 在全部 13 个操作点均破坏了局部保留能力，且没有任何编辑方法能在各基准上持续最优。
来源：arXiv 机器学习 · arxiv.org