arXiv 自然语言处理· Martino M. L. Pulici, Cuong Xuan Chu, Evgeny Kharlamov, Volker Tresp·· 8 小时前AI 评分38
文档级 LoRA 适配器的开卷评分究竟衡量了什么
Mostly Reading: What Open-Book Scores Measure in Document-Level LoRA Adapters
AI 导读
研究在 Llama-3.1-8B-Instruct 上评估文档级 LoRA 适配器发现，开卷评分主要衡量所有适配器共享的通用阅读行为，而非知识存储。测试显示，训练于其他文档的随机适配器可恢复专属适配器 82% 的开卷优势，但完形填空优势仅恢复 2%。在合并 16 篇以上文档时，合并模型能保留 87% 至 89% 的开卷优势，但完形填空优势仅保留 12% 至 16%。
来源：arXiv 自然语言处理 · arxiv.org