arXiv 机器学习· Shixuan Liu, Tongli Zhou, Junwei Deng, Pingbang Hu, Jiaqi W. Ma·· 5 小时前AI 评分39
dattri-LLM：面向大语言模型规模的高效统一训练数据归因库
dattri-LLM: A Unified and Efficient Library for Training Data Attribution at LLM Scale
AI 导读
dattri-LLM 是一个面向大语言模型规模的高效训练数据归因（TDA）库。它无需修改训练循环即可捕获单样本梯度，无缝兼容 DDP、FSDP 以及 HuggingFace Transformers、TRL 和 OLMo 等流水线。在相同硬件和负载下，其平均吞吐量达到最快竞品的 3.2 倍，可在 4 块 H200 GPU 上将多种归因方法扩展至 110B 参数模型。
来源：arXiv 机器学习 · arxiv.org