arXiv 人工智能· Jinhao Zhang, Zeyu Liu, Zicheng Yan, Yunquan Zhang, Daning Cheng, Song Tang·· 18 小时前AI 评分43
大语言模型有效微调是否必须依赖人类可读文本？
Is Human-Readable Text Necessary for Effective LLM Fine-Tuning?
AI 导读
研究人员提出 DASA 方法，利用冻结参考模型的激活梯度反馈优化连续合成输入嵌入向量，无需人类可读文本即可完成大语言模型下游微调。在 1B 至 32B 参数的 6 款 Llama 与 Qwen 模型及 6 个基准测试中，DASA 在 LoRA 微调下的表现媲美甚至超越源自然语言数据。此外，DASA 相比 GRADMM 实现了 3.6-4.9x 加速且峰值 GPU 显存相当。
来源：arXiv 人工智能 · arxiv.org