arXiv 机器学习· Annabelle Sujun Tang, Wei Tang, Songyao Jiang, Tianhui Li, Shengzhe Xu, Jiin Woo, Kaan Ozkara, Youngsuk Park, Zhen Jia, Hadi Esmaeilzadeh·· 1 天前AI 评分42
如何训练 Little Dragon：教小语言模型构建与优化 GPU 优化脚本
How to Train Your Little Dragon: Teaching a Small Language Model to Construct and Refine GPU Optimization Scripts
AI 导读
研究人员提出 LITTLE DRAGON 训练方法，使 8B 小语言模型能构建与改进 GPU 优化脚本，单次尝试正确率达 91.27% 和 92.01%。该方案基于 TVM MetaSchedule 构建 108,594 个样本，通过监督微调及融合延迟奖励的强化学习进行训练。最终其在正确率与算子性能上超越了 GPT-6 Astra、Opus 5 等前沿大语言模型。
来源：arXiv 机器学习 · arxiv.org