arXiv 自然语言处理· Aditi Khandelwal, Ayush K. Tarun, Yixuan Xu, Imanol Schlag, Golnoosh Farnadi, Siva Reddy, Luke Zettlemoyer, Antoine Bosselut·· 12 小时前AI 评分51
多模态数据混合的 Scaling Laws 研究
Scaling Laws for Multimodal Data Mixtures
AI 导读
研究提出了覆盖文本、视觉与音频三模态的数据混合 Scaling Laws，并在 457M 至 8.3B 参数、最高 150B tokens 的 MoE 架构上完成了 268 组实验。
来源：arXiv 自然语言处理 · arxiv.org