arXiv 自然语言处理· Yujian Liu, Li An, Zelin He, Jacob Helwig, Jiabao Ji, Rohit Jain, Siyu Zhu, Shiyu Chang·· 2 小时前AI 评分46
构建用于自主发现线性注意力架构的 AI 研究团队
Building AI Research Teams for Autonomous Discovery of Linear Attention Architectures
AI 导读
研究者构建了由不同学科背景智能体组成的 AI 研究团队，通过保持独立研究历史、共享实验证据与自适应机会分配，用于自主探索线性注意力架构。在 1.3B 规模的语言建模、常识推理以及合成与真实检索任务中，该团队发现的架构性能超越了 GDN2。对照实验表明，缺少学科背景、独立研究历史或自适应分配机制均会显著削弱发现效果。
来源：arXiv 自然语言处理 · arxiv.org