arXiv 自然语言处理· Yuan Pu, Yudong Lu, Ting Wang, Zhicong Hong, Qinuo Li, Xuansheng Wu, Na Zou, Xia Hu, Guanchu Wang·· 7 小时前AI 评分45
OpenESM：能量导引模型是可扩展的基础学习器
OpenESM: Energy-Steered Models Are Scalable Foundation Learners
AI 导读
研究团队推出 OpenESM 架构，将能量引导与 token 生成整合至单一模型中，通过在能量图景上优化隐状态来精炼 token 生成。ESM 在 3 个大规模语料库预训练后，在 26 个下游任务中展现出良好的扩展特性，且在多数任务上超越 GPT 模型。相关模型权重和训练基础设施已在 GitHub 与 HuggingFace 完全开源。
来源：arXiv 自然语言处理 · arxiv.org