arXiv 自然语言处理· Hongcan Guo, Yian Zhao, Feng Wang, Shen Nie, Guoqiang Wei, Yan Zeng, Hengshuang Zhao·· 8 小时前AI 评分39
Cola2：基于连续语义压缩与平衡离散生成的共适应分层语言建模
Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation
AI 导读
研究人员提出分层语言建模框架 Cola2，结合连续语义压缩与离散生成，通过动态文本分块和块因果掩码扩散解码器实现连续与离散表示的共适应。在 346.03B source token 训练下，其未收敛检查点在 8 项任务上取得 60.10 的平均分，并在 HellaSwag 和 StoryCloze 上超越预训练预算为其 43 倍以上的 Llama-3-8B。
来源：arXiv 自然语言处理 · arxiv.org