Kairos：迈向适用于全模态的字节级基础模型

研究人员提出了全模态字节级基础模型架构 Kairos，它结合了 LiZAttention2 注意力、稀疏 MoE 与多尺度字节级编解码器，旨在覆盖文本、图像、音频、视频等统一字节空间。在 1–15M 参数规模的单句过拟合收敛性验证中，LiZAttention2 在 3,000 步测试中达到了接近 10⁻³ 的最小损失。该研究主要验证了该架构的可优化性，代码已开源提供。