跳到正文
热点事件持续更新

研究提出字节级全模态基础模型Kairos并开源代码

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月12日,研究人员在arXiv发布研究,提出了面向全模态的字节级基础模型架构Kairos。该架构结合了LiZAttention2注意力机制、稀疏MoE以及多尺度字节级编解码器,旨在覆盖文本、图像、音频、视频等统一字节空间。在1M至15M参数规模的单句过拟合收敛性验证中,LiZAttention2在3,000步测试中达到了接近10⁻³的最小损失。该研究主要验证了Kairos架构的可优化性,目前相关代码已开源提供。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月12日
  1. arXiv 机器学习
    Kairos:迈向适用于全模态的字节级基础模型

    研究人员提出了全模态字节级基础模型架构 Kairos,它结合了 LiZAttention2 注意力、稀疏 MoE 与多尺度字节级编解码器,旨在覆盖文本、图像、音频、视频等统一字节空间。在 1–15M 参数规模的单句过拟合收敛性验证中,LiZAttention2 在 3,000 步测试中达到了接近 10⁻³ 的最小损失。该研究主要验证了该架构的可优化性,代码已开源提供。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。