跳到正文
热点事件持续更新

研究提出多模态协同生成框架CoBit

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

2026年10月14日,研究人员在arXiv公布了基于连续比特流扩散的多模态协同生成框架CoBit。该框架采用统一的训练与采样方案,为图像-文本、语音-文本以及蛋白质序列-结构提供了联合与条件多模态生成支持。在具体任务表现上,单个CoBit模型在语音-文本任务中无需文本预训练即可实现语音合成、识别与协同生成,联合生成的语音与文本间字错率达到3.5%;在蛋白质任务中,单个模型同时支持正向与反向折叠,针对100至500个残基的生成结构自洽TM-score均值达到0.911。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月14日
  1. arXiv 自然语言处理
    基于连续比特流扩散的多模态协同生成

    连续比特流扩散(CoBit)通过统一的训练与采样方案,为图像-文本、语音-文本及蛋白质序列-结构提供了联合与条件多模态生成框架。在语音-文本任务中,单个模型无需文本预训练即可支持语音合成、识别与协同生成,联合生成的语音与文本间字错率达到 3.5%。在蛋白质任务中,单个模型支持正向与反向折叠,针对 100-500 个残基的生成结构自洽 TM-score 均值达到 0.911。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。