arXiv 自然语言处理· Georgios Batzolis, Georgios Kontos, Bruno Trentini, Pranam Chatterjee, Micha Livne, Mark Girolami, Luca Ambrogioni·· 7 小时前AI 评分44
基于连续比特流扩散的多模态协同生成
Multimodal Co-Generation With Continuous Bitstream Diffusion
AI 导读
连续比特流扩散（CoBit）通过统一的训练与采样方案，为图像-文本、语音-文本及蛋白质序列-结构提供了联合与条件多模态生成框架。在语音-文本任务中，单个模型无需文本预训练即可支持语音合成、识别与协同生成，联合生成的语音与文本间字错率达到 3.5%。在蛋白质任务中，单个模型支持正向与反向折叠，针对 100-500 个残基的生成结构自洽 TM-score 均值达到 0.911。
来源：arXiv 自然语言处理 · arxiv.org