Apple 研究团队提出三模态掩码扩散模型设计空间

Apple 机器学习研究团队提出首个从零开始在文本、图文和音频文本数据上预训练的三模态掩码扩散模型（MDM）。研究系统分析了多模态扩展规律、模态混合比例与噪声调度，并提出基于 SDE 的重参数化方案以解耦物理与逻辑批大小。团队预训练了 3B 参数规模（6.4T tokens）的统一模型，在文本生成、文生图（T2I）和文生语音（T2S）任务上均展现出扎实表现。