英伟达与滑铁卢大学开源无编码器多模态模型 PixelUMM

英伟达与滑铁卢大学联合开源了无编码器统一多模态模型 PixelUMM，直接在像素空间统一图像与视频的理解和生成。模型舍弃了 ViT 与 VAE，采用单层线性投影与 Mixture-of-Transformers 架构，在共享多模态主干中分别路由理解与生成参数。评测显示其在图像视频理解及生成任务上取得了与基线相当的性能，相关代码和模型已在 GitHub 与 Hugging Face 开源。