英伟达与滑铁卢大学开源PixelUMM多模态模型

2026年11月2日，英伟达与滑铁卢大学联合开源了无编码器统一多模态模型 PixelUMM。该模型直接在像素空间统一图像与视频的理解和生成，舍弃了传统的 ViT 与 VAE 架构，转而采用单层线性投影与 Mixture-of-Transformers 架构，在共享的多模态主干网络中分别路由理解与生成参数。评测结果显示，PixelUMM 在图像和视频的理解与生成任务上均取得了与基线相当的性能。目前，相关代码和模型已在 GitHub 与 Hugging Face 正式开源。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。