Skip to content
Hot storiesContinuously updated

英伟达与滑铁卢大学开源PixelUMM多模态模型

1 reports1 reporting sourcesUpdated 4 hours ago

Start here

AI overview

2026年11月2日，英伟达与滑铁卢大学联合开源了无编码器统一多模态模型 PixelUMM。该模型直接在像素空间统一图像与视频的理解和生成，舍弃了传统的 ViT 与 VAE 架构，转而采用单层线性投影与 Mixture-of-Transformers 架构，在共享的多模态主干网络中分别路由理解与生成参数。评测结果显示，PixelUMM 在图像和视频的理解与生成任务上均取得了与基线相当的性能。目前，相关代码和模型已在 GitHub 与 Hugging Face 正式开源。

AI-generated from reports · Updated 4 hours ago

Latest developmentsNov 2 11:02
英伟达联合滑铁卢大学开源无编码器多模态模型PixelUMM，相关代码已上线。

Report timeline

Follow the reports to see different sides of the story.

Nov 2
  1. AITNT · AI头条
    英伟达与滑铁卢大学开源无编码器多模态模型 PixelUMM

    英伟达与滑铁卢大学联合开源了无编码器统一多模态模型 PixelUMM，直接在像素空间统一图像与视频的理解和生成。模型舍弃了 ViT 与 VAE，采用单层线性投影与 Mixture-of-Transformers 架构，在共享多模态主干中分别路由理解与生成参数。评测显示其在图像视频理解及生成任务上取得了与基线相当的性能，相关代码和模型已在 GitHub 与 Hugging Face 开源。

Story heat trend

Current heat 9·Comparable peak 10（Nov 2 12:00）·Comparable change, last 24 hours–

02.557.510Nov2Nov2Nov2Nov2

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.