The Decoder· Matthias Bastian·· 2 小时前精选AI 评分67
Reka AI 发布 19B 多模态模型 Rho-1,单一网络统一文本、音视频与机器人控制
Reka AI's omni-model Rho-1 handles text, images, video, and robot control in a single model
AI 导读
Reka AI 发布了 19B 参数的全模态研究预览模型 Rho-1,可在单一神经网络内同时处理与生成文本、图像、视频及机器人控制动作。模型无需工具调用或外部分流,所有模态均作为 token 在共享上下文窗口中运行,并支持实时生成连续视频与即时响应指令。为克服机器人训练数据短缺,研发团队利用逆动力学模型从普通互联网视频中提取控制信号,并在 320 块 H100 GPU 上完成了约三个月的训练。
推荐理由
该模型将视觉生成与机器人控制统一在单一上下文窗口中,展示了利用互联网视频提取控制信号来训练具身模型的路径。
来源:The Decoder · the-decoder.com