Skip to content

Multimodal

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

219selectedRelated topics图像生成AI 视频语音与音频

Latest selected

161–180 of 219
Sep 30Wed
  1. vLLM 官方博客(网页)75

    vLLM-Omni 支持 MiniMax H3 系统级优化与 FastH3 实时推理Chinese

    vLLM-Omni 宣布完成对 MiniMax H3 的全栈推理优化并集成 FastVideo 的 4 步蒸馏方案 FastH3,实现了生成速度快于播放时长的端到端实时服务。

    Why it matters: 文章拆解了音视频联合生成从 DiT 到 VAE 及视频封装的全链路瓶颈,为多模态大模型的低延迟部署提供了系统级参考。

  2. LlamaIndex 官方博客(网页)60

    LlamaIndex 推出 ExtractBench 企业文档提取评测基准并上线 Agentic PlusChinese

    LlamaIndex 开源了 ExtractBench 企业文档数据提取评测基准,并推出 LlamaExtract Agentic Plus 模式。该基准涵盖 8 个商业领域、67 类文档共 370 份企业文件(4,869 页),联合评估长记录完整性、扫描与手写体识别、视觉溯源及单页运行成本。

    Why it matters: 评测将长文档完整性、扫描与手写识别以及单页成本结合,为企业评估文档提取系统提供了可量化的参考基线。

  3. vLLM 官方博客(网页)64

    vLLM 集成 PyNvVideoCodec 硬件视频解码以提升多 GPU 视频处理吞吐Chinese

    vLLM 宣布集成 PyNvVideoCodec 以支持 NVIDIA GPU 硬件视频解码(NVDEC),将视频解码工作负载从 CPU 转移至专用硬件。该方案消除了多 GPU 节点运行视觉语言模型时 CPU 易满载的瓶颈,在 8×H100 配置下使视频描述任务的吞吐量达到 CPU 解码方案的两倍以上。

    Why it matters: 通过将视频解码从 CPU 卸载至 GPU 硬件解码器,解决了多卡视觉模型推理中的预处理瓶颈并给出了部署配置参考。

  4. AITNT · AI头条(网页)79

    可灵AI发布 Kling 4.0 及 Flash 版视频生成模型Chinese

    可灵AI宣布最新一代旗舰视频生成模型 Kling 4.0 开启内测并计划于10月上线,同时推出轻量版 Kling 4.0 Flash。Kling 4.0 单次原生生成时长达到30秒,结合续拍最长可达2分钟,支持最多10张关键帧与15个参考素材输入,并新增双通道立体声、21:9超宽画幅与10-bit HDR高规格输出。

    Why it matters: 新版本将原生生成时长提升至30秒并支持10张关键帧控制,反映出视频生成正从短片段生成转向长镜头与专业叙事流程。

  5. AITNT · AI头条(网页)89

    AMD 宣布以约 82 亿美元全股票收购李飞飞空间智能初创公司 World LabsChinese

    AMD 正式宣布与李飞飞创立的初创公司 World Labs 签署协议,将以全股票方式出资约 82 亿美元(约合 550 亿元人民币)进行收购,交易预计在 2026 年底前完成。

    Why it matters: AMD 通过收购将前沿空间智能研究绑定自身芯片体系,旨在为物理 AI 与机器人工作负载的软硬件协同提前布局。

  6. Ars Technica · AI 筛选81

    AMD 宣布以 82 亿美元收购李飞飞创立的世界模型初创公司 World LabsChinese

    AMD 与世界模型初创公司 World Labs 联合宣布,AMD 将在年底前以 82 亿美元收购 World Labs,交易尚待监管批准。World Labs 由李飞飞等人于 2024 年创立,专注于研发可模拟物理世界的 AI 模型并推出了 Marble 等 3D 生成工具。该收购将补齐 AMD 在机器人合成数据训练与世界模型技术栈上的能力。

    Why it matters: AMD 通过收购李飞飞团队补齐物理世界模拟能力,有助于在机器人合成数据领域缩小与竞争对手的技术差距。

  7. The Decoder89

    AMD 拟斥资 82 亿美元全股票收购世界模型初创公司 World LabsChinese

    芯片制造商 AMD 宣布将以约 82 亿美元的全股票交易收购空间智能初创公司 World Labs,交易预计于 2026 年底前完成。World Labs 创始人李飞飞将加入 AMD 领导团队担任执行副总裁兼首席科学家,直接向首席执行官 Lisa Su 汇报并领导前沿研究。AMD 计划通过获取世界模型算法专长来更深入理解端到端工作负载,从而指导未来芯片硬件路线图的构建。

    Why it matters: 原文披露了交易结构与战略意图,读者可以据此了解芯片厂商通过整合世界模型算法团队来指导硬件演进的路径。

Sep 29Tue
  1. The Next Platform85

    AMD 拟以 82 亿美元全股票收购李飞飞创立的世界模型初创公司 World LabsChinese

    AMD 达成协议将以价值 82 亿美元的全股票交易收购由李飞飞等人创立的世界模型初创公司 World Labs。World Labs 估值在今年 2 月的 B 轮融资中约为 50 亿美元,旗下开发了 Marble 世界模型及 Atlas 多模态自回归扩散引擎。

    Why it matters: AMD 以全股票交易溢价收购世界模型团队,展现了芯片厂商通过自建前沿模型与软硬件生态应对竞争的战略意图。

  2. Microsoft Research67

    Microsoft Research 发布生物学 AI 研究系统 QuineChinese

    Microsoft Research 推出生物学 AI 研究系统 Quine,由多模态生物学世界模型以及连接科研工具、文献与湿实验的交互框架组成。系统联合学习基因组、蛋白质、细胞状态及生物成像等跨尺度数据,以预测干预后的生物状态演变;在与 Broad Institute 合作的胰腺癌研究中,Quine 快速完成化合物筛选并在湿实验中验证了候选分子。

    Why it matters: 原文展示了生物学世界模型与湿实验结合的闭环流程,读者可据此了解 AI 辅助跨模态生物学推理与药物筛选的具体范式。

  3. 爱范儿 · AI 筛选73

    神秘 AI 模型 Space Bunny 实测:支持草图生成 3D 网页与 Agent 编程,分词特征指向 MiniMaxChinese

    匿名模型 Space Bunny Alpha 近期在 OpenRouter 和 OpenCode 上线,凭借快速响应、草图生成可交互 3D 网页及 Agent 编程能力引发大量调用。实测显示其能直接理解粗糙草图并生成包含动效的前端页面,但在精细视觉质感上与旗舰模型仍有差距。分词特征与代码线索分析显示,该模型可能来自 MiniMax 家族。

    Why it matters: 实测展现了该模型将简单草图快速转化为可交互 3D 网页的能力,读者可据此了解轻量级 Agent 编程的适用边界。

  4. Solidot · AI 筛选89

    AMD 以 82 亿美元全股票收购 World Labs,李飞飞将出任首席科学家Chinese

    AMD 宣布以约 82 亿美元全股票方式收购李飞飞联合创办的 AI 初创公司 World Labs。World Labs 专注于开发世界模型且此前已融资超 12 亿美元,交易完成后李飞飞将加入 AMD 担任执行副总裁兼首席科学家,直接向董事长兼 CEO 苏姿丰汇报。

    Why it matters: AMD通过巨额全股票收购将前沿世界模型团队与顶尖学者招入麾下,反映出芯片巨头加速构建软硬件协同能力的战略布局。

  5. 爱范儿 · AI 筛选89

    AMD 宣布以 82 亿美元收购李飞飞创立的 World LabsChinese

    AMD 宣布与李飞飞创立的空间智能公司 World Labs 签署最终协议,将以全股票方式作价约 82 亿美元进行收购,交易预计在 2026 年底前完成。交易完成后李飞飞将出任 AMD 执行副总裁兼首席科学家,团队将继续推进三维环境生成与机器人仿真模型的研发。AMD 计划通过软硬件协同开发,针对物理 AI、机器人与仿真等未来多样化计算负载优化底层计算基础设施。

    Why it matters: 芯片厂商通过整合空间智能与三维仿真模型团队,展示了将算法研究深度绑定硬件设计的生态布局路径。

  6. 量子位89

    AMD 拟以 82 亿美元全股票收购李飞飞创立的空间智能公司 World LabsChinese

    AMD 宣布签署协议,将以 82 亿美元全股票收购李飞飞创办的空间智能公司 World Labs,交易预计 2026 年底前完成。交易交割后,李飞飞将出任 AMD 执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报,联合创始人 Justin Johnson 和 Ben Mildenhall 则带领团队并入 AMD 组建前沿 AI 研究组织。

    Why it matters: 芯片巨头通过并购前沿空间模型团队切入物理世界模拟与具身智能负载,反映出底层硬件与三维生成架构深度绑定的趋势。

Sep 25Fri
  1. Google Research64

    Google 提出 AI 视频联合导演框架,推进长时长连贯视频生成Chinese

    Google Research 推出一套面向长时长叙事视频的多智能体框架体系,涵盖 Co-Director、CANVAS、A²RD 和 VQQA 四项核心研究,旨在解决视频扩散模型在多镜头场景中的语义漂移和级联错误。

    Why it matters: Google 将长视频生成解构为多智能体编排与世界状态追踪,提供了解决多镜头叙事中角色与场景漂移的成套系统方案。

  2. Google DeepMind73

    Google DeepMind 推出 Gemini 3.8 Live with Live AvatarChinese

    Google DeepMind 推出 Gemini 3.8 Live with Live Avatar,将实时对话能力与低延迟流式视频生成结合,赋予对话 AI 具备自然口型与表情的动态视觉形象。

    Why it matters: 原文介绍了原生实时对话结合流式数字人形象的能力与技术细节,读者可以据此了解多模态交互在企业场景中的最新落地形式。

Sep 23Wed
  1. Google DeepMind78

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 文本转语音模型Chinese

    Google DeepMind 正式推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持通过自然语言提示词定制角色声音并逐行掌控对话演绎。

    Why it matters: 两款模型将语音生成拓展至基于自然语言的精细表演控制与多角色编排,为多语种配音和语音智能体开发提供了高可控性方案。

Sep 22Tue
  1. 腾讯混元 公众号68

    混元图像 3.5 预览版发布,腾讯推出高性价比专业级生图模型Chinese

    腾讯正式发布混元图像 3.5 预览版(Hy Image3.5 preview),定位高性价比专业级生图模型,官方盲测对比 Hy Image3.0 综合能力提升约 30%。

    Why it matters: 新模型在多轮编辑与文字渲染上做了针对性优化,配合较低的单图调用成本,有助于降低批量视觉物料生成的试错门槛。

Sep 16Wed
  1. Google DeepMind82

    Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 语音模型Chinese

    Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款近实时对话模型,主打面向企业与开发者的端到端语音智能体构建。

    Why it matters: 两款模型展示了近实时语音交互与后台复杂推理并行执行的技术路径,为构建低延迟端到端语音智能体提供了参考基准。

Sep 15Tue