本文へスキップ

マルチモーダル

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

221件の厳選関連トピック图像生成AI 视频语音与音频

最新の厳選

161〜180 件目 · 全 221 件
9月30日水
  1. vLLM 官方博客(网页)70

    vLLM 官方首发支持 1T 多模态模型 TML Inkling中国語

    vLLM 宣布首发支持 Thinking Machines Lab 推出的 1T 参数原生多模态模型 TML Inkling,覆盖 NVFP4 与 BF16 两个版本,原生支持文本、图像与音频输入及最高 1M 上下文。

    推薦理由:框架通过短卷积分片与通信融合等算子优化完成了万亿多模态模型适配,为超大模型长上下文推理提供了工程参考。

  2. vLLM 官方博客(网页)72

    vLLM-Omni 推出分布式分层卸载技术,支持超显存容量 DiT 模型高效推理中国語

    vLLM-Omni 推出分布式分层卸载(DLO)技术,通过 Meta 设备与 mmap 加载、权重切分重构、双缓冲预取以及数据并行多并发,使单卡显存不足的超大视频生成模型可在多卡 GPU 或 NPU 上高效运行。

    推薦理由:vLLM-Omni 结合 mmap 与多流 AllGather 卸载降低显存与内存峰值,为大参数量扩散模型的低成本分布式推理提供了落地路径。

  3. vLLM 官方博客(网页)61

    VeRL-Omni v0.2.0 发布:加速扩散模型强化学习与全模态训练中国語

    VeRL-Omni 正式发布 v0.2.0 版本,重点提升扩散模型与全模态强化学习的训练吞吐与系统稳定性。

    推薦理由:该版本通过请求级批处理和标准化适配器,解决了扩散模型与全模态大模型强化学习中高延迟和架构耦合的问题。

  4. vLLM 官方博客(网页)75

    vLLM-Omni 支持 MiniMax H3 系统级优化与 FastH3 实时推理中国語

    vLLM-Omni 宣布完成对 MiniMax H3 的全栈推理优化并集成 FastVideo 的 4 步蒸馏方案 FastH3,实现了生成速度快于播放时长的端到端实时服务。

    推薦理由:文章拆解了音视频联合生成从 DiT 到 VAE 及视频封装的全链路瓶颈,为多模态大模型的低延迟部署提供了系统级参考。

  5. LlamaIndex 官方博客(网页)60

    LlamaIndex 推出 ExtractBench 企业文档提取评测基准并上线 Agentic Plus中国語

    LlamaIndex 开源了 ExtractBench 企业文档数据提取评测基准,并推出 LlamaExtract Agentic Plus 模式。该基准涵盖 8 个商业领域、67 类文档共 370 份企业文件(4,869 页),联合评估长记录完整性、扫描与手写体识别、视觉溯源及单页运行成本。

    推薦理由:评测将长文档完整性、扫描与手写识别以及单页成本结合,为企业评估文档提取系统提供了可量化的参考基线。

  6. vLLM 官方博客(网页)64

    vLLM 集成 PyNvVideoCodec 硬件视频解码以提升多 GPU 视频处理吞吐中国語

    vLLM 宣布集成 PyNvVideoCodec 以支持 NVIDIA GPU 硬件视频解码(NVDEC),将视频解码工作负载从 CPU 转移至专用硬件。该方案消除了多 GPU 节点运行视觉语言模型时 CPU 易满载的瓶颈,在 8×H100 配置下使视频描述任务的吞吐量达到 CPU 解码方案的两倍以上。

    推薦理由:通过将视频解码从 CPU 卸载至 GPU 硬件解码器,解决了多卡视觉模型推理中的预处理瓶颈并给出了部署配置参考。

  7. AITNT · AI头条(网页)79

    可灵AI发布 Kling 4.0 及 Flash 版视频生成模型中国語

    可灵AI宣布最新一代旗舰视频生成模型 Kling 4.0 开启内测并计划于10月上线,同时推出轻量版 Kling 4.0 Flash。Kling 4.0 单次原生生成时长达到30秒,结合续拍最长可达2分钟,支持最多10张关键帧与15个参考素材输入,并新增双通道立体声、21:9超宽画幅与10-bit HDR高规格输出。

    推薦理由:新版本将原生生成时长提升至30秒并支持10张关键帧控制,反映出视频生成正从短片段生成转向长镜头与专业叙事流程。

  8. AITNT · AI头条(网页)89

    AMD 宣布以约 82 亿美元全股票收购李飞飞空间智能初创公司 World Labs中国語

    AMD 正式宣布与李飞飞创立的初创公司 World Labs 签署协议,将以全股票方式出资约 82 亿美元(约合 550 亿元人民币)进行收购,交易预计在 2026 年底前完成。

    推薦理由:AMD 通过收购将前沿空间智能研究绑定自身芯片体系,旨在为物理 AI 与机器人工作负载的软硬件协同提前布局。

  9. Ars Technica · AI 筛选81

    AMD 宣布以 82 亿美元收购李飞飞创立的世界模型初创公司 World Labs中国語

    AMD 与世界模型初创公司 World Labs 联合宣布,AMD 将在年底前以 82 亿美元收购 World Labs,交易尚待监管批准。World Labs 由李飞飞等人于 2024 年创立,专注于研发可模拟物理世界的 AI 模型并推出了 Marble 等 3D 生成工具。该收购将补齐 AMD 在机器人合成数据训练与世界模型技术栈上的能力。

    推薦理由:AMD 通过收购李飞飞团队补齐物理世界模拟能力,有助于在机器人合成数据领域缩小与竞争对手的技术差距。

  10. The Decoder89

    AMD 拟斥资 82 亿美元全股票收购世界模型初创公司 World Labs中国語

    芯片制造商 AMD 宣布将以约 82 亿美元的全股票交易收购空间智能初创公司 World Labs,交易预计于 2026 年底前完成。World Labs 创始人李飞飞将加入 AMD 领导团队担任执行副总裁兼首席科学家,直接向首席执行官 Lisa Su 汇报并领导前沿研究。AMD 计划通过获取世界模型算法专长来更深入理解端到端工作负载,从而指导未来芯片硬件路线图的构建。

    推薦理由:原文披露了交易结构与战略意图,读者可以据此了解芯片厂商通过整合世界模型算法团队来指导硬件演进的路径。

9月29日火
  1. The Next Platform85

    AMD 拟以 82 亿美元全股票收购李飞飞创立的世界模型初创公司 World Labs中国語

    AMD 达成协议将以价值 82 亿美元的全股票交易收购由李飞飞等人创立的世界模型初创公司 World Labs。World Labs 估值在今年 2 月的 B 轮融资中约为 50 亿美元,旗下开发了 Marble 世界模型及 Atlas 多模态自回归扩散引擎。

    推薦理由:AMD 以全股票交易溢价收购世界模型团队,展现了芯片厂商通过自建前沿模型与软硬件生态应对竞争的战略意图。

  2. Microsoft Research67

    Microsoft Research 发布生物学 AI 研究系统 Quine中国語

    Microsoft Research 推出生物学 AI 研究系统 Quine,由多模态生物学世界模型以及连接科研工具、文献与湿实验的交互框架组成。系统联合学习基因组、蛋白质、细胞状态及生物成像等跨尺度数据,以预测干预后的生物状态演变;在与 Broad Institute 合作的胰腺癌研究中,Quine 快速完成化合物筛选并在湿实验中验证了候选分子。

    推薦理由:原文展示了生物学世界模型与湿实验结合的闭环流程,读者可据此了解 AI 辅助跨模态生物学推理与药物筛选的具体范式。

  3. 爱范儿 · AI 筛选73

    神秘 AI 模型 Space Bunny 实测:支持草图生成 3D 网页与 Agent 编程,分词特征指向 MiniMax中国語

    匿名模型 Space Bunny Alpha 近期在 OpenRouter 和 OpenCode 上线,凭借快速响应、草图生成可交互 3D 网页及 Agent 编程能力引发大量调用。实测显示其能直接理解粗糙草图并生成包含动效的前端页面,但在精细视觉质感上与旗舰模型仍有差距。分词特征与代码线索分析显示,该模型可能来自 MiniMax 家族。

    推薦理由:实测展现了该模型将简单草图快速转化为可交互 3D 网页的能力,读者可据此了解轻量级 Agent 编程的适用边界。

  4. Solidot · AI 筛选89

    AMD 以 82 亿美元全股票收购 World Labs,李飞飞将出任首席科学家中国語

    AMD 宣布以约 82 亿美元全股票方式收购李飞飞联合创办的 AI 初创公司 World Labs。World Labs 专注于开发世界模型且此前已融资超 12 亿美元,交易完成后李飞飞将加入 AMD 担任执行副总裁兼首席科学家,直接向董事长兼 CEO 苏姿丰汇报。

    推薦理由:AMD通过巨额全股票收购将前沿世界模型团队与顶尖学者招入麾下,反映出芯片巨头加速构建软硬件协同能力的战略布局。

  5. 爱范儿 · AI 筛选89

    AMD 宣布以 82 亿美元收购李飞飞创立的 World Labs中国語

    AMD 宣布与李飞飞创立的空间智能公司 World Labs 签署最终协议,将以全股票方式作价约 82 亿美元进行收购,交易预计在 2026 年底前完成。交易完成后李飞飞将出任 AMD 执行副总裁兼首席科学家,团队将继续推进三维环境生成与机器人仿真模型的研发。AMD 计划通过软硬件协同开发,针对物理 AI、机器人与仿真等未来多样化计算负载优化底层计算基础设施。

    推薦理由:芯片厂商通过整合空间智能与三维仿真模型团队,展示了将算法研究深度绑定硬件设计的生态布局路径。

  6. 量子位89

    AMD 拟以 82 亿美元全股票收购李飞飞创立的空间智能公司 World Labs中国語

    AMD 宣布签署协议,将以 82 亿美元全股票收购李飞飞创办的空间智能公司 World Labs,交易预计 2026 年底前完成。交易交割后,李飞飞将出任 AMD 执行副总裁兼首席科学家,直接向 CEO 苏姿丰汇报,联合创始人 Justin Johnson 和 Ben Mildenhall 则带领团队并入 AMD 组建前沿 AI 研究组织。

    推薦理由:芯片巨头通过并购前沿空间模型团队切入物理世界模拟与具身智能负载,反映出底层硬件与三维生成架构深度绑定的趋势。

9月25日金
  1. Google Research64

    Google 提出 AI 视频联合导演框架,推进长时长连贯视频生成中国語

    Google Research 推出一套面向长时长叙事视频的多智能体框架体系,涵盖 Co-Director、CANVAS、A²RD 和 VQQA 四项核心研究,旨在解决视频扩散模型在多镜头场景中的语义漂移和级联错误。

    推薦理由:Google 将长视频生成解构为多智能体编排与世界状态追踪,提供了解决多镜头叙事中角色与场景漂移的成套系统方案。

  2. Google DeepMind73

    Google DeepMind 推出 Gemini 3.8 Live with Live Avatar中国語

    Google DeepMind 推出 Gemini 3.8 Live with Live Avatar,将实时对话能力与低延迟流式视频生成结合,赋予对话 AI 具备自然口型与表情的动态视觉形象。

    推薦理由:原文介绍了原生实时对话结合流式数字人形象的能力与技术细节,读者可以据此了解多模态交互在企业场景中的最新落地形式。

9月23日水
  1. Google DeepMind78

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 文本转语音模型中国語

    Google DeepMind 正式推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,支持通过自然语言提示词定制角色声音并逐行掌控对话演绎。

    推薦理由:两款模型将语音生成拓展至基于自然语言的精细表演控制与多角色编排,为多语种配音和语音智能体开发提供了高可控性方案。

9月22日火
  1. 腾讯混元 公众号68

    混元图像 3.5 预览版发布,腾讯推出高性价比专业级生图模型中国語

    腾讯正式发布混元图像 3.5 预览版(Hy Image3.5 preview),定位高性价比专业级生图模型,官方盲测对比 Hy Image3.0 综合能力提升约 30%。

    推薦理由:新模型在多轮编辑与文字渲染上做了针对性优化,配合较低的单图调用成本,有助于降低批量视觉物料生成的试错门槛。