Skip to content

Multimodal

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

221selectedRelated topics图像生成AI 视频语音与音频

Latest selected

181–200 of 221
Sep 16Wed
  1. Google DeepMind82

    Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 语音模型Chinese

    Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款近实时对话模型,主打面向企业与开发者的端到端语音智能体构建。

    Why it matters: 两款模型展示了近实时语音交互与后台复杂推理并行执行的技术路径,为构建低延迟端到端语音智能体提供了参考基准。

Sep 15Tue
Sep 10Thu
  1. DeepSeek 公众号89

    DeepSeek 正式发布 V4.1 Flash 原生多模态模型并开源Chinese

    深度求索正式发布并开源 552B 参数的原生多模态模型 DeepSeek V4.1 Flash。该模型采用 Causal-Encoder-Decoder 非对称 MoE 结构,输入激活 8B、输出激活 16B,大幅减少了 KV Cache 对 HBM 和 SSD 的占用需求。

    Why it matters: 原文公开了非对称 MoE 架构与大幅压缩 KV Cache 的技术细节,为开发者评估多模态与 Agent 任务落地成本提供了直接参考。

Sep 3Thu
  1. Hugging Face68

    NeoMME 原生多模态编码器发布:260M 与 800M 单塔架构开源Chinese

    NeoMME 推出 260M 与 800M 原生多语言多模态编码器,采用单塔双向 Transformer 从头预训练,无需独立视觉塔或自回归解码器。微调版 NeoMME-Retriever 在单次前向传播中同时输出稠密与后期交互嵌入,在 ViDoRe v3 达到帕累托最优,并可在单张 NVIDIA L40S 上以每秒 51 页的速度编码 2048×2048 图像。

    Why it matters: 原文开源了单塔架构的多模态原生编码器与检索微调权重,读者可参考其在视觉文档检索与索引压缩上的落地实践。

Sep 2Wed
  1. Google Research62

    Google 联合 NASA JPL 推出 MAPL-EMIT:利用深度学习从太空监测全球甲烷排放Chinese

    Google 联合 NASA JPL 提出基于 Swin-S Vision Transformer 的深度学习框架 MAPL-EMIT,用于自动化检测、量化并定位太空高光谱卫星数据中的甲烷羽流。

    Why it matters: 研究展示了如何利用物理仿真训练视觉模型解析太空高光谱遥感数据,为大范围环境监测提供了自动化工具。

  2. Google DeepMind79

    Google DeepMind 为 Gemini 推出智能体视频理解功能Chinese

    Google DeepMind 为 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 推出智能体视频理解(agentic video understanding)功能,可将 token 消耗降低最高 88%、成本降低最高 66%,并将准确率提升最高 7%。

    Why it matters: 原文展示了模型通过主动调用工具按需动态分析视频的机制,为长视频处理的成本与精度优化提供了具体参考。

Aug 28Fri
  1. Google Research64

    Google 提出行星预测引擎 PPE:基于 Earth AI 自动化全流程地理空间建模Chinese

    Google Research 推出实验性系统“行星预测引擎”(PPE),可直接根据自然语言查询自主完成地理空间数据发现、清洗、特征工程、模型训练与评估的全流程。

    Why it matters: 该研究通过大语言模型编排自动化全流程地理空间建模,将传统需数周的手工数据整理与特征工程压缩至数分钟。

Aug 27Thu
Aug 26Wed
Aug 21Fri
Aug 18Tue
Aug 12Wed
  1. Google DeepMind73

    Google DeepMind 推出手语转文本模型 SL2TChinese

    Google DeepMind 推出多语种手语转文本模型 SL2T,并首次落地 Pixel 11 的 Gboard 输入法与 Live Transcribe,首发支持美国手语(ASL)转英语听写。

    Why it matters: 该模型跳过传统手语标注直接将姿态骨骼坐标映射为文本,并落地手机输入法,展现了端云协同下多模态交互落地的具体路径。

Aug 10Mon
  1. Hugging Face84

    Meta 开源多模态模型 Muse Glimmer 30B 并上线 Hugging FaceChinese

    Meta 发布多模态模型 Muse Glimmer 并采用 Apache 2.0 协议开源,该模型参数量为 30B,包含 2B 视觉编码器与 28B 文本解码器,专为本地 Agent、隐私计算、编码和文档分析设计。

    Why it matters: Meta 开源 30B 本地端多模态智能体模型并采用 Apache 2.0 协议,为开发者提供了兼顾隐私与本地部署的工具调用与编码模型选择。

Jul 30Thu
  1. Google DeepMind81

    Google DeepMind 发布具身推理模型 Gemini Robotics ER 2,支持连续视频理解与多机协同Chinese

    Google DeepMind 正式发布具身推理模型 Gemini Robotics ER 2,作为机器人的高层认知大脑,通过连续视频流理解实现任务编排与多机器人协同作业。

    Why it matters: 该模型展示了将高层视频流推理与底层动作执行解耦的设计路径,对探索多智能体协作与复杂物理任务闭环具有参考价值。

  2. Google DeepMind64

    Google DeepMind 推出音乐生成模型 Lyria 3.5 并在 Google Flow Music 上线Chinese

    Google DeepMind 推出最新音乐生成模型 Lyria 3.5,并正式在 Google Flow Music 中上线。新模型在旋律结构复杂度与自然度、歌词质量与结构感知、以及人声发音和情感表现力上均有提升。同时,它增强了创作控制能力,方便用户调整生成音频的节奏和时长。

    Why it matters: 原文列举了旋律、歌词、人声表现力与节奏时长控制等维度的升级,读者可以据此评估 AI 音乐生成的可用性变化。

Jul 27Mon
  1. 月之暗面 Kimi 公众号90

    月之暗面发布 Kimi K3 模型权重与技术报告并开源三项训练 Infra 技术Chinese

    月之暗面正式发布 Kimi K3 模型权重及技术报告,并同步开源支撑其训练的关键基础设施 MoonEP、FlashKDA 和 AgentEnv。Kimi K3 为拥有 2.8 万亿参数的 MoE 模型,支持原生视觉理解与 100 万 token 上下文窗口,每 token 从 896 个专家中激活 16 个。

    Why it matters: 月之暗面不仅开放了长上下文与原生视觉模型权重,还配套开源了专家并行通信库与算子等训练基建。

  2. 月之暗面 Kimi 公众号88

    月之暗面发布 Kimi K3:开放 2.8 万亿参数 MoE 模型权重、技术报告与训练 InfraChinese

    月之暗面在 Kimi K3 开放日正式发布 Kimi K3 模型权重、技术报告,并开源支撑模型训练的关键 Infra 技术。Kimi K3 是拥有 2.8 万亿参数的 MoE 模型,具备原生视觉理解能力与 100 万 token 上下文窗口,支持自由下载部署。本次配套开源了专家并行通信库 MoonEP、高性能算子 FlashKDA 以及用于分布式强化学习的 AgentEnv 沙箱系统。

    Why it matters: 月之暗面同步开放了万亿参数混合专家模型权重、技术报告及训练基础设施,有助于开发者了解其超长上下文与细粒度通信优化方案。