本文へスキップ

マルチモーダル

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

219件の厳選関連トピック图像生成AI 视频语音与音频

最新の厳選

181〜200 件目 · 全 219 件
9月10日木
  1. DeepSeek 公众号89

    DeepSeek 正式发布 V4.1 Flash 原生多模态模型并开源中国語

    深度求索正式发布并开源 552B 参数的原生多模态模型 DeepSeek V4.1 Flash。该模型采用 Causal-Encoder-Decoder 非对称 MoE 结构,输入激活 8B、输出激活 16B,大幅减少了 KV Cache 对 HBM 和 SSD 的占用需求。

    推薦理由:原文公开了非对称 MoE 架构与大幅压缩 KV Cache 的技术细节,为开发者评估多模态与 Agent 任务落地成本提供了直接参考。

  2. Hugging Face71

    Gradio 基于 Workflow 画布重构 AUTOMATIC1111 推出 Workflow1111中国語

    Hugging Face 团队基于 Gradio Workflow 画布推出 Workflow1111,通过 73 个节点和 11 条管线重构了 AUTOMATIC1111 的核心功能。

    推薦理由:展示了如何用可视化节点图复构复杂生图系统,且每个输出节点均可自动转为 REST 接口与 MCP 工具供智能体调用。

9月3日木
  1. Hugging Face68

    NeoMME 原生多模态编码器发布:260M 与 800M 单塔架构开源中国語

    NeoMME 推出 260M 与 800M 原生多语言多模态编码器,采用单塔双向 Transformer 从头预训练,无需独立视觉塔或自回归解码器。微调版 NeoMME-Retriever 在单次前向传播中同时输出稠密与后期交互嵌入,在 ViDoRe v3 达到帕累托最优,并可在单张 NVIDIA L40S 上以每秒 51 页的速度编码 2048×2048 图像。

    推薦理由:原文开源了单塔架构的多模态原生编码器与检索微调权重,读者可参考其在视觉文档检索与索引压缩上的落地实践。

9月2日水
  1. Google Research62

    Google 联合 NASA JPL 推出 MAPL-EMIT:利用深度学习从太空监测全球甲烷排放中国語

    Google 联合 NASA JPL 提出基于 Swin-S Vision Transformer 的深度学习框架 MAPL-EMIT,用于自动化检测、量化并定位太空高光谱卫星数据中的甲烷羽流。

    推薦理由:研究展示了如何利用物理仿真训练视觉模型解析太空高光谱遥感数据,为大范围环境监测提供了自动化工具。

  2. Google DeepMind79

    Google DeepMind 为 Gemini 推出智能体视频理解功能中国語

    Google DeepMind 为 Gemini 3.7 Flash、3.6 Flash 和 3.5 Flash-Lite 推出智能体视频理解(agentic video understanding)功能,可将 token 消耗降低最高 88%、成本降低最高 66%,并将准确率提升最高 7%。

    推薦理由:原文展示了模型通过主动调用工具按需动态分析视频的机制,为长视频处理的成本与精度优化提供了具体参考。

8月28日金
  1. Google Research64

    Google 提出行星预测引擎 PPE:基于 Earth AI 自动化全流程地理空间建模中国語

    Google Research 推出实验性系统“行星预测引擎”(PPE),可直接根据自然语言查询自主完成地理空间数据发现、清洗、特征工程、模型训练与评估的全流程。

    推薦理由:该研究通过大语言模型编排自动化全流程地理空间建模,将传统需数周的手工数据整理与特征工程压缩至数分钟。

8月27日木
8月26日水
8月21日金
8月18日火
8月12日水
  1. Google DeepMind73

    Google DeepMind 推出手语转文本模型 SL2T中国語

    Google DeepMind 推出多语种手语转文本模型 SL2T,并首次落地 Pixel 11 的 Gboard 输入法与 Live Transcribe,首发支持美国手语(ASL)转英语听写。

    推薦理由:该模型跳过传统手语标注直接将姿态骨骼坐标映射为文本,并落地手机输入法,展现了端云协同下多模态交互落地的具体路径。

8月10日月
  1. Hugging Face84

    Meta 开源多模态模型 Muse Glimmer 30B 并上线 Hugging Face中国語

    Meta 发布多模态模型 Muse Glimmer 并采用 Apache 2.0 协议开源,该模型参数量为 30B,包含 2B 视觉编码器与 28B 文本解码器,专为本地 Agent、隐私计算、编码和文档分析设计。

    推薦理由:Meta 开源 30B 本地端多模态智能体模型并采用 Apache 2.0 协议,为开发者提供了兼顾隐私与本地部署的工具调用与编码模型选择。

7月30日木
  1. Google DeepMind81

    Google DeepMind 发布具身推理模型 Gemini Robotics ER 2,支持连续视频理解与多机协同中国語

    Google DeepMind 正式发布具身推理模型 Gemini Robotics ER 2,作为机器人的高层认知大脑,通过连续视频流理解实现任务编排与多机器人协同作业。

    推薦理由:该模型展示了将高层视频流推理与底层动作执行解耦的设计路径,对探索多智能体协作与复杂物理任务闭环具有参考价值。

  2. Google DeepMind64

    Google DeepMind 推出音乐生成模型 Lyria 3.5 并在 Google Flow Music 上线中国語

    Google DeepMind 推出最新音乐生成模型 Lyria 3.5,并正式在 Google Flow Music 中上线。新模型在旋律结构复杂度与自然度、歌词质量与结构感知、以及人声发音和情感表现力上均有提升。同时,它增强了创作控制能力,方便用户调整生成音频的节奏和时长。

    推薦理由:原文列举了旋律、歌词、人声表现力与节奏时长控制等维度的升级,读者可以据此评估 AI 音乐生成的可用性变化。

7月27日月
  1. 月之暗面 Kimi 公众号90

    月之暗面发布 Kimi K3 模型权重与技术报告并开源三项训练 Infra 技术中国語

    月之暗面正式发布 Kimi K3 模型权重及技术报告,并同步开源支撑其训练的关键基础设施 MoonEP、FlashKDA 和 AgentEnv。Kimi K3 为拥有 2.8 万亿参数的 MoE 模型,支持原生视觉理解与 100 万 token 上下文窗口,每 token 从 896 个专家中激活 16 个。

    推薦理由:月之暗面不仅开放了长上下文与原生视觉模型权重,还配套开源了专家并行通信库与算子等训练基建。

  2. 月之暗面 Kimi 公众号88

    月之暗面发布 Kimi K3:开放 2.8 万亿参数 MoE 模型权重、技术报告与训练 Infra中国語

    月之暗面在 Kimi K3 开放日正式发布 Kimi K3 模型权重、技术报告,并开源支撑模型训练的关键 Infra 技术。Kimi K3 是拥有 2.8 万亿参数的 MoE 模型,具备原生视觉理解能力与 100 万 token 上下文窗口,支持自由下载部署。本次配套开源了专家并行通信库 MoonEP、高性能算子 FlashKDA 以及用于分布式强化学习的 AgentEnv 沙箱系统。

    推薦理由:月之暗面同步开放了万亿参数混合专家模型权重、技术报告及训练基础设施,有助于开发者了解其超长上下文与细粒度通信优化方案。

7月20日月
  1. 通义实验室 公众号73

    通义实验室发布 Qwen-Audio-3.0-TTS 语音合成模型中国語

    通义实验室正式发布实时语音合成模型 Qwen-Audio-3.0-TTS,推出首包延迟约 300ms 的 Flash 版与注重音色还原度的 Plus 版。模型覆盖 16 种语言及 20 种中文方言,支持自然语言指令控制与呼吸、笑场等结构化标签嵌入调控,单次合成支持最长 3 分钟并升级至 48kHz 音频输出,现已在阿里云百炼平台上线。

    推薦理由:模型提供兼顾实时与高音质的两个版本并支持指令控制情感,有助于开发者评估其在多语种及复杂场景的落地表现。

7月17日金
  1. 通义实验室 公众号79

    通义实验室发布实时多模态交互模型 Wan-Streamer v0.2中国語

    通义实验室发布实时双工全模态交互模型 Wan-Streamer v0.2,端到端响应延迟约 550ms,输出视频分辨率提升至 640×368 @ 25FPS。模型将传统流水线重构为基于 160ms 流式单元的原生因果流,并采用单卡 Thinker 与多卡 Performer 双通路硬件解耦与 Ulysses 序列并行机制,实现低延迟感知与重载视频生成的时序重叠。

    推薦理由:原文给出了双通路硬件解耦与时序重叠调度方案,展示了在大幅提升视频分辨率时维持超低交互延迟的具体工程路径。