Skip to content

Multimodal

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

219selectedRelated topics图像生成AI 视频语音与音频

Latest selected

61–80 of 219
Oct 16Fri
  1. AWS 机器学习66

    Meta 代码大模型 Muse Spark Open 上线 Amazon SageMaker JumpStartChinese

    Amazon SageMaker JumpStart 现已上线 Meta 针对代码与智能体工作流优化的开源权重模型 Muse Spark Open,支持在自有 AWS 账户内快速部署。

    Why it matters: 文章梳理了在 SageMaker AI 部署该 816B 混合专家模型的算力配置与调用流程,方便开发者评估长上下文代码智能体的私有化托管方案。

  2. The Verge · AI 筛选79

    Meta 推出 816B 原生多模态模型 Muse Spark Open,联手 Apple 适配 Mac 桌面部署Chinese

    Meta 正式发布 816B 参数的原生多模态模型 Muse Spark Open,并联合 Apple 优化其在 Mac 桌面端的运行性能。该模型针对长程任务、复杂软件工程和多步推理进行优化,借助 Apple 最新的 MLX 框架,可在两台 Apple M5 Ultra Mac Studio 组成的桌面环境下完成本地运行。

    Why it matters: 原文展示了超大参数开源模型与 Apple MLX 框架的适配细节,读者可据此评估在桌面端硬件部署大模型的落地可行性。

  3. Buzzing HN · 中文精选86

    Meta 开源多模态模型 Muse Spark Open,支持两台 Mac Studio 桌面端运行Chinese

    Meta 宣布开源多模态模型 Muse Spark Open 权重,总参数量达 816B(42B 激活),具备 1M token 上下文窗口并主打代码与长程任务。

    Why it matters: 原文给出了超大参数模型的激活比例与双机运行配置,读者可以据此评估在桌面端本地部署 Agent 的硬件门槛。

  4. The Decoder82

    Meta 发布开源模型 Muse Spark Open:总参数 816B 且支持多模态与 1M 上下文Chinese

    Meta 推出开源权重模型 Muse Spark Open,拥有 816B 参数(42B 激活)并支持 1M tokens 上下文及图文音视频多模态输入。该模型专为编码与 AI 智能体任务构建,权重已上线 Hugging Face,在智能体与多模态基准上领先 Qwen 3.8、GLM 5.3 和 Kimi K3,但在部分编码评测中落后。

    Why it matters: 原文给出了具体参数、基准对比与本地运行硬件门槛,读者可据此评估其在开源多模态与智能体任务中的实用价值。

  5. The Decoder76

    Google 推出 Gemini 4 Argon 机器人大模型,涵盖仿真、控制与数据评估Chinese

    Google 推出具身智能模型 Gemini 4 Argon,主打使用单一模型覆盖机器人控制、虚拟仿真生成以及训练视频质检全流程。在无外置工具的 ERQA 空间推理测试中该模型取得 87% 得分,但在真实的 AA-Robotics 机器人臂控制测试中以 55 分位列第三,且实际部署仍依赖提示词中的细致约束。

    Why it matters: 原文对比了该模型在空间推理基准与实体臂控制测试上的差异,有助于客观评估端到端机器人大模型的真实落地现状。

  6. Hacker News · AI67

    Liquid AI 发布多模态决策模型 d1-ultraChinese

    Liquid AI 发布多模态决策模型 d1-ultra,支持在单次前向传播中同时读取文本与图像并直接输出概率,无需生成任何输出 token。模型在 112 项评测中超越 Jev 1.14,并在 Artificial Analysis Decision Index 上领先竞品至少 8 分。

    Why it matters: 该模型采用单次前向传播直接输出概率而非生成文本,为工业质检与核保审核等分类任务提供了极低推理成本的新选择。

Oct 15Thu
  1. IT之家 · AI 筛选77

    英伟达发布 1200 亿参数多模态模型 Nemotron 3.5 Super VL 及 Bolt 端侧模型Chinese

    英伟达推出开放多模态模型 Nemotron 3.5 Super VL,采用 120B 总参数、12B 激活参数的 MoE 架构,单 GPU 智能体任务吞吐量最高达同规模开放模型的 5 倍。

    Why it matters: 原文给出了 MoE 架构参数、量化部署指标与端侧模型规格,读者可以据此评估本地智能体与多模态任务的推理部署成本。

  2. NVIDIA Developer Blog69

    NVIDIA 发布多模态推理模型 Nemotron 3.5 Super VLChinese

    NVIDIA 推出开源可定制的多模态模型 Nemotron 3.5 Super VL,用于支持复杂企业工作流中的专用智能体。该模型采用 120B 参数的 MoE 架构,推理时仅激活 12B 参数,支持文档阅读、跨源信息核验与工具调用等多模态推理任务。

    Why it matters: 原文给出了 120B MoE 激活 12B 参数的架构信息,读者可以据此评估其在企业专用智能体工作流中的运行成本与适用场景。

  3. Hugging Face74

    Apertus 1.5 发布:支持图文音频理解与思考模式,上下文扩展至 262kChinese

    开源多模态模型 Apertus 1.5 正式发布并开源 8B 与 70B 权重,支持图像与音频理解、可选思考模式以及强化工具调用。模型采用基于 Tokenizer 的早期融合架构保持文本级训练速度,上下文窗口扩展 4 倍至 262,144 tokens,并在 Apache 2.0 协议下公开了全阶段训练数据配比、中间检查点与评测记录。

    Why it matters: 该版本公开了完整训练数据配比、各阶段中间检查点与评测规范,为多模态早期融合研究提供了高透明度开源样本。

  4. 阶跃 StepFun 公众号82

    阶跃星辰开放 Step 5 Preview 模型权重并上线技术博客Chinese

    阶跃星辰正式开放 Step 5 Preview 的 BF16 与 FP8 模型权重并上线技术博客。该模型面向长程 Agent 任务设计,采用稀疏 MoE 架构,总参数量 600B、每 token 激活 27B,支持 100 万 token 上下文与文本视觉多模态输入。

    Why it matters: 原文详细给出了600B稀疏MoE的架构细节与长程Agent训练方案,有助于了解深层网络与百万上下文的工程落地。

  5. 爱范儿 · AI 筛选70

    库克确认 Apple 智能国行版 10 月底上线测试版,首批不包含 Siri AIChinese

    库克在上海受访时确认,Apple 智能首批功能将于 10 月底在中国大陆推出测试版,涵盖实时翻译、照片消除与写作工具,但全新 Siri AI 暂不在测试范围内。此外,阿里千问将作为 AI 能力集成至 iOS、iPadOS、macOS 和 visionOS,双方还将围绕中国市场需求共同训练专属模型。

    Why it matters: 报道明确了 Apple 智能国行版的首批测试功能与上线排期,并披露了与阿里千问在能力集成及模型共训层面的合作细节。

  6. IT之家 · AI 筛选82

    阶跃星辰开放 Step 5 Preview 大模型权重,支持 100 万 token 上下文窗口Chinese

    阶跃正式开源 Step 5 Preview 的 BF16 与 FP8 权重,该模型采用总参数 600B、每 token 激活 27B 的稀疏 MoE 架构,原生支持图文输入与 100 万 token 上下文窗口。

    Why it matters: 原文给出了参数规模与稀疏架构细节,开发者可以据此评估长上下文智能体在本地部署时的算力与显存开销。

Oct 14Wed
  1. 量子位77

    面壁智能与OpenBMB开源MiniCPM-V 4.7端侧多模态模型Chinese

    面壁智能与OpenBMB正式开源端侧多模态模型MiniCPM-V 4.7,包含35B-A3B与1.3B两个版本。其中35B-A3B为激活3B参数的MoE架构,借助前瞻专家调度与逐层混合精度量化,可在iPhone断网环境下仅占用约3G内存运行,解码速度超过每秒13个token。该系列模型支持iOS、安卓等多平台部署,并配套自回放微调技术以减少模型定制时的能力遗忘。

    Why it matters: 该模型通过前瞻专家调度将35B MoE的内存需求压至3G,为端侧设备离线部署大参数多模态模型提供了具体的工程实现参考。

  2. IT之家 · AI 筛选85

    苹果 iPhone Duo 国行备案新增 Apple 智能与通义系列大模型编号Chinese

    苹果折叠屏手机 iPhone Duo 国行版在工信部换证备案中新增三款大模型编号,涵盖 Apple 智能、通义万相与通义千问。阿里巴巴表示千问将作为 AI 能力集成至 Apple 智能,为中国市场的 iOS、iPadOS、macOS 和 visionOS 用户提供文本与图像理解及生成等功能。该设备将于 10 月 16 日开启预购,10 月 23 日正式发售,定价 15999 元起。

    Why it matters: 备案信息明确了国行 Apple 智能接入阿里大模型的合规进展,读者可以据此判断端侧 AI 在国内设备落地的落地方式。