Skip to content

Multimodal

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

217selectedRelated topics图像生成AI 视频语音与音频

Latest selected

41–60 of 217
Oct 22Thu
Oct 21Wed
  1. Hugging Face73

    NVIDIA 开源 Nemotron 3.5 检索模型系列:涵盖多模态 Embed、Rerank 与 ParseChinese

    NVIDIA 正式开源推出商用级 Nemotron 3.5 检索模型系列,包括 Nemotron 3.5 Embed(8B 与 1B)、Nemotron 3.5 Rerank 8B 以及 631M 参数的文档解析模型 Nemotron 3.5 Parse。

    Why it matters: 该系列覆盖多模态向量检索、重排序与文档解析全链路,有助于构建低 token 消耗的企业级智能体与 RAG 系统。

  2. NVIDIA · AI 筛选80

    NVIDIA 拓展开源模型矩阵:发布 Nemotron 3.5、Kumo、Cosmos 等多领域基础模型Chinese

    NVIDIA 宣布扩展开源模型家族,推出涵盖多模态语言、结构化业务数据、物理世界模型、自动驾驶、蛋白质设计及量子计算的多领域基础模型。

    Why it matters: NVIDIA 将开源权重模型矩阵拓展至结构化数据、物理世界模型与量子计算等细分领域,为企业结合本地基础设施定制自主可控业务应用提供了全套底座。

Oct 20Tue
  1. 量子位70

    Meshy 推出 3D 局部编辑功能 Meshy EditChinese

    3D 建模工具 Meshy 正式上线局部编辑功能 Meshy Edit,支持用户在 3D 模型上通过套索或画笔选区并输入文字指令,约 1 分钟即可生成未选区域保持不变的新模型。修改时最多可上传 5 张参考图,每次编辑消耗 20 积分,目前支持 Meshy 6 和 Meshy 7.1 生成的高精度模型,已面向全部注册用户开放。

    Why it matters: 原文给出了圈选加指令的局部编辑工作流与可用模型范围,读者可以据此评估它对现有 3D 建模及打印流程的提效程度。

  2. arXiv 自然语言处理76

    Muse Glimmer 30B 开源:面向消费级硬件的端侧多模态智能体模型Chinese

    研究团队开源了端侧多模态智能体模型 Muse Glimmer 30B,采用 Apache 2.0 协议发布,专为消费级硬件的自主任务设计。该模型集成感知编码器,支持图文输入和文本输出,具备多步推理、工具调用与故障恢复能力,经约 4-bit 量化后可在单张消费级 GPU 上本地运行。评测显示其在工具调用、多步规划和智能体任务完成度上均优于同尺寸的 Gemma4-31B 和 Qwen3.6-27B。

    Why it matters: 研究开源了面向消费级单卡运行的 30B 多模态智能体模型,在多步规划与工具调用上为本地端侧部署提供了参考基线。

  3. Hacker News · AI69

    研究显示新型 AI 工具可通过患者单张自拍照预测癌症生存期Chinese

    Mass General Brigham 研究人员在《Lancet Digital Health》发表研究,开发出可通过单张患者面部自拍照预测癌症生存期的 AI 工具 FAHR-Face。

    Why it matters: 该研究通过超四千万张面部图像构建基础表征,展示了无创面部生物标志物辅助评估癌症预后与身体机能的可行路径。

Oct 19Mon
  1. AITNT · AI头条(网页)80

    可灵 4.0 实测:支持 30 秒长镜头直出与多关键帧控制Chinese

    可灵 4.0 已全面上线,支持单次原生生成最长 30 秒视频、组合最多 15 项素材参考以及 10 张多关键帧控制。实测显示其在高速运动与复杂运镜下的稳定性明显提升,能连贯生成包含翻滚、跳跃等复杂动作的长镜头。全能参考功能支持图片、视频与音色等混合输入,后续视频续拍功能还将支持最长延展至 2 分钟。

    Why it matters: 原文实测了可灵 4.0 的长镜头生成与关键帧控制能力,展示了高难度动作连贯度与多素材参考下的具体表现。

Oct 17Sat
  1. Buzzing HN · 中文精选75

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017 模型更新Chinese

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017 小版本更新,全面提升了推理、编码、智能体任务与视觉基准表现。该模型缩短了任务执行时间并减少输出长度,支持 1M tokens 上下文窗口与 256K 以上的最大生成 token。相关模型权重及配套编码工具 deepseek-recipe 均遵循 MIT License 开源。

    Why it matters: 该版本在降低任务执行时间与输出长度的同时提升了基准表现,为开发者提供了更高性价比的智能体与推理方案。

  2. 量子位83

    谷歌发布新一代旗舰模型Gemini 4 Argon,API首发限时半价Chinese

    谷歌正式面向开发者、企业及付费用户开放新一代旗舰大模型Gemini 4 Argon,重点强化长流程工程任务执行、多模态空间推理与代码维护能力。在Artificial Analysis智能指数中其Argon High版本得分达53分,且在自研智能体框架ADK优化中实现了长会话内存准备开销降低40%。首发阶段API价格享受五折优惠至11月30日,每百万输入token为2美元、输出token为10美元。

    Why it matters: 该模型强化了长流程代码维护和多模态空间推理能力,评测整体对标主流前沿模型,限时优惠也降低了调用成本门槛。

  3. Solidot · AI 筛选82

    Meta 发布开放权重多模态模型 Muse Spark OpenChinese

    Meta 发布多模态开放权重模型 Muse Spark Open,总参数达 8160 亿,激活参数为 420 亿,支持 100 万 Token 上下文。该模型基于苹果开源数组框架 MLX 优化统一内存架构,两台最高配 512GB 内存且搭载 M5 Ultra 芯片的 Mac Studio 即可容纳完整模型,目前已在 Hugging Face 开源上线。

    Why it matters: 原文给出了模型总参数、激活参数规模与具体硬件部署方案,读者可以据此评估本地大显存端侧部署可行性。

Oct 16Fri
  1. AITNT · AI头条(网页)85

    Meta 开源 816B 原生多模态模型 Muse Spark Open,支持双 Mac Studio 桌面部署Chinese

    Meta 正式开源原生多模态模型 Muse Spark Open,采用 MoE 架构,总参数量 816B、激活参数 42B,支持 1M token 上下文窗口及文本、图像、视频和音频输入。该模型专为长程任务、代码工程与复杂推理设计,可通过两台搭载 M5 Ultra 芯片的 Mac Studio 连接实现本地运行,并在主流推理框架与云平台上同步开放权重下载与 API 接入。

    Why it matters: 原文给出了超大 MoE 架构在消费级桌面硬件上的部署规格与实测吞吐,为大模型本地化运行提供了具体参考。

  2. AITNT · AI头条(网页)78

    Meta 发布开源多模态模型 Muse Spark Open,支持两台 Mac Studio 本地运行Chinese

    Meta 联合苹果发布原生多模态开源模型 Muse Spark Open,总参数量达 816B 且激活参数为 42B,支持 1M 上下文窗口。该模型利用苹果 MLX 框架进行了针对性优化,支持在两台搭载 M5 Ultra(512GB)芯片的 Mac Studio 上本地运行,并适配了 SGLang、vLLM 及 llama.cpp 等主流推理框架。

    Why it matters: 原文梳理了该大模型在两台苹果硬件上的端侧部署细节,并客观比较了其在智能体任务与基础编程指标上的实际表现差异。

  3. IT之家 · AI 筛选83

    Meta 发布开放权重模型 Muse Spark OpenChinese

    Meta 正式发布开放权重 AI 模型 Muse Spark Open,采用原生多模态架构,总参数量达 816B 且激活参数为 42B,支持 1M token 上下文窗口。

    Why it matters: 原文披露了总参数与激活参数配比及本地硬件部署门槛,读者可据此评估长上下文多模态智能体模型的适配成本。

  4. 量子位79

    苹果 Apple Intelligence 计划 12 月在华上线,百度与阿里确认参与合作Chinese

    苹果计划于今年 12 月通过 iOS 27.3 系统更新在中国大陆推出 Apple Intelligence,首批功能覆盖 iPhone、iPad 和 Mac,但不包含全新 Siri AI 助手。百度将为 Siri 及视觉智能嵌入搜索与视觉服务,阿里则接入通义万相和 Qwen 模型支持文本与图像生成。该服务已于 7 月 8 日通过生成式 AI 服务备案,并于 9 月 29 日取得在华上线许可。

    Why it matters: 报道厘清了苹果智能入华的技术合作格局,百度主导搜索与视觉模块,阿里提供通义大模型底座。

  5. TechCrunch AI77

    Meta 推出 816B 开源权重模型 Muse Spark Open:支持 Mac 本地运行与 Agent 工作流Chinese

    Meta 推出开源权重模型 Muse Spark Open,具备 816B 参数与 1M token 上下文窗口,专为复杂编码和 Agent 任务设计并支持在 Mac 上本地运行。

    Why it matters: 原文给出了 816B 参数量与至少 1TB 内存的本地门槛,读者可据此评估大参数开源模型在 Mac 工作站端侧落地的软硬件要求。

  6. Hacker News · AI60

    SGLang 高性能大语言模型与多模态模型推理服务框架Chinese

    SGLang 是由 LMSYS 开源的高性能推理服务框架,针对大语言模型、视觉语言模型和扩散模型在智能体工作流、大规模在线服务及强化学习 rollout 场景下进行了专门优化。

    Why it matters: 该框架整合了大模型与扩散模型的统一推理加速支持,为需要兼顾高吞吐服务与复杂智能体工作流的团队提供了异构硬件部署方案。

  7. AWS 机器学习66

    Meta 代码大模型 Muse Spark Open 上线 Amazon SageMaker JumpStartChinese

    Amazon SageMaker JumpStart 现已上线 Meta 针对代码与智能体工作流优化的开源权重模型 Muse Spark Open,支持在自有 AWS 账户内快速部署。

    Why it matters: 文章梳理了在 SageMaker AI 部署该 816B 混合专家模型的算力配置与调用流程,方便开发者评估长上下文代码智能体的私有化托管方案。