本文へスキップ

マルチモーダル

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

217件の厳選関連トピック图像生成AI 视频语音与音频

最新の厳選

41〜60 件目 · 全 217 件
10月22日木
10月21日水
  1. Hugging Face73

    NVIDIA 开源 Nemotron 3.5 检索模型系列:涵盖多模态 Embed、Rerank 与 Parse中国語

    NVIDIA 正式开源推出商用级 Nemotron 3.5 检索模型系列,包括 Nemotron 3.5 Embed(8B 与 1B)、Nemotron 3.5 Rerank 8B 以及 631M 参数的文档解析模型 Nemotron 3.5 Parse。

    推薦理由:该系列覆盖多模态向量检索、重排序与文档解析全链路,有助于构建低 token 消耗的企业级智能体与 RAG 系统。

  2. NVIDIA · AI 筛选80

    NVIDIA 拓展开源模型矩阵:发布 Nemotron 3.5、Kumo、Cosmos 等多领域基础模型中国語

    NVIDIA 宣布扩展开源模型家族,推出涵盖多模态语言、结构化业务数据、物理世界模型、自动驾驶、蛋白质设计及量子计算的多领域基础模型。

    推薦理由:NVIDIA 将开源权重模型矩阵拓展至结构化数据、物理世界模型与量子计算等细分领域,为企业结合本地基础设施定制自主可控业务应用提供了全套底座。

10月20日火
  1. 量子位70

    Meshy 推出 3D 局部编辑功能 Meshy Edit中国語

    3D 建模工具 Meshy 正式上线局部编辑功能 Meshy Edit,支持用户在 3D 模型上通过套索或画笔选区并输入文字指令,约 1 分钟即可生成未选区域保持不变的新模型。修改时最多可上传 5 张参考图,每次编辑消耗 20 积分,目前支持 Meshy 6 和 Meshy 7.1 生成的高精度模型,已面向全部注册用户开放。

    推薦理由:原文给出了圈选加指令的局部编辑工作流与可用模型范围,读者可以据此评估它对现有 3D 建模及打印流程的提效程度。

  2. arXiv 自然语言处理76

    Muse Glimmer 30B 开源:面向消费级硬件的端侧多模态智能体模型中国語

    研究团队开源了端侧多模态智能体模型 Muse Glimmer 30B,采用 Apache 2.0 协议发布,专为消费级硬件的自主任务设计。该模型集成感知编码器,支持图文输入和文本输出,具备多步推理、工具调用与故障恢复能力,经约 4-bit 量化后可在单张消费级 GPU 上本地运行。评测显示其在工具调用、多步规划和智能体任务完成度上均优于同尺寸的 Gemma4-31B 和 Qwen3.6-27B。

    推薦理由:研究开源了面向消费级单卡运行的 30B 多模态智能体模型,在多步规划与工具调用上为本地端侧部署提供了参考基线。

  3. Hacker News · AI69

    研究显示新型 AI 工具可通过患者单张自拍照预测癌症生存期中国語

    Mass General Brigham 研究人员在《Lancet Digital Health》发表研究,开发出可通过单张患者面部自拍照预测癌症生存期的 AI 工具 FAHR-Face。

    推薦理由:该研究通过超四千万张面部图像构建基础表征,展示了无创面部生物标志物辅助评估癌症预后与身体机能的可行路径。

  4. AWS 机器学习66

    TwelveLabs 视频语言模型 Pegasus 1.5 上架 Amazon Bedrock中国語

    TwelveLabs 视频语言模型 Pegasus 1.5 正式上线 Amazon Bedrock,支持直接分析 Amazon S3 存储或 base64 输入的视频并生成带时间戳的结构化 JSON 元数据。

    推薦理由:文章详细展示了将长视频按用户自定义 schema 自动切片并输出结构化时间戳 JSON 的调用方式。

10月19日月
  1. AITNT · AI头条(网页)80

    可灵 4.0 实测:支持 30 秒长镜头直出与多关键帧控制中国語

    可灵 4.0 已全面上线,支持单次原生生成最长 30 秒视频、组合最多 15 项素材参考以及 10 张多关键帧控制。实测显示其在高速运动与复杂运镜下的稳定性明显提升,能连贯生成包含翻滚、跳跃等复杂动作的长镜头。全能参考功能支持图片、视频与音色等混合输入,后续视频续拍功能还将支持最长延展至 2 分钟。

    推薦理由:原文实测了可灵 4.0 的长镜头生成与关键帧控制能力,展示了高难度动作连贯度与多素材参考下的具体表现。

10月17日土
  1. Buzzing HN · 中文精选75

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017 模型更新中国語

    DeepSeek 发布 DeepSeek-V4.1-Flash-1017 小版本更新,全面提升了推理、编码、智能体任务与视觉基准表现。该模型缩短了任务执行时间并减少输出长度,支持 1M tokens 上下文窗口与 256K 以上的最大生成 token。相关模型权重及配套编码工具 deepseek-recipe 均遵循 MIT License 开源。

    推薦理由:该版本在降低任务执行时间与输出长度的同时提升了基准表现,为开发者提供了更高性价比的智能体与推理方案。

  2. 量子位83

    谷歌发布新一代旗舰模型Gemini 4 Argon,API首发限时半价中国語

    谷歌正式面向开发者、企业及付费用户开放新一代旗舰大模型Gemini 4 Argon,重点强化长流程工程任务执行、多模态空间推理与代码维护能力。在Artificial Analysis智能指数中其Argon High版本得分达53分,且在自研智能体框架ADK优化中实现了长会话内存准备开销降低40%。首发阶段API价格享受五折优惠至11月30日,每百万输入token为2美元、输出token为10美元。

    推薦理由:该模型强化了长流程代码维护和多模态空间推理能力,评测整体对标主流前沿模型,限时优惠也降低了调用成本门槛。

  3. 量子位64

    优必选发布具身世界模型 Thinker-WM,在三大评测基准位居首位中国語

    优必选发布多模态具身世界模型 Thinker-WM,并在 WorldOlympiad、EWMBench 和 WorldArena1.0 三大基准评测中位列榜首。

    推薦理由:原文展示了放弃传统接口拼接、在表征层将视觉与动作统一建模的架构方案,为具身世界模型设计提供了可复用的结构参考。

  4. Solidot · AI 筛选82

    Meta 发布开放权重多模态模型 Muse Spark Open中国語

    Meta 发布多模态开放权重模型 Muse Spark Open,总参数达 8160 亿,激活参数为 420 亿,支持 100 万 Token 上下文。该模型基于苹果开源数组框架 MLX 优化统一内存架构,两台最高配 512GB 内存且搭载 M5 Ultra 芯片的 Mac Studio 即可容纳完整模型,目前已在 Hugging Face 开源上线。

    推薦理由:原文给出了模型总参数、激活参数规模与具体硬件部署方案,读者可以据此评估本地大显存端侧部署可行性。

10月16日金
  1. AITNT · AI头条(网页)85

    Meta 开源 816B 原生多模态模型 Muse Spark Open,支持双 Mac Studio 桌面部署中国語

    Meta 正式开源原生多模态模型 Muse Spark Open,采用 MoE 架构,总参数量 816B、激活参数 42B,支持 1M token 上下文窗口及文本、图像、视频和音频输入。该模型专为长程任务、代码工程与复杂推理设计,可通过两台搭载 M5 Ultra 芯片的 Mac Studio 连接实现本地运行,并在主流推理框架与云平台上同步开放权重下载与 API 接入。

    推薦理由:原文给出了超大 MoE 架构在消费级桌面硬件上的部署规格与实测吞吐,为大模型本地化运行提供了具体参考。

  2. AITNT · AI头条(网页)78

    Meta 发布开源多模态模型 Muse Spark Open,支持两台 Mac Studio 本地运行中国語

    Meta 联合苹果发布原生多模态开源模型 Muse Spark Open,总参数量达 816B 且激活参数为 42B,支持 1M 上下文窗口。该模型利用苹果 MLX 框架进行了针对性优化,支持在两台搭载 M5 Ultra(512GB)芯片的 Mac Studio 上本地运行,并适配了 SGLang、vLLM 及 llama.cpp 等主流推理框架。

    推薦理由:原文梳理了该大模型在两台苹果硬件上的端侧部署细节,并客观比较了其在智能体任务与基础编程指标上的实际表现差异。

  3. 量子位79

    苹果 Apple Intelligence 计划 12 月在华上线,百度与阿里确认参与合作中国語

    苹果计划于今年 12 月通过 iOS 27.3 系统更新在中国大陆推出 Apple Intelligence,首批功能覆盖 iPhone、iPad 和 Mac,但不包含全新 Siri AI 助手。百度将为 Siri 及视觉智能嵌入搜索与视觉服务,阿里则接入通义万相和 Qwen 模型支持文本与图像生成。该服务已于 7 月 8 日通过生成式 AI 服务备案,并于 9 月 29 日取得在华上线许可。

    推薦理由:报道厘清了苹果智能入华的技术合作格局,百度主导搜索与视觉模块,阿里提供通义大模型底座。

  4. TechCrunch AI77

    Meta 推出 816B 开源权重模型 Muse Spark Open:支持 Mac 本地运行与 Agent 工作流中国語

    Meta 推出开源权重模型 Muse Spark Open,具备 816B 参数与 1M token 上下文窗口,专为复杂编码和 Agent 任务设计并支持在 Mac 上本地运行。

    推薦理由:原文给出了 816B 参数量与至少 1TB 内存的本地门槛,读者可据此评估大参数开源模型在 Mac 工作站端侧落地的软硬件要求。

  5. Hacker News · AI60

    SGLang 高性能大语言模型与多模态模型推理服务框架中国語

    SGLang 是由 LMSYS 开源的高性能推理服务框架,针对大语言模型、视觉语言模型和扩散模型在智能体工作流、大规模在线服务及强化学习 rollout 场景下进行了专门优化。

    推薦理由:该框架整合了大模型与扩散模型的统一推理加速支持,为需要兼顾高吞吐服务与复杂智能体工作流的团队提供了异构硬件部署方案。

  6. vLLM 官方博客(网页)79

    vLLM 宣布首发支持开源 MoE 模型 Muse Spark Open中国語

    vLLM 联合 Meta 推出对开源 MoE 模型 Muse Spark Open 的首发支持,全面适配 816B 总参数、42B 激活参数与 1M 上下文窗口。

    推薦理由:原文详细拆解了 816B 稀疏架构的缓存缩减机制与跨芯片部署方案,为开发者评估超长上下文及多硬件投机解码提供了直接参考。

  7. AWS 机器学习66

    Meta 代码大模型 Muse Spark Open 上线 Amazon SageMaker JumpStart中国語

    Amazon SageMaker JumpStart 现已上线 Meta 针对代码与智能体工作流优化的开源权重模型 Muse Spark Open,支持在自有 AWS 账户内快速部署。

    推薦理由:文章梳理了在 SageMaker AI 部署该 816B 混合专家模型的算力配置与调用流程,方便开发者评估长上下文代码智能体的私有化托管方案。