本文へスキップ

マルチモーダル

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

223件の厳選関連トピック图像生成AI 视频语音与音频

最新の厳選

121〜140 件目 · 全 223 件
10月7日水
  1. Google Developers · AI 筛选76

    Google 发布端侧多模态嵌入模型 EmbeddingGemma 2中国語

    Google DeepMind 正式推出开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频帧和音频原生映射至统一向量空间。该模型参数量为 740M,纯文本权重仅需约 191MB 活跃内存,全多模态在 Pixel 设备上仅占用约 567MB,支持零样本意图路由与端侧毫秒级决策。

    推薦理由:该模型将文本、视觉与音频统一映射至单一向量空间,为端侧离线语义检索与零样本决策提供了轻量化实现方案。

  2. AITNT · AI头条(网页)79

    Mistral Large 4 发布:1.05T 参数与 49B 激活的原生多模态模型中国語

    Mistral 正式发布万亿参数原生多模态模型 Mistral Large 4,总参数量达 1.05T 且单次仅激活 49B,配备 1.6B 视觉编码器并支持 1M 上下文。模型在 DeepSWE 软件工程评测中取得 62% 成绩,在企业财务与视觉定位等任务上表现突出;目前公开预览版 API 已上线,权重定于 10 月 27 日放出。

    推薦理由:通过细粒度 MoE 将万亿参数计算开销降至 49B 级别,并提供了面向企业代码、财务和网安防御的开源基准参考。

10月6日火
  1. Ollama 更新61

    Ollama v0.40.0-rc6 发布:Apple Silicon 默认启用 MLX 运行时并支持多模态嵌入中国語

    Ollama 发布 v0.40.0-rc6 预发布版本,在 Apple Silicon 设备上默认通过 MLX 运行时运行受支持的模型架构,并新增多模态嵌入支持。该版本支持 qwen3.8、gemma4、qwen3.6、qwen3.5 等模型,并在 MLX 上引入了 Nimble、tev1、clef、clef-flash 等决策模型。

    推薦理由:原文给出了在 Apple Silicon 设备上默认采用 MLX 运行时的变化,本地部署开发者可以了解适配的模型范围。

  2. TechCrunch AI77

    Mistral AI 发布 1T 参数多模态模型 Mistral Large 4,计划三周后开放权重中国語

    Mistral AI 发布拥有 1 万亿参数的多模态大模型 Mistral Large 4(代号 Le Chonk),目前通过带护栏的公共端点提供访问,并计划在三周安全测试后开放模型权重。该模型完全基于其自有算力、仅使用 4,000 张 Nvidia GPU 训练完成,重点针对网络安全、金融和芯片设计等场景进行了优化。

    推薦理由:原文披露了 Mistral 在仅使用 4,000 张 GPU 条件下训练 1T 参数模型的工程细节与权重开源计划,有助于评估欧洲前沿开源模型的发展路线。

  3. The Decoder79

    Mistral 发布万亿参数模型 Mistral Large 4 预览版中国語

    Mistral 发布原生多模态模型 Mistral Large 4 公开预览版,总参数量达 1.05 万亿且激活参数为 490 亿,已通过 Mistral Studio 提供 API 并预计 10 月底开源权重。

    推薦理由:该模型主打网络安全防御与欧洲本土数据主权,为需要本地部署和特定安全审计任务的企业提供了新选择。

  4. Buzzing HN · 中文精选84

    Mistral 发布万亿参数模型 Mistral Large 4 公开预览版中国語

    Mistral 推出万亿参数原生多模态模型 Mistral Large 4(ML4)公开预览版,包含 49B 激活参数,预计当月末正式开源权重。该模型在欧洲本土 3,800 张 NVIDIA Grace Blackwell GPU 上从头训练,在网络安全、Agent 工作流、代码生成及复杂多模态解析等企业级任务中表现优异。

    推薦理由:原文披露了万亿参数原生多模态架构的实测表现与后训练机制,读者可据此评估其在企业级工作流中的落地可行性。

  5. IT之家 · AI 筛选80

    Mistral AI 发布原生多模态模型 Mistral Large 4 公开预览版中国語

    Mistral AI 正式推出原生多模态模型 Mistral Large 4 公开预览版,总参数量达 1 万亿且激活参数为 490 亿,模型权重预计于月底正式开放下载。

    推薦理由:模型采用1万亿总参数与490亿激活参数架构,读者可参考其在安全及金融等企业级场景中的实测表现评估落地可行性。

  6. Buzzing HN · 中文精选78

    Mistral 发布开源多模态模型 Mistral Large 4中国語

    Mistral Large 4 是一款采用细粒度混合专家(MoE)架构的开源权重通用多模态模型。该模型总参数量为 1.05T,激活参数为 49B,并配备了一个 1.6B 参数的视觉编码器。

    推薦理由:原文给出了总参数量与激活参数等核心配置,读者可据此评估其多模态 MoE 架构的计算效率。

  7. The Decoder67

    Reka AI 发布 19B 多模态模型 Rho-1,单一网络统一文本、音视频与机器人控制中国語

    Reka AI 发布了 19B 参数的全模态研究预览模型 Rho-1,可在单一神经网络内同时处理与生成文本、图像、视频及机器人控制动作。模型无需工具调用或外部分流,所有模态均作为 token 在共享上下文窗口中运行,并支持实时生成连续视频与即时响应指令。为克服机器人训练数据短缺,研发团队利用逆动力学模型从普通互联网视频中提取控制信号,并在 320 块 H100 GPU 上完成了约三个月的训练。

    推薦理由:该模型将视觉生成与机器人控制统一在单一上下文窗口中,展示了利用互联网视频提取控制信号来训练具身模型的路径。

10月5日月
  1. Hacker News · AI61

    GPT-6 Astra 在 6 小时内破解有 217 年历史的拿破仑时期密码中国語

    网络安全公司 SentinelOne 的工程师 Carter Church 使用 OpenAI 的 GPT-6 Astra,在 6 小时内成功破解了拿破仑战争时期留下的 217 年未解历史密码。该密码此前多年收录于 Cryptiana 未解历史密码列表,模型仅通过单张图片和一条提示词即完成了解析。Church 在其个人博客公开了包含复现脚本的完整解决方案包。

    推薦理由:原文展示了多模态模型单提示词解析复杂历史密码的具体案例,读者可据此了解前沿模型在小众解密任务上的能力。

10月4日日
  1. AITNT · AI头条(网页)78

    何恺明团队发布 VISTA:通过原图输入与视觉记忆在 ARC-AGI-3 取得满分中国語

    何恺明团队在 arXiv 发布 VISTA 研究,通过将 ARC-AGI-3 的数字矩阵输入替换为直接图像输入并提供无损历史帧相册,使 Claude Opus 5 在 25 个公开游戏中全部通关并取得 100 分满分。该框架无需额外训练模型或编写代码模拟器,仅凭 4 句通用提示词让模型自主调取历史帧对比与记录笔记,同时大幅降低了 Token 消耗并在网页游戏等场景验证了泛化能力。

    推薦理由:论文展示了无需重新训练模型或编写复杂代码模拟器,仅靠直接输入原图与显式帧记忆相册即可大幅提升多模态智能体的交互推理表现。

  2. The Decoder63

    NASA 联手 IBM 开源月球科学基础大模型中国語

    NASA 与 IBM 联合开源月球科学基础模型(NASA-IBM Lunar Foundation Model),基于 17 年月球轨道探测数据从零训练,用于水冰预测与撞击坑检测等科研任务。

    推薦理由:原文详细披露了结合成像光照几何与多模态数据的预训练架构,读者可了解遥感与行星科学领域基础模型的构建范式。

  3. Hacker News · AI65

    SCM 发布:面向 macOS 的本地多模态图文与视频分镜 AI 搜索引擎中国語

    开源工具 SCM(Screen Memories)面向 macOS 推出本地优先的 AI 媒体搜索引擎,支持对本地照片及视频分镜进行语义检索。工具提供视觉嵌入搜索、视频镜头时间戳定位、Tesseract 离线 OCR 文字匹配以及 Whisper 语音台词检索,并支持接入 llama.cpp 进行本地问答。

    推薦理由:原文给出了端侧视频切片嵌入与离线检索架构,读者可以据此了解本地多模态媒体库的具体工程落地方式。

  4. 量子位67

    通用模型冲击下,专业 AI 3D 公司 Meshy 不到两年 ARR 突破 1 亿美元中国語

    AI 3D 生成公司 Meshy 披露其 ARR 在不到两年内从 100 万美元增至 1 亿美元,依托游戏开发管线接入与 3D 打印硬件生态实现高速商业化。对比显示通用模型虽擅长参数化代码建模,但在角色结构与高精度纹理等可用资产上仍存差距,专业模型正成为智能体工作流中的关键交付环节。此外 Meshy 还推出实时互动多模态内容架构 Mora,尝试将 3D 资产作为空间骨架拓展至可交互内容消费领域。

    推薦理由:文章通过对比通用模型与垂直工具的资产细节差异,解析了专业 3D 生成在生产管线中的不可替代性及其向实时互动架构演进的逻辑。

10月3日土
  1. IT之家 · AI 筛选76

    Suno 推出 Speech 语音功能,支持端到端同步生成语音与背景音乐中国語

    AI 音乐制作平台 Suno 推出音频功能 Speech 并开启公测,支持将语音朗读与原创背景音乐作为单一连贯音轨进行端到端一体化生成。用户只需输入文本并描述音色与音乐风格即可创作带配乐的语音音频。官方表示当前公测版仍存在偶发口音漂移以及情感停顿过于戏剧化导致断句偏慢的问题。

    推薦理由:该功能改变了先做文本转语音再单独拼接背景音乐的传统流程,为内容配乐提供了端到端一体化生成的新路径。

  2. TechCrunch AI67

    肖恩·帕克推动 Stability AI 转型音乐领域中国語

    Napster 联合创始人肖恩·帕克与 Stability AI 现任 CEO 普雷姆·阿卡拉朱正推动公司转型,旨在打造面向音乐专业人士的 AI 工具链。Stability AI 此前获得索尼、华纳和环球等机构的 7600 万美元投资并取得曲库训练授权,已上线三款音频模型及 AI 音乐编辑软件,支持文本生成完整器乐音轨,后续更新还将支持哼唱旋律与口技节奏控制。

    推薦理由:原文梳理了 Stability AI 转向音乐领域的最新商业与技术布局,读者可据此了解其与三大唱片公司的版权合作与产品方向。

  3. The Decoder62

    AI 音乐生成平台 Suno 推出 Speech 功能可同时生成配音与背景音乐中国語

    AI 音乐生成平台 Suno 推出新功能 Speech,支持用户输入文本并指定声音与音乐风格,同步生成带有匹配背景音乐的单一语音音频轨。该功能适用于诗歌、冥想引导和睡前故事等场景,目前处于公测阶段但偶尔存在口音偏差。Suno 尚未公开该模型的训练细节,同时正面临主要唱片公司的版权诉讼压力。

    推薦理由:Suno 将语音朗读与背景音乐整合为单轨生成功能,展现了生成式音频在诗歌朗诵和冥想伴奏等场景的实用落地形态。

  4. The Decoder73

    Cloudflare 发布面向 AI Agent 的决策模型 Clef 与 Clef-flash中国語

    Cloudflare 发布面向 AI Agent 的决策模型 Clef 与 Clef-flash,通过直接返回分类概率替代生成长文本,并在 Hugging Face 以 Apache-2.0 协议开源。

    推薦理由:原文给出了决策模型相较传统生成式大模型的延迟数据与工作机制,读者可据此评估把 Agent 工作流分类路由替换为概率决策的性能收益。

  5. Buzzing HN · 中文精选81

    Black Forest Labs 推出 FLUX 3 Image 图像生成与编辑模型中国語

    Black Forest Labs 推出多模态模型 FLUX 3 的图像组件 FLUX 3 Image,支持通过边界框(bounding boxes)与提示词精准控制构图、排版及局部像素级编辑。模型支持原生 2K 与 4K 分辨率渲染以及最多 10 张参考图输入,并针对智能体工作流设计,允许 LLM 自动规划布局 JSON 阵列,同时提供企业级商业权重授权以支持微调和私有部署。

    推薦理由:模型引入了结构化边界框与 Agent 布局规划能力,读者可了解其如何在保持高分辨率的同时提升局部精准编辑的控制力。

  6. Ollama 更新67

    Ollama v0.35.1 发布,支持 Cloudflare Clef 决策模型与 Modelfile 能力声明中国語

    Ollama 发布 v0.35.1 版本,通过 /v1/systemone 端点新增支持 Cloudflare 开源多模态决策模型 Clef(27B)与 Clef Flash(9B)。新版本将联网搜索模型的单次响应搜索上限从 3 次提升至 10 次,Modelfile 支持显式 CAPABILITY 声明以区分决策与其他模型能力,并同步更新了 llama.cpp 和 MLX 引擎。

    推薦理由:原文给出了决策模型端点和能力声明等更新细节,读者可以据此评估本地运行多模态决策模型与扩展搜索调用的具体配置。