Skip to content

Multimodal

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

219selectedRelated topics图像生成AI 视频语音与音频

Latest selected

121–140 of 219
Oct 6Tue
  1. Buzzing HN · 中文精选84

    Mistral 发布万亿参数模型 Mistral Large 4 公开预览版Chinese

    Mistral 推出万亿参数原生多模态模型 Mistral Large 4(ML4)公开预览版,包含 49B 激活参数,预计当月末正式开源权重。该模型在欧洲本土 3,800 张 NVIDIA Grace Blackwell GPU 上从头训练,在网络安全、Agent 工作流、代码生成及复杂多模态解析等企业级任务中表现优异。

    Why it matters: 原文披露了万亿参数原生多模态架构的实测表现与后训练机制,读者可据此评估其在企业级工作流中的落地可行性。

  2. IT之家 · AI 筛选80

    Mistral AI 发布原生多模态模型 Mistral Large 4 公开预览版Chinese

    Mistral AI 正式推出原生多模态模型 Mistral Large 4 公开预览版,总参数量达 1 万亿且激活参数为 490 亿,模型权重预计于月底正式开放下载。

    Why it matters: 模型采用1万亿总参数与490亿激活参数架构,读者可参考其在安全及金融等企业级场景中的实测表现评估落地可行性。

  3. Buzzing HN · 中文精选78

    Mistral 发布开源多模态模型 Mistral Large 4Chinese

    Mistral Large 4 是一款采用细粒度混合专家(MoE)架构的开源权重通用多模态模型。该模型总参数量为 1.05T,激活参数为 49B,并配备了一个 1.6B 参数的视觉编码器。

    Why it matters: 原文给出了总参数量与激活参数等核心配置,读者可据此评估其多模态 MoE 架构的计算效率。

  4. The Decoder67

    Reka AI 发布 19B 多模态模型 Rho-1,单一网络统一文本、音视频与机器人控制Chinese

    Reka AI 发布了 19B 参数的全模态研究预览模型 Rho-1,可在单一神经网络内同时处理与生成文本、图像、视频及机器人控制动作。模型无需工具调用或外部分流,所有模态均作为 token 在共享上下文窗口中运行,并支持实时生成连续视频与即时响应指令。为克服机器人训练数据短缺,研发团队利用逆动力学模型从普通互联网视频中提取控制信号,并在 320 块 H100 GPU 上完成了约三个月的训练。

    Why it matters: 该模型将视觉生成与机器人控制统一在单一上下文窗口中,展示了利用互联网视频提取控制信号来训练具身模型的路径。

Oct 5Mon
  1. Hacker News · AI61

    GPT-6 Astra 在 6 小时内破解有 217 年历史的拿破仑时期密码Chinese

    网络安全公司 SentinelOne 的工程师 Carter Church 使用 OpenAI 的 GPT-6 Astra,在 6 小时内成功破解了拿破仑战争时期留下的 217 年未解历史密码。该密码此前多年收录于 Cryptiana 未解历史密码列表,模型仅通过单张图片和一条提示词即完成了解析。Church 在其个人博客公开了包含复现脚本的完整解决方案包。

    Why it matters: 原文展示了多模态模型单提示词解析复杂历史密码的具体案例,读者可据此了解前沿模型在小众解密任务上的能力。

Oct 4Sun
  1. AITNT · AI头条(网页)78

    何恺明团队发布 VISTA:通过原图输入与视觉记忆在 ARC-AGI-3 取得满分Chinese

    何恺明团队在 arXiv 发布 VISTA 研究,通过将 ARC-AGI-3 的数字矩阵输入替换为直接图像输入并提供无损历史帧相册,使 Claude Opus 5 在 25 个公开游戏中全部通关并取得 100 分满分。该框架无需额外训练模型或编写代码模拟器,仅凭 4 句通用提示词让模型自主调取历史帧对比与记录笔记,同时大幅降低了 Token 消耗并在网页游戏等场景验证了泛化能力。

    Why it matters: 论文展示了无需重新训练模型或编写复杂代码模拟器,仅靠直接输入原图与显式帧记忆相册即可大幅提升多模态智能体的交互推理表现。

  2. The Decoder63

    NASA 联手 IBM 开源月球科学基础大模型Chinese

    NASA 与 IBM 联合开源月球科学基础模型(NASA-IBM Lunar Foundation Model),基于 17 年月球轨道探测数据从零训练,用于水冰预测与撞击坑检测等科研任务。

    Why it matters: 原文详细披露了结合成像光照几何与多模态数据的预训练架构,读者可了解遥感与行星科学领域基础模型的构建范式。

  3. Hacker News · AI65

    SCM 发布:面向 macOS 的本地多模态图文与视频分镜 AI 搜索引擎Chinese

    开源工具 SCM(Screen Memories)面向 macOS 推出本地优先的 AI 媒体搜索引擎,支持对本地照片及视频分镜进行语义检索。工具提供视觉嵌入搜索、视频镜头时间戳定位、Tesseract 离线 OCR 文字匹配以及 Whisper 语音台词检索,并支持接入 llama.cpp 进行本地问答。

    Why it matters: 原文给出了端侧视频切片嵌入与离线检索架构,读者可以据此了解本地多模态媒体库的具体工程落地方式。

  4. 量子位67

    通用模型冲击下,专业 AI 3D 公司 Meshy 不到两年 ARR 突破 1 亿美元Chinese

    AI 3D 生成公司 Meshy 披露其 ARR 在不到两年内从 100 万美元增至 1 亿美元,依托游戏开发管线接入与 3D 打印硬件生态实现高速商业化。对比显示通用模型虽擅长参数化代码建模,但在角色结构与高精度纹理等可用资产上仍存差距,专业模型正成为智能体工作流中的关键交付环节。此外 Meshy 还推出实时互动多模态内容架构 Mora,尝试将 3D 资产作为空间骨架拓展至可交互内容消费领域。

    Why it matters: 文章通过对比通用模型与垂直工具的资产细节差异,解析了专业 3D 生成在生产管线中的不可替代性及其向实时互动架构演进的逻辑。

Oct 3Sat
  1. IT之家 · AI 筛选76

    Suno 推出 Speech 语音功能,支持端到端同步生成语音与背景音乐Chinese

    AI 音乐制作平台 Suno 推出音频功能 Speech 并开启公测,支持将语音朗读与原创背景音乐作为单一连贯音轨进行端到端一体化生成。用户只需输入文本并描述音色与音乐风格即可创作带配乐的语音音频。官方表示当前公测版仍存在偶发口音漂移以及情感停顿过于戏剧化导致断句偏慢的问题。

    Why it matters: 该功能改变了先做文本转语音再单独拼接背景音乐的传统流程,为内容配乐提供了端到端一体化生成的新路径。

  2. TechCrunch AI67

    肖恩·帕克推动 Stability AI 转型音乐领域Chinese

    Napster 联合创始人肖恩·帕克与 Stability AI 现任 CEO 普雷姆·阿卡拉朱正推动公司转型,旨在打造面向音乐专业人士的 AI 工具链。Stability AI 此前获得索尼、华纳和环球等机构的 7600 万美元投资并取得曲库训练授权,已上线三款音频模型及 AI 音乐编辑软件,支持文本生成完整器乐音轨,后续更新还将支持哼唱旋律与口技节奏控制。

    Why it matters: 原文梳理了 Stability AI 转向音乐领域的最新商业与技术布局,读者可据此了解其与三大唱片公司的版权合作与产品方向。

  3. The Decoder62

    AI 音乐生成平台 Suno 推出 Speech 功能可同时生成配音与背景音乐Chinese

    AI 音乐生成平台 Suno 推出新功能 Speech,支持用户输入文本并指定声音与音乐风格,同步生成带有匹配背景音乐的单一语音音频轨。该功能适用于诗歌、冥想引导和睡前故事等场景,目前处于公测阶段但偶尔存在口音偏差。Suno 尚未公开该模型的训练细节,同时正面临主要唱片公司的版权诉讼压力。

    Why it matters: Suno 将语音朗读与背景音乐整合为单轨生成功能,展现了生成式音频在诗歌朗诵和冥想伴奏等场景的实用落地形态。

  4. The Decoder73

    Cloudflare 发布面向 AI Agent 的决策模型 Clef 与 Clef-flashChinese

    Cloudflare 发布面向 AI Agent 的决策模型 Clef 与 Clef-flash,通过直接返回分类概率替代生成长文本,并在 Hugging Face 以 Apache-2.0 协议开源。

    Why it matters: 原文给出了决策模型相较传统生成式大模型的延迟数据与工作机制,读者可据此评估把 Agent 工作流分类路由替换为概率决策的性能收益。

  5. Buzzing HN · 中文精选81

    Black Forest Labs 推出 FLUX 3 Image 图像生成与编辑模型Chinese

    Black Forest Labs 推出多模态模型 FLUX 3 的图像组件 FLUX 3 Image,支持通过边界框(bounding boxes)与提示词精准控制构图、排版及局部像素级编辑。模型支持原生 2K 与 4K 分辨率渲染以及最多 10 张参考图输入,并针对智能体工作流设计,允许 LLM 自动规划布局 JSON 阵列,同时提供企业级商业权重授权以支持微调和私有部署。

    Why it matters: 模型引入了结构化边界框与 Agent 布局规划能力,读者可了解其如何在保持高分辨率的同时提升局部精准编辑的控制力。

  6. Ollama 更新67

    Ollama v0.35.1 发布,支持 Cloudflare Clef 决策模型与 Modelfile 能力声明Chinese

    Ollama 发布 v0.35.1 版本,通过 /v1/systemone 端点新增支持 Cloudflare 开源多模态决策模型 Clef(27B)与 Clef Flash(9B)。新版本将联网搜索模型的单次响应搜索上限从 3 次提升至 10 次,Modelfile 支持显式 CAPABILITY 声明以区分决策与其他模型能力,并同步更新了 llama.cpp 和 MLX 引擎。

    Why it matters: 原文给出了决策模型端点和能力声明等更新细节,读者可以据此评估本地运行多模态决策模型与扩展搜索调用的具体配置。

Oct 2Fri
  1. The Decoder79

    Black Forest Labs 发布 Flux 3 Image 图像生成模型,支持多步局部精确编辑Chinese

    Black Forest Labs 正式发布 Flux 3 Image 图像生成模型,主打在进行多步编辑时不会破坏画面其他未修改区域。该模型支持文生图、图生图与文字渲染,允许用户通过边界框构建场景、引入最多 10 张参考图并输出最高 4K 分辨率图像。目前官方已提供免费 Demo,API 在 10 月 8 日前提供半价折扣,支持企业商业授权,开源权重预计将在未来几周内发布。

    Why it matters: 原文给出了新模型的局部编辑控制与多图参考特性,读者可以据此了解精确图像生成工具的最新能力与权重开放规划。

  2. TechCrunch AI68

    ChatGPT 全球上线虚拟试衣与商品收藏功能Chinese

    OpenAI 宣布为 ChatGPT 全球上线虚拟试衣与商品收藏两项新网购功能,支持用户上传自拍或全身照试穿服装与配饰。该功能基于新推出的 ChatGPT Images 2.5 图像模型运行,带来更自然的光影与更低生成延迟,并在购物搜索结果中提供 Try On 按钮与专属收藏库。用户还可通过风格描述或上传名人穿搭图片,让助手检索可购买的同款单品。

    Why it matters: 原文展现了生成式图像模型融入电商导购的具体形态,读者可以据此评估对话助手转型消费决策入口的可行性。

  3. The Decoder64

    Tavus 推出实时音视频交互模型 Griffin,近半数受试者在 1 分钟通话中误认为真人Chinese

    Tavus 推出实时交互模型 Griffin,可同时接收并生成视频,实时处理语音、面部表情、语调与手势。在 1 分钟视频通话测试中,48% 的受试者误将其当作真人;在音视频拟人度评测中得分 3.83 分,接近真人的 3.92 分。目前轻量版 Griffin-Lite 已面向部分测试者开放研究预览,潜在场景覆盖教学辅导与技术支持。

    Why it matters: 原文给出了模型在音视频实时交互测试中的具体拟人度指标,读者可以据此评估数字人交互能力的最新进展。

  4. 量子位61

    何恺明团队提出纯视觉方案 NAT-ARC:利用自然图像预训练攻克 ARC 抽象推理Chinese

    何恺明团队提出纯视觉 ARC 解题方案 NAT-ARC,直接利用 ImageNet MAE 预训练的视觉编码器迁移至抽象格子推理任务,0.6B 单模型在 ARC-1 上取得 63.4% 的 pass@2 分数,多策略集成后达 70.2%。

    Why it matters: 研究证明自然图像的自监督视觉表征能直接迁移至抽象规则归纳,打通了小参数视觉模型在少样本推理任务中的扩展瓶颈。