Skip to content

Multimodal

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

219selectedRelated topics图像生成AI 视频语音与音频

Latest selected

81–100 of 219
Oct 14Wed
  1. AITNT · AI头条(网页)80

    谷歌 Gemini 4 Argon 实测:主打物理与空间推理,性价比突出但工程代码存短板Chinese

    谷歌 Gemini 4 Argon 迎来多方实测,该模型定位于通用物理推理模型,在具身推理(ERQA)基准测试中拿下 87% 的成绩,主打物理直觉与 3D 空间理解能力。

    Why it matters: 汇总了多位开发者对该模型物理与空间推理能力的实测数据,并指出了工程代码短板,有助于评估其在具身智能场景的可用性。

  2. AITNT · AI头条(网页)80

    面壁智能与OpenBMB开源MiniCPM-V 4.7:35B MoE模型仅占3G内存即可端侧运行Chinese

    面壁智能与OpenBMB正式开源端侧多模态模型MiniCPM-V 4.7,包含35B-A3B(激活3B)和1.3B两个版本。35B-A3B版本仅需约3G内存即可在iOS与安卓设备离线运行,在iPhone 17 Pro Max优化后解码速度达每秒13个token以上。该模型结合前瞻专家调度、混合精度量化及ViT内早期视觉压缩技术,并引入自回放微调以解决业务微调带来的能力遗忘问题。

    Why it matters: 端侧MoE通过前瞻调度与混合精度量化在低内存下保障速度,为移动设备离线运行大参数视觉模型提供了工程参考。

  3. Google DeepMind82

    Google DeepMind 发布面向机器人领域的通用物理推理模型 Gemini 4 ArgonChinese

    Google DeepMind 推出面向机器人全生命周期的通用物理推理模型 Gemini 4 Argon,在具身推理基准 ERQA 上取得 87% 的得分。该模型具备物理理解、代码生成与视觉语义推理能力,涵盖四足及机械臂闭环控制、由现实视频或草图构建 MuJoCo 仿真数字孪生(Real2Sim),以及在仿真中生成数据实现策略自改进。

    Why it matters: 原文详细展示了如何通过物理仿真推理和提示词闭环控制硬件,为具身智能工作流提供了可落地的工程参考。

  4. Google Developers · AI 筛选80

    Google 发布 Gemini 4 Argon 机器人与物理推理模型Chinese

    Google 推出面向具身智能的通用物理推理模型 Gemini 4 Argon,在具身推理基准 ERQA 上取得 87% 的得分。该模型覆盖机器人控制、Real2Sim 仿真重建、细粒度物理理解及硬件自我改进等场景,支持从人类视频或手写草图生成带接触物理特性的 MuJoCo 仿真环境,并通过单条提示词复现机器人学术论文算法。

    Why it matters: 该模型展示了从真实视频与草图自动构建物理仿真并闭环控制机器人的全流程提示词设计,为具身智能开发提供了端到端落地参考。

Oct 13Tue
  1. Hacker News · AI60

    开源项目 AI Phone Assistant:基于系统权限让视觉大模型自主操控安卓手机Chinese

    开发者开源了面向 LineageOS 和 AOSP 的系统级应用 AI Phone Assistant,可通过视觉大模型理解屏幕内容并自动注入触控指令来操控手机。

    Why it matters: 项目展示了利用系统签名权限与视觉模型实现端侧手机自动操控的完整架构,为开源移动端智能体开发提供了参考路径。

  2. Hacker News · AI79

    扎克伯格与 Alexandr Wang 详谈 Meta 新模型 Muse Wonder 及千亿美元 AI 布局Chinese

    Meta 创始人扎克伯格与首席 AI 官 Alexandr Wang 在访谈中透露了新一代智能体模型 Muse Wonder 的发布细节,以及 Meta 超千亿美元算力投入与团队重组背景。

    Why it matters: 访谈披露了 Meta 重组大模型团队与加码千亿美元基建的内部决策逻辑,有助于理解前沿智能体模型在训练与落地上的关键取舍。

  3. The Decoder78

    Meta 发布前沿模型 Muse Wonder 系列,Muse Wonder Full 跻身第一梯队Chinese

    Meta 正式发布前沿模型 Muse Wonder 及其高阶版本 Muse Wonder Full,支持 100 万 token 上下文窗口及多模态输入。评测显示 Muse Wonder Full 在 Artificial Analysis 综合指数上获 56 分并在 Coding Agents 指数达到 68 分,但在事实知识测试中明显落后于竞品。

    Why it matters: 原文对比了新模型在代码智能体基准上的提升与事实知识短板,可作为评估其适用场景的依据。

Oct 11Sun
  1. 量子位75

    何恺明团队发布视觉原生Harness框架VISTAChinese

    何恺明团队在论文中提出多模态模型视觉原生Harness框架VISTA,无需重新训练即可让多模态模型直接保存原始环境画面并在推理时按需回看、放大局部和比对细节。

    Why it matters: 该研究展示了无需重新训练基座模型、仅通过外部视觉档案和主动回看工具即可显著提升长程视觉推理能力的设计思路。

Oct 10Sat
  1. Hacker News · AI72

    Google 全面开放 SynthID Detector AI 水印检测工具Chinese

    Google 宣布将 SynthID Detector 面向全球公众开放英文版,支持检测图像、视频和音频是否由 Google 及其合作伙伴的 AI 生成。该工具覆盖 OpenAI、NVIDIA、Kakao 及即将接入的 Apple 生成内容,目前已累计为超 1800 亿张图像与视频以及 24 万年时长的音频添加隐形水印。

    Why it matters: 该工具从面向专业人员扩展至全球公众,支持跨多家合作厂商的水印检测,有助于评估通用内容鉴伪的可用范围。

  2. Cloudflare Blog · 网络基础设施70

    Cloudflare 发布全模态决策模型 Clef-omni 并下调 Clef-flash 价格Chinese

    Cloudflare 正式发布开源权重决策模型 Clef-omni,并针对 Clef 系列实施降价与推理加速。Clef-omni 基于 Qwen3-Omni-30B-A3B-Instruct 架构构建,支持在单次 API 中联合输入文本、图像、音频与视频直接完成决策评分,已在 Hugging Face 开源权重并以 $0.15 per M input tokens 上线。

    Why it matters: 该模型将音视频与图文直接纳入统一决策评分,读者可以参考其免除转写流水线的单次调用方案。

Oct 9Fri
  1. Hacker News · AI65

    阶跃星辰旗舰模型 Step 5 Preview 上线 Vercel AI GatewayChinese

    阶跃星辰旗舰模型 Step 5 Preview 现已上线 Vercel AI Gateway,支持文本与图像输入及 1M token 上下文窗口。该模型面向智能体编码、专业知识工作和金融分析设计,模型调用名为 stepfun/step-5-preview。

    Why it matters: 原文给出了该模型在网关中的配置命令与长上下文参数,开发者可据此直接接入主流编码智能体工作流。

  2. AITNT · AI头条(网页)77

    ChatGPT 智能界面功能实测:动态生成可交互组件与使用体验解析Chinese

    ChatGPT 推出 Intelligent UI 功能,支持在回答中将文字、图表、按钮和表单等原生组件动态组合为可直接操作的独立界面。实测显示其能生成交互式阅读卡片、分步教学指南以及贪吃蛇等轻量小游戏,但生成界面的触发存在一定随机性且目前不支持 Pro effort 深度推理模式。

    Why it matters: 原文实测了动态界面生成的实际交互场景与触发边界,读者可以据此了解该功能在轻量任务与复杂推理下的具体表现。

  3. Hacker News · AI76

    Liquid AI 开源多模态决策模型 d1-3BChinese

    Liquid AI 开源了 3.12B 参数的多模态决策模型 d1-3B,基于 LFM2.5-VL-3B 后训练构建,支持文本、JSON 与图像混合输入。模型通过单次前向传播直接输出类型化决策结果而无需生成文本 token,在 NVIDIA RTX 4090 上单次决策延迟为 8 ms,在 Apple M5 Pro 端侧为 30 ms。

    Why it matters: 该模型展示了通过单次前向传播实现零输出 token 的分类决策方案,为高吞吐路由与端侧质检场景提供了低延迟参考。

Oct 8Thu
  1. 量子位67

    生数科技开放 Vidu Q4 预览版并开启实测Chinese

    生数科技正式开放新一代视频生成旗舰模型 Vidu Q4 预览版,最高支持 4K 直出、15 张参考图与 3 段参考音频输入,720P 模式起步成本约 0.09 元/秒。实测显示其在人物微表情过渡、正反打运镜、环境光影交互及 FPV 镜头上均有提升,单条最长支持生成 16 秒连续画面。目前该版本已在 MaaS 端与 SaaS 端上线并提供相应优惠与计费规格。

    Why it matters: 原文通过多组实测案例展示了微表情控制与光影交互能力,读者可以据此评估低成本视频生成模型在影视创作中的可用性。

  2. AITNT · AI头条(网页)82

    谷歌开源原生多模态嵌入模型 EmbeddingGemma 2Chinese

    谷歌开源 740M 参数的原生多模态嵌入模型 EmbeddingGemma 2,支持在手机、PC 等设备离线实现文本、图片、视频与音频的统一语义检索。完整多模态模型量化后内存占用约 567MB(纯文本版约 191MB),具备 8K 上下文窗口并支持 100 多种语言,可在本地配合大语言模型构建隐私优先的离线 RAG 与代码检索工作流。

    Why it matters: 原文展示了模型在端侧与浏览器离线运行的性能表现与模块拆分方案,读者可以据此评估多模态本地 RAG 的落地可行性。

  3. AITNT · AI头条(网页)90

    OpenAI 全量上线 GPT-6 并推出智能 UI 功能Chinese

    OpenAI 宣布 GPT-6 正式全量上线并面向 ChatGPT 用户推送,同步推出可动态生成图表、滑块与交互式小程序的智能用户界面。付费订阅用户由 GPT-6 Sol 驱动,免费用户由轻量版 GPT-6 Luna 驱动;底层结合客户端原生组件与即时流式编译器,支持在对话中逐帧渲染交互工具并实现边思考边输出回答。

    Why it matters: 原文梳理了模型版本划分、原生流式组件机制与推送节奏,读者可据此了解动态生成界面对传统软件交互的改变。

  4. IT之家 · AI 筛选90

    OpenAI ChatGPT 面向所有用户升级 GPT-6 系列模型并上线交互式智能界面Chinese

    OpenAI 宣布面向所有 ChatGPT 用户推出 GPT-6 系列模型及智能用户界面(Intelligent UI),其全球周活用户已超 12 亿。此前 GPT-6 Astra、GPT-6 Sol 和 Luna 仅供 ChatGPT Work 和 Codex 使用。新界面支持模型在回复中嵌入图表、可点击按钮和表单等交互组件,可实现互动式教学等体验。

    Why it matters: ChatGPT 将此前仅限工作场景的 GPT-6 系列模型面向全体用户开放,并通过交互式组件扩展了界面的表达能力。

  5. Hacker News · AI73

    如何让 AI 成为顶级设计师:前苹果工程师分享高质量 UI 设计工作流Chinese

    前苹果工程师 Anshu Chimala 提出了一套让大模型与 AI 智能体摆脱均质化平庸设计的 UI 设计方法论。该流程通过外部随机种子打破模型的预测惯性,引入独立的大模型“批评家智能体”仅根据截图评分并驱动小模型迭代,同时接入图像与视频生成模型制作微动效与滚动过渡。最终阶段则通过主动删减多余渐变和装饰元素,让界面回归克制且具质感的原生交互体验。

    Why it matters: 文章拆解了用批评家智能体与图像视频生成突破模型设计均质化陷阱的完整流程,提供了一套可复用的 UI 提示与调优方法。