Skip to content

Multimodal

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

219selectedRelated topics图像生成AI 视频语音与音频

Latest selected

21–40 of 219
Oct 28Wed
  1. Ollama 更新73

    Ollama v0.40.12 发布:支持 Liquid AI LFM3 系列及 d1 决策模型Chinese

    Ollama 发布 v0.40.12 版本,正式支持 Liquid AI 的 LFM3 系列以及 2B 尺寸的 d1 决策模型。LFM3 包含 1.7B 文本、视觉、语音及全模态版本,具备 256K 上下文窗口,首发支持 Apple 硬件平台且后续将适配 Linux 与 Windows。

    Why it matters: 该版本补充了本地端侧轻量多模态与决策模型的运行支持,适合关注本地智能体部署的开发者参考升级。

  2. The Decoder73

    Google DeepMind 推出实时交互世界模型 Genie 4Chinese

    Google DeepMind 推出实时交互世界模型 Genie 4,支持实时逐帧计算场景并直接生成背景音效与对话角色。该系统结合 Gemini 模型在后台保持场景连贯并拆解多步规划,同时测试了与 Gemini 4 Argon 联动进行人形机器人下棋仿真。Genie 4 目前仅作为早期研究预览向特定测试者开放,长会话中物体持久性仍有局限,生成音视频均带有 SynthID 水印。

    Why it matters: 原文展现了像素级实时模拟与大模型后台规划相结合的混合架构,为读者评估世界模型在智能体与机器人仿真中的落地形态提供了参考。

  3. Hugging Face75

    Liquid AI 发布 LFM3 系列端侧多模态模型Chinese

    Liquid AI 推出新一代流动基座模型 LFM3 系列,基于 1.7B 参数共享主干网络构建了涵盖文本、视觉、音频、全模态及决策任务的 6 款 2B 级别开源模型。新模型采用门控短卷积与注意力机制的混合架构,上下文窗口扩展至 256K tokens,4-bit 文本模型可在约 1 GB 显存设备上运行,且所有模型均支持在单张 GPU 上进行微调与端侧部署。

    Why it matters: 该系列将多种模态统一在 2B 级主干网络上并支持单卡微调,为端侧智能体与具身智能部署提供了低算力门槛方案。

  4. 量子位64

    SoMark 开源 1.3B 文档解析模型 OXRChinese

    SoMark 团队正式开源 1.3B 参数的文档解析模型 OXR(Optical Everything Recognition),在 OmniDocBench、olmOCR-Bench 和 DocParsingBench 三项基准测试中均位列第一。

    Why it matters: 该模型在轻量参数下兼顾多元素解析与处理速度,并展示了面向文档解析的递归自我改进训练范式,为下游知识入库提供了参考。

  5. 量子位73

    百度开源文心 Unlimited OCR 2,长文档峰值 KV 缓存降低 96%Chinese

    百度正式开源文心 Unlimited OCR 2,通过稀疏参考滑动窗口注意力机制与无限解码机制支持超长文档连续解析。在百页级单序列测试中,其峰值 KV 缓存占用从 47GB 降至 1.77GB,16 路并发吞吐量提升至 1315 Token/秒。目前该模型代码与权重已在 GitHub 和 Hugging Face 开放。

    Why it matters: 该模型给出了长文档视觉解析中降低显存开销的架构参考,有助于高并发文档处理服务的工程落地。

  6. TechCrunch AI77

    Google DeepMind 发布 Genie 4 世界模型,新增实时音频与动态交互控制Chinese

    Google DeepMind 推出最新世界模型 Genie 4 的研究预览版,支持用户在模拟运行中输入提示词实时更改场景,并同步生成环境音、音乐及对话等实时音频。

    Why it matters: Genie 4 相比前代将场景一致性提升至 2 分钟并增加实时音频与交互控制,展现了世界模型在机器人仿真与创意原型制作中的落地路径。

  7. Buzzing HN · 中文精选81

    Google DeepMind 发布新一代交互式世界模型 Genie 4Chinese

    Google DeepMind 宣布推出新一代交互式世界模型 Genie 4,支持逼真的实时物理仿真并原生同步生成环境音频与交互对话。该模型结合了 Gemini 模型的规划与推理能力,通过在循环中引入 Gemini 实时分解步骤与监督进度,可用于机器人训练环境与创意原型设计。目前 Genie 4 已面向受信任测试者开放研究预览,后续将接入 Project Genie 以及 Gemini API。

    Why it matters: 原文展示了世界模型融合实时音频与大模型在线引导的技术路线,有助于理解具身智能仿真环境与交互生成的演进方向。

  8. The Verge · AI 筛选66

    Google 发布 Genie 4 交互式世界模型Chinese

    Google 宣布推出 Genie 4 世界模型,支持生成约 2 分钟的交互式体验并由 Gemini 3.8 Flash 辅助模拟。该模型支持通过自然语言提示词实时更新生成场景,新增了音频生成功能,主要面向影视前期预览、游戏原型设计和机器人训练场景。Genie 4 目前以研究预览形式向受信任测试人员开放,后续将向 Google AI Ultra 订阅用户推出。

    Why it matters: 该模型展示了世界模型在实时语言交互与音画协同上的进展,为游戏原型和机器人仿真提供了实用的参考基准。

Oct 27Tue
  1. AITNT · AI头条(网页)85

    OpenAI 发布 GPT-6.1 Terra:主打高性价比电脑操作与编程能力Chinese

    OpenAI 正式发布新模型 GPT-6.1 Terra,主打低成本下的桌面电脑操作、视觉推理与编程能力。其 API 标准输入每百万 Token 为 1 美元、输出为 5 美元,价格较 GPT-5.6 Terra 降低 50%,并在多步骤智能体评测与终端代码基准中大幅超越前代。目前该模型已面向 ChatGPT Work、Codex 用户以及 API 开发者开放。

    Why it matters: 该模型在大幅压低调用成本的同时强化了桌面操作与终端编程能力,为需要高频执行长流程任务的智能体应用提供了更具性价比的选型。

  2. 爱范儿 · AI 筛选84

    OpenAI 发布 GPT-6.1 Terra 模型,API 价格减半并提升电脑操作与编程能力Chinese

    OpenAI 正式发布高性价比模型 GPT-6.1 Terra,主打电脑操作、视觉理解与更快的响应速度,标准 API 输入与输出价格较上一代降低 50% 至每百万 Token 分别为 1 美元和 5 美元。

    Why it matters: 新模型通过降低标准调用成本并显著缩减事实错误率,让开发者能够以更低开销将桌面操作智能体落地到日常业务中。

  3. AITNT · AI头条(网页)83

    OpenAI 发布 GPT-6.1 Terra:价格腰斩并主打电脑操作与视觉推理Chinese

    OpenAI 推出中杯模型 GPT-6.1 Terra,主打高速视觉推理与精确的电脑操作(computer use)能力,API 输入价格降至每百万 token 1 美元、输出 5 美元。

    Why it matters: 新模型大幅降低了调用成本并提升处理速度,有助于开发者以更低门槛落地长流程电脑操作自动化工作流。

  4. Simon Willison76

    OpenAI 发布 GPT-6.1 Terra 模型,主打视觉推理与计算机操作Chinese

    OpenAI 推出 GPT-6.1 Terra 模型,主打细致的视觉推理能力、精准的计算机操作(computer use)以及更自然的写作水平。该模型定位类似 Anthropic 的 Sonnet,在技术沟通上优于 Astra 和 Sol,且计算机操作响应速度大幅提升。

    Why it matters: 原文梳理了该中端模型在视觉推理与系统操作上的速度与定价优势,便于开发者评估替换高价模型的成本效益。

  5. IT之家 · AI 筛选82

    OpenAI 发布低成本模型 GPT-6.1 Terra,主打电脑操作自动化与视觉推理Chinese

    OpenAI 推出面向电脑操作任务的低成本模型 GPT-6.1 Terra,重点强化桌面软件自动化、视觉推理与事实准确性。该模型任务执行速度达到 GPT-6 Astra 和 GPT-6.1 Sol 的 3 倍以上,在最高推理强度下每项任务成本仅为 Claude Opus 5.5 的约九分之一,且错误率较前代明显下降。

    Why it matters: 原文公布了针对桌面操作与视觉推理的低成本模型及测试数据,读者可以参考其性能和定价评估自动化工作流的降本路径。

Oct 26Mon
  1. Buzzing HN · 中文精选74

    实测显示10年前的CNN在皮肤癌诊断上准确率优于前沿大语言模型Chinese

    皮肤科医生实测显示,经微调的 2015 年卷积神经网络 Inception v3 在 200 例经病理活检确认的皮损诊断中首选诊断准确率达到 62%,高于 GPT-6 Astra(42%)与 Claude Fable 5.1(42%)。

    Why it matters: 这项实测对比了专用微调视觉小模型与前沿多模态大语言模型在医疗垂直诊断任务中的准确率差异和偏倚模式。

Oct 24Sat
  1. AITNT · AI头条(网页)79

    Kimi 发布旗舰模型 K3.1 Pro:拥有 2.8T 参数并支持 100 万 Token 上下文Chinese

    Kimi 正式发布 2.8T 参数的新一代旗舰模型 Kimi K3.1 Pro,支持 100 万 Token 上下文,完整模型权重预计于 11 月 4 日前开放。API 定价为输入每百万 Token 13 元、输出 68 元,并同步推出输出速度提升 2 至 3 倍的 Highspeed 版本。作者实测指出,该模型在 Web 3D 交互建模、空间理解漫游以及长时长科普动效视频生成方面展现出显著提升。

    Why it matters: 原文实测了空间建模与长动效视频生成案例,读者可以直观对照其在多模态视觉任务上的落地表现。

Oct 23Fri
  1. Hacker News · AI63

    FrameCap 推出 Chrome 插件:支持将 YouTube 视频画面与字幕一键发送给主流 AIChinese

    FrameCap 推出面向 YouTube 的免费 Chrome 浏览器扩展,可自动截取高分辨率视频画面并提取带时间戳的字幕,一键打包提供给主流 AI。该工具支持按 1 至 15 秒间隔抓取视频帧,生成包含图文的 PDF 发送至 ChatGPT、Claude、Gemini 和 Perplexity,或导出 ZIP 文件供 Claude Code、Cursor 等代码智能体使用。

    Why it matters: 该工具将视频画面采样与字幕打包输入大语言模型,解决了依靠纯文本字幕无法获取代码、公式与界面操作画面的痛点。

  2. TechCrunch AI74

    OpenAI 全面开放 Decisions API 决策模型Chinese

    OpenAI 正式向所有客户开放基于 ChatGPT Luna 改造的 Decisions API 决策模型,将推理延迟从 1 至 3 秒降至 100 至 180 毫秒,与 TypeSafe 的 Jev 等分类决策模型展开竞争。该 API 支持在工作流中以极低成本和更高吞吐量替代传统大语言模型,公开版本新增了语音和视觉多模态支持,Speak 等企业实测将动作间隔从 1.4 秒缩短至 0.13 秒。

    Why it matters: 原文披露了模型基于已有架构调整推理参数的技术路径,为开发者替代高成本模型提供了性能与延迟参考。