本文へスキップ

マルチモーダル

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

221件の厳選関連トピック图像生成AI 视频语音与音频

最新の厳選

101〜120 件目 · 全 221 件
10月8日木
  1. IT之家 · AI 筛选90

    OpenAI ChatGPT 面向所有用户升级 GPT-6 系列模型并上线交互式智能界面中国語

    OpenAI 宣布面向所有 ChatGPT 用户推出 GPT-6 系列模型及智能用户界面(Intelligent UI),其全球周活用户已超 12 亿。此前 GPT-6 Astra、GPT-6 Sol 和 Luna 仅供 ChatGPT Work 和 Codex 使用。新界面支持模型在回复中嵌入图表、可点击按钮和表单等交互组件,可实现互动式教学等体验。

    推薦理由:ChatGPT 将此前仅限工作场景的 GPT-6 系列模型面向全体用户开放,并通过交互式组件扩展了界面的表达能力。

  2. Hacker News · AI73

    如何让 AI 成为顶级设计师:前苹果工程师分享高质量 UI 设计工作流中国語

    前苹果工程师 Anshu Chimala 提出了一套让大模型与 AI 智能体摆脱均质化平庸设计的 UI 设计方法论。该流程通过外部随机种子打破模型的预测惯性,引入独立的大模型“批评家智能体”仅根据截图评分并驱动小模型迭代,同时接入图像与视频生成模型制作微动效与滚动过渡。最终阶段则通过主动删减多余渐变和装饰元素,让界面回归克制且具质感的原生交互体验。

    推薦理由:文章拆解了用批评家智能体与图像视频生成突破模型设计均质化陷阱的完整流程,提供了一套可复用的 UI 提示与调优方法。

  3. The Verge · AI 筛选87

    OpenAI 推出 ChatGPT Intelligent UI 功能,支持生成图表与可交互组件中国語

    OpenAI 为 ChatGPT 推出 Intelligent UI 功能,使聊天机器人在回答中能够直接生成图表、表单、可点击按钮以及行内互动小工具。该更新随 GPT-6 Sol 与 Luna 模型同步上线,提升了网页搜索速度与安全防护能力。Plus、Pro、Business 和 Enterprise 用户即日起可体验 GPT-6 Sol,Go 和免费用户将在周四获得 GPT-6 Luna。

    推薦理由:原文介绍了 ChatGPT 从纯文本向动态图表和行内工具升级的交互变化,便于读者了解不同订阅层级的模型分配。

  4. TechCrunch AI84

    OpenAI 推出 ChatGPT 全新交互界面 Intelligent UI中国語

    OpenAI 推出全新交互界面 Intelligent UI 并随 GPT-6 上线,在对话中深度集成可点击按钮、任务计算器、交互式图表等可操作视觉元素。该功能旨在降低复杂知识的学习门槛,并支持用户自定义视觉呈现的丰富程度。新界面于周三面向 Pro、Plus、Business 和 Enterprise 用户全球推送,周四覆盖免费及 Go 订阅档位。

    推薦理由:原文展现了从纯文本转向可交互组件的界面变革,有助于评估大模型原生交互形态的发展方向。

  5. The Decoder73

    Google 公开 SynthID 水印检测工具,已有超 1800 亿张图片与视频打上水印中国語

    Google 正式向公众开放 SynthID Detector 工具,支持任何人检测 JPG、PNG、MP4 和 MP3 格式中嵌入的不可见 AI 水印。该工具专门用于识别 Gemini、Veo、Lyria 以及 OpenAI、Kakao 等合作伙伴模型生成的内容,目前已有超 1800 亿张图片与视频带有 SynthID 水印,并已集成至 Google 搜索、Gemini 和 Chrome 中。

    推薦理由:Google 将不可见水印检测工具面向公众开放并披露生态规模,有助于读者了解多模态生成内容的溯源现状。

  6. Hugging Face68

    Liquid AI 开源端侧多模态决策模型 d1-3B 与 d1-omni-600M中国語

    Liquid AI 开源端侧多模态决策模型 d1-3B 与实验性模型 d1-omni-600M,采用非自回归的单次前向传播直接输出结构化决策结果。

    推薦理由:原文给出了基于非生成式单次前向传播的端侧决策模型架构与硬件实测延迟,读者可以据此评估低延迟边缘场景的替代方案。

  7. Hacker News · AI77

    多机构联合投入 18 亿美元构建 AI 生物学数据集与虚拟细胞模型中国語

    Biohub 联合美国能源部(DOE)、美国国家卫生研究院(NIH)及产业伙伴宣布投入 18 亿美元资金、算力与测量技术,共同构建用于训练生物预测 AI 模型的开放数据集资源。

    推薦理由:该倡议通过跨部门与跨企业整合算力与实验测量资源,展示了解决 AI 生物大模型底层训练数据瓶颈的行业路径。

10月7日水
  1. Ars Technica · AI 筛选74

    Google 推出改进版 SynthID 内容检测工具并向全球开放独立网站中国語

    Google 宣布推出改进版 SynthID AI 内容检测工具,并上线专属网站 SynthID.com 供全球用户直接使用。新工具无需再通过询问 Gemini 进行繁琐验证,且支持所有合作伙伴的水印协议,解决了此前无法检测 ChatGPT 等第三方 SynthID 水印的问题。目前 Gemini 已在超 1800 亿张图像/视频及 24 万年时长的音频中集成了 SynthID 隐式水印。

    推薦理由:原文介绍了检测工具独立上线与跨生态水印支持,读者可以据此了解 AI 生成内容溯源工具在实际可用性上的变化。

  2. LlamaIndex 官方博客(网页)70

    LlamaIndex 推出文档解析统一 API 平台 OpenDocRouter中国語

    LlamaIndex 推出文档解析统一 API 平台 OpenDocRouter,将各类开源模型与前沿大模型聚合在单一接口下,实现文档到 Markdown 的解析转换。

    推薦理由:该平台通过统一接口与版面引擎整合了开源与前沿文档解析模型,有助于降低多模型切换与基准评测的工程成本。

  3. TechCrunch AI70

    Google 上线 SynthID 检测网站,支持公众识别 AI 生成多媒体内容中国語

    Google 正式向所有用户开放 SynthID 媒体检测网站,可识别图像、视频和音频是否由 AI 生成。该平台支持主流多媒体格式,Google 旗下的 Veo、Lyria 及 Gemini 等产品均已默认接入该水印技术,目前每日验证请求量达 100 万次。此外 OpenAI 等厂商也已支持 SynthID,而 Microsoft 和 Meta 则采用各自的水印标准。

    推薦理由:原文介绍了检测网站支持的文件格式与生态支持范围,读者可以据此了解主流厂商在多模态内容水印检测上的落地进展。

  4. Simon Willison71

    Simon Willison 发布 llm-openai-decisions 插件支持 OpenAI Decisions API中国語

    Simon Willison 发布了 llm-openai-decisions 0.1a0 插件,用于在其 LLM CLI 工具中调用 OpenAI 全新的 Decisions API。

    推薦理由:作者基于 OpenAI 新推出的 Decisions API 开发了适配插件,读者可直接通过命令行工具接入 gpt-6-luna 进行多模态决策判断。

  5. IT之家 · AI 筛选83

    谷歌发布多模态嵌入模型 EmbeddingGemma 2:7.4 亿参数支持端侧跨模态检索中国語

    谷歌正式推出多模态嵌入模型 EmbeddingGemma 2,总参数量 7.4 亿并采用 Apache 2.0 开源协议,支持将文本、代码、图像、视频和音频统一映射到同一嵌入空间。

    推薦理由:模型将多模态嵌入统一映射并支持模块化加载,为端侧离线跨模态检索和隐私优先的RAG工作流提供了轻量方案。

  6. Buzzing HN · 中文精选75

    Google 发布端侧多模态嵌入模型 EmbeddingGemma 2中国語

    Google 推出端侧多模态嵌入模型 EmbeddingGemma 2,基于 Gemma 4 架构构建并采用 Apache 2.0 协议开源,原生支持将文本、代码、图像、音频与视频统一映射至同一嵌入空间。

    推薦理由:模型将文本、代码、图像、音视频统一映射至同一嵌入空间,为离线端侧检索与多模态 RAG 提供了低显存占用的轻量化方案。

  7. Hacker News · AI77

    Mistral 发布万亿参数模型 Mistral Large 4,主打网络安全与多模态能力中国語

    Mistral 正式发布 1 万亿参数模型 Mistral Large 4(代号 le Chonk),在网络安全、编码、金融和多模态任务上表现突出,已面向开发者、安全机构及政府部门开启预览。

    推薦理由:原文提供了欧洲团队训练万亿参数开源模型的硬件配置与攻防场景定位,有助于评估开源大模型在全球竞争中的能力水位。

  8. Google DeepMind80

    Google DeepMind 发布开源轻量多模态嵌入模型 EmbeddingGemma 2中国語

    Google DeepMind 正式推出开源多模态嵌入模型 EmbeddingGemma 2,基于 Gemma 4 架构并采用 Apache 2.0 许可证,原生将文本、代码、图像、音频和视频映射至统一嵌入空间。

    推薦理由:该模型通过模块化结构与动态维度截断兼顾端侧资源限制,为在边缘设备构建低延迟、离线多模态检索提供了完整实践路径。

  9. The Decoder79

    Google 发布图像生成模型 Nano Banana 2.1中国語

    Google 发布图像生成与编辑模型 Nano Banana 2.1,基于 Gemini 3.6 Flash 架构,全面提升了文字渲染与多轮对话角色一致性,生成价格较前代降低约一半(1K 图像降至 3.36 美分,4K 图像降至 7.56 美分)。该模型支持单次处理最多 14 张参考图、联网搜索以及多档推理思考模式,目前已在 Gemini 应用及 Google AI Studio 等产品上线。

    推薦理由:新模型在生成价格降低约一半的同时提升了多图一致性与画质,适合需要兼顾推理成本与生图质量的业务场景。

  10. The Decoder73

    Google 发布 EmbeddingGemma 2 多模态嵌入模型中国語

    Google 发布开源嵌入模型 EmbeddingGemma 2,参数量为 740M,支持将文本、图像、视频、音频和代码转换为数值向量。该模型在 MTEB Code 基准上取得 78.68 分,仅需约 191 MB 内存即可通过 WebGPU 在浏览器本地运行,单次查询耗时 20 至 70 毫秒。

    推薦理由:该模型以 740M 参数支持多模态向量化并可在端侧运行,便于开发者构建完全离线的本地 RAG 应用。

  11. Google Developers · AI 筛选76

    EmbeddingGemma 2 开发者指南中国語

    Google 发布 EmbeddingGemma 2 开发者指南,详解该开源多模态向量模型从 270M 到 740M 参数的模块化加载与部署方法。该模型基于 Gemma 4 并采用 Apache 2.0 协议开源,支持将文本、代码、图像、视频和音频统一映射至 768 维空间,并可通过 MRL 动态截断至 128 维以减少 6 倍向量存储开销。

    推薦理由:指南详细演示了如何按需加载不同模态编码器并进行动态降维,便于开发者以较低显存和存储成本搭建跨模态检索系统。

  12. Google Developers · AI 筛选76

    Google 发布端侧多模态嵌入模型 EmbeddingGemma 2中国語

    Google DeepMind 正式推出开源多模态嵌入模型 EmbeddingGemma 2,可将文本、图像、视频帧和音频原生映射至统一向量空间。该模型参数量为 740M,纯文本权重仅需约 191MB 活跃内存,全多模态在 Pixel 设备上仅占用约 567MB,支持零样本意图路由与端侧毫秒级决策。

    推薦理由:该模型将文本、视觉与音频统一映射至单一向量空间,为端侧离线语义检索与零样本决策提供了轻量化实现方案。

  13. AITNT · AI头条(网页)79

    Mistral Large 4 发布:1.05T 参数与 49B 激活的原生多模态模型中国語

    Mistral 正式发布万亿参数原生多模态模型 Mistral Large 4,总参数量达 1.05T 且单次仅激活 49B,配备 1.6B 视觉编码器并支持 1M 上下文。模型在 DeepSWE 软件工程评测中取得 62% 成绩,在企业财务与视觉定位等任务上表现突出;目前公开预览版 API 已上线,权重定于 10 月 27 日放出。

    推薦理由:通过细粒度 MoE 将万亿参数计算开销降至 49B 级别,并提供了面向企业代码、财务和网安防御的开源基准参考。