本文へスキップ

音声とオーディオ

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

101件の厳選関連トピック多模态AI 视频产品更新

最新の厳選

21〜40 件目 · 全 101 件
10月24日土
  1. The Decoder62

    Block 推出纯语音端到端 AI 模型 Dessa中国語

    Block 推出 AI 语音模型 Dessa,该模型完全基于人类语音从零训练且无需文本中介,支持全双工实时交互并能识别情绪、讽刺与笑声。该模型在一台 NVIDIA GB200 NVL72 上训练完成,支持在 MacBook Pro M4 Max 上本地运行,目前尚未公开发布,正在招募安全研究人员进行风险测试。

    推薦理由:该模型跳过文本转换完全基于人类语音训练,为实时语音交互捕捉情绪与语调提供了端到端的实现路径。

  2. 量子位60

    科大讯飞发布星辰TaaS平台与星火X2.6端云协同架构中国語

    科大讯飞在2026全球1024开发者节上发布星辰TaaS平台、端云一体星火X2.6及智能体协同平台Agent OS。星火X2.6将上下文窗口扩容至百万tokens并开源4B端侧模型,引入端云路由协同训练机制将路由准确率提升至96.1%;基于全国产算力的SparkAudio 1.0语音基座大模型调用成本下降60%。

    推薦理由:发布覆盖了从端侧模型、语音底座到协同调度的完整产品链,展现了国内大厂将模型消耗接入实际业务流程的工程化落地路径。

10月23日金
  1. Ollama 更新74

    Ollama v0.40.9-rc3 发布:支持 Apple Silicon 语音生成与 d3 决策模型中国語

    Ollama 发布 v0.40.9-rc3 预发布版本,新增支持在 Apple Silicon 上通过 Phonon 生成语音,并提供兼容 OpenAI 的 /v1/audio/speech 流式接口。

    推薦理由:该版本为本地运行时补充了端侧语音生成与意图决策模型,便于开发者在统一接口下扩展多模态与分类工作流。

  2. AWS 机器学习61

    AWS 发布 Amazon Polly 生成式语音引擎重大升级中国語

    AWS 宣布 Amazon Polly 生成式语音引擎推出重大升级并正式可用,新增跨 9 个区域设置的 14 个新声音,并首次在生成式引擎中支持印地语和芬兰语。升级后生成式声音总数增至 57 个并覆盖 11 种语言,能根据文本语境自动调整情绪与韵律,同时提升了数字、金额和地址的发音准确度。该更新为就地直接升级,保持原有 API 调用、音色名称及按量计费价格不变,现有应用无需修改代码即可生效。

    推薦理由:升级在保持现有接口与定价不变的前提下提升了表达自然度与实体发音准确率,已有工作流无需改动代码即可直接受益。

  3. AWS 机器学习68

    AWS 指南:利用 SageMaker AI 与 Kokoro TTS 实现 AI 智能体低延迟流式语音合成中国語

    AWS 介绍了在 Amazon SageMaker AI 上基于轻量级 Kokoro-82M 模型实现 AI 智能体低延迟流式语音合成的工程方案。该方案通过 WebSocket 双向流在模型生成每句话时即时推向 TTS 端点,使独立首包音频延迟从 329.3 ms 降至 156.7 ms(降低 52.4%)。

    推薦理由:文章详细拆解了语音智能体按句流式合成的 WebSocket 双向通道与帧处理细节,为降低端到端语音交互延迟提供了可复用的工程方案。

10月22日木
  1. IT之家 · AI 筛选78

    特斯拉发布无人驾驶网约车首份安全报告:累计行驶 499 万公里无人受伤中国語

    特斯拉发布首份无人驾驶网约车安全报告,车队累计行驶里程达 499 万公里,实现 0 人员受伤、0 安全气囊弹出及 0 行人或骑行者被撞。官方表示同等里程下人类驾驶预计会发生约 9 起致伤事故与 4 起气囊弹出。该服务目前已在美 7 座城市运营,赛博无人驾驶电动车已加入奥斯汀车队并接入 Grok 语音助手功能。

    推薦理由:报告给出了特斯拉无人驾驶网约车的安全对照数据与拓展节奏,读者可以据此评估其规模化商用的运营进展。

10月21日水
  1. Hugging Face63

    IBM 发布 Granite Speech 5.0 语音模型系列:涵盖 2B 旗舰、470M 高速端侧与会议增强版中国語

    IBM 发布 Granite Speech 系列语音模型更新,包括全新的 2B 语音语言模型 granite-speech-5.0-2b,以及更新版的 470M 端侧模型 granite-speech-5.0-470m-turboctc 和针对多说话人的 granite-speech-4.1-2b-plus。

    推薦理由:原文对比了三款模型在端侧吞吐、多说话人归因及高精度转录上的性能指标,读者可依此匹配具体业务场景。

  2. Buzzing HN · 中文精选74

    Mistral 推出 Voxtral 3 语音模型家族与语音 Agent SDK中国語

    Mistral 推出 Voxtral 3 系列语音模型及基于 LiveKit 的语音智能体 SDK,将听、思考、工具调用与发声整合为单一实时流式管线。模型家族包含支持 50 多种语言高精度转录与说话人日志的 Voxtral Transcribe 3,以及支持 35 种以上语言情感与语速调节的 Voxtral Mini TTS 3,单轮交互延迟控制在 1 秒以内。

    推薦理由:该家族打通了转写、推理与情感合成的端到端流式管线,为构建高保真且支持自主部署的语音智能体提供了完整方案。

  3. The Decoder73

    Elevenlabs 发布实时语音对话模型 Eleven Realtime中国語

    Elevenlabs 发布两款专为实时语音对话设计的端到端语音模型 Eleven Realtime v1 Max 与 v1 Mini。其中 v1 Max 在 Big Bench Audio 基准测试中达到 98.8% 准确率且响应时间为 0.57 秒,兼顾高精度与低延迟;v1 Mini 则主打低成本自然对话并能识别停顿与应答语气。

    推薦理由:模型兼顾低延迟与高准确率,并提供兼容标准协议的接口,有助于降低实时语音智能体的开发和迁移门槛。

  4. The Decoder74

    Mistral AI 推出全栈实时语音智能体模型族 Voxtral 3中国語

    Mistral AI 正式推出专为实时语音智能体打造的模型族 Voxtral 3,整合了听、思考、工具调用与发声的单一流式处理管线。该系统包含支持超 50 种语言的 Voxtral Small Transcribe 3 转录模型、支持超 35 种语言及 50 种方言且具备情感适配的 Voxtral Mini TTS 3,以及基于 LiveKit 的语音智能体 SDK。

    推薦理由:该技术栈打通了从语音识别、推理到语音合成与工具调用的全流程,为构建低延迟端到端实时语音智能体提供了完整组件方案。

10月20日火
  1. TechCrunch AI61

    Otter.ai 获 General Catalyst 3.2 亿美元融资用于企业级业务扩张中国語

    AI 会议记录工具 Otter.ai 宣布从 General Catalyst 旗下 Customer Value Fund 筹集 3.2 亿美元,该资金采取非稀释股权模式,将用于企业增长、国际扩张和产品研发。平台累计用户量已达 4000 万,目前正测试整合多渠道上下文的会前简报及会中实时 AI 问答等功能,以应对日益激烈的会议办公自动化竞争。

    推薦理由:Otter.ai 采用不稀释股权的融资模式推进企业扩张,展现了 AI 会议工具从转录向全流程业务工作流演进的竞争态势。

  2. Google Developers · AI 筛选71

    Google 发布 ADK 语音 Agent 教程:基于 Gemini 3.8 Live 构建永不静音的实时语音助手中国語

    Google 官方发布指南,演示如何利用 Agent Development Kit(ADK)与 gemini-3.8-live 构建避免语音中断的实时语音 Agent。

    推薦理由:教程展示了如何通过流式工具与响应调度消除语音交互静音,为长耗时调用的实时语音开发提供了可落地的架构范式。

  3. Hacker News · AI63

    开源工具 Earshot 发布:支持通过 AirPods 与点头动作控制 Claude Code 语音交互中国語

    开发者推出开源 macOS 工具 Earshot,支持用户通过 AirPods 与 Claude Code 语音对话并通过点头手势发送指令。该工具利用系统 say 命令朗读模型回复,并结合 Hammerspoon 与 AirPods 头部运动追踪实现按压耳机柄听写、点头发送的免键盘交互流程。

    推薦理由:该项目通过耳机头部动作感应与系统朗读接口,为命令行环境提供了无需键盘的免手语音交互方案。

10月16日金
  1. Hacker News · AI65

    1.4万通通话实测显示人类接线员转化表现优于AI语音Agent中国語

    Bold Agent Kit 对约 14,000 通真实来电的实测显示,人类接线员的业务转化表现约为 AI 语音 Agent 的 4 倍。分析指出,AI 处理的通话中途放弃挂断率高出 700%,但在响应可用性上具备优势,人类漏接电话比例比 AI 高出约 15%。该研究建议企业评估 AI 时应衡量单次成功转化的实际商业成本,而非单纯计算接听量和削减的人力支出。

    推薦理由:原文对比了万通通话中人类与AI在转化率与挂断率上的具体差距,为企业评估语音智能体的落地回报提供了实测参考。

  2. Hugging Face65

    Granite Switch 4.1 发布:单端点整合对话、决策与语音识别能力中国語

    Granite Switch 4.1 系列模型(8B 与 30B)正式发布,将通用决策 aLoRA、安全决策 Guardian aLoRA 以及语音识别模型整合至单一托管端点。适配器与基座模型共享显存并复用基座生成的 KV cache,可在对话响应、多步骤决策及语音转文字等任务间快速切换。该系列模型支持开箱即用,官方后续还将发布 Adapter SDK 供社区训练与组合自定义适配器。

    推薦理由:原文展示了多适配器共享显存与缓存的架构设计,读者可以参考如何以低开销在单端点组合多任务工作流。

10月15日木
  1. IT之家 · AI 筛选77

    xAI 发布语音模型 Grok Voice 3.0:延迟低于 1 秒且 API 定价不变中国語

    xAI 发布语音转语音模型 Grok Voice 3.0,延迟低于 1 秒且已通过 API 上线,定价维持每分钟 0.08 美元。在 Artificial Analysis 综合榜单中得分 86.9 排名第一,全双工基准测试达 97%,τ-Voice 客服测试得分 71.6% 且比同级模型延迟降低 40%。该模型已应用于特斯拉车载交互与星链多语言客服电话处理。

    推薦理由:原文提供了多项语音基准测试得分与全双工测试数据,读者可据此评估该模型在实时客服场景下的延迟与成本表现。

  2. Hacker News · AI62

    美国移民与海关执法局计划使用 AI 全天候监控被拘留人员通话与行动中国語

    美国移民与海关执法局(ICE)在联邦采购网站发布信息征集,计划采购名为 Suite 的 AI 系统,对拘留中心移民的电话、视频通话及摄像头画面实施 24/7 全天候监控。

    推薦理由:原文披露了执法机构将多模态分析引入拘留场所的采购细节,读者可以了解公权力应用 AI 监控的实际诉求与伦理争议。

  3. Hacker News · AI73

    Apple 推出 299 美元智能显示屏 HomeView,推动 Siri AI 落地家庭场景中国語

    Apple 正式发布智能家居显示屏 HomeView,配备 7 英寸屏幕与扬声器底座,售价 299 美元,旨在将全新升级的 Siri AI 引入家庭日常场景。设备支持通过面部识别区分最多 6 位家庭成员并切换专属小组件与日程信息,音频与视觉数据独立处理以保障隐私。该硬件将于 11 月 13 日发售,让没有升级到 iPhone 15 Pro 及以上机型的家庭成员也能使用新版 Siri AI。

    推薦理由:该设备降低了体验升级版 Siri 的硬件门槛,并展示了基于面部识别切换多用户界面的端侧智能家居形态。

  4. Hacker News · AI63

    开源本地语音助手 Sonia 发布:无需独立 GPU 且内存低于 15GB,支持全双工打断与外部技能中国語

    开发者开源了全本地语音助手 Sonia,无需独立 GPU 即可在 15 GB 内存内运行,具备全双工拾音和实时打断能力。系统基于 TypeScript 与 Bun 构建核心事件循环,结合 audio.cpp 运行语音识别、TTS 与轮次检测模型,并通过兼容 OpenAI 接口的 llama-server 挂载 Qwen3.5-4B 等大语言模型。

    推薦理由:项目展示了基于纯本地 CPU 与核显搭建全双工语音助手的完整工程链路,为低算力端侧交互开发提供了可参考架构。

10月13日火
  1. Buzzing HN · 中文精选75

    基于 EmbeddingGemma 2 的 Mac 本地语音转录工具发布,基础款 MacBook Air 约 13 秒转录 1 小时音频中国語

    开发者基于 Google 的 EmbeddingGemma 2 推出端侧语音转文本工具并开放 Mac 免费版 v1.6,在基础款 M3 MacBook Air 上利用 Apple Neural Engine 可在 12.6 秒内转录 1 小时音频。

    推薦理由:该项目展示了直接复用多模态嵌入空间实现极速语音识别的可行性,为轻量端侧音频转录提供了极低训练成本的工程方案。