vLLM-Omni 语音合成推理工程优化实践
vLLM 团队发布了 vLLM-Omni 针对语音合成（TTS）模型的全套推理优化方案，支持 Qwen3-TTS、VoxCPM2、Higgs Audio V3 和 Fish Speech S2 Pro。
推荐理由：文章详细拆解了四种不同架构 TTS 模型的推理瓶颈与定制优化方案，为多模态语音服务部署提供了系统的工程参考。
#语音
#语音
今日 4 条vLLM 官方博客（网页）精选AI 评分7070 vLLM 官方博客（网页）精选AI 评分6666 vLLM-Omni 部署与优化多阶段 Qwen3-Omni 的实践经验
vLLM-Omni 针对 Qwen3-Omni 提出了涵盖阶段拆分、CUDA Graph、异步分块传输、异步输出与按需副本扩展的全栈在线推理优化方案。该方案将 Thinker（多模态推理）、Talker（Codec 预测）与 Code2Wav（波形重建）流水线解耦，消除了跨阶段全载荷等待与 Python 调度开销。
推荐理由：文章拆解了语音多模态模型分阶段推理的延迟瓶颈，所提出的异步流水线与阶段级扩展方案可直接迁移至同类实时全模态架构。
Google Developers · AI 筛选精选AI 评分6363 如何在 Google ADK 中评测实时语音智能体
Google 在 ADK 中引入了原生实时评测功能，支持利用模拟用户以音频交互驱动实时语音智能体并自动打分。评测体系支持动态情景模拟与固定脚本两种用例，结合 Gemini TTS 合成多种音色输入，并通过基于规则的 LLM 评委对多轮轨迹和工具调用质量进行判定。开发者可通过 CLI 运行评测将其接入 CI/CD 流程，也可在 ADK Web 中查看逐轮文字转录与可内嵌播放的音频回放。
推荐理由：文章演示了在 ADK 中通过模拟用户与 LLM 裁判端到端评测实时语音智能体的工作流，便于开发者将语音交互测试接入工程化流水线。
AWS 机器学习AI 评分4848 在 Amazon SageMaker AI 上使用 vLLM-Omni 构建实时语音应用（第 1 部分）
AWS 演示如何在 Amazon SageMaker AI 上通过 vLLM-Omni DLC 部署 Qwen3-TTS 模型，构建实时流式文本转语音应用。方案利用基于 HTTP/2 的 WebSocket 双向流式连接，支持实时发送文本并回传 24 kHz PCM 音频块以实现边生成边播放。
AWS 机器学习AI 评分5454 在 Amazon SageMaker AI 上部署 Qwen3-TTS 实现实时声音克隆
AWS 官方博客介绍了如何通过 Amazon SageMaker JumpStart 部署阿里千问 Qwen3-TTS-12Hz-1.7B-Base 文本转语音模型，构建全托管的实时语音克隆推理端点。
AWS 机器学习AI 评分5454 基于 Amazon SageMaker AI 部署 WhisperX 实现带说话人标签的语音转录
AWS 详解了在 Amazon SageMaker AI 上部署 WhisperX 深度学习容器（DLC）的实践方案，为音频转录补充 wav2vec2 强制对齐的词级时间戳与说话人区分能力。
腾讯混元 公众号精选AI 评分6161 腾讯上线基于混元 Hy-MT2 的“腾讯Hy翻译” APP
腾讯正式上线“腾讯Hy翻译” APP，同步支持小程序、插件和 PC 端体验。该应用基于腾讯混元 Hy-MT2 翻译模型构建，支持 33 种语言互译及 5 种中国少数民族语言与方言，提供语音翻译、拍照翻译以及通过本地模型实现的离线翻译功能，已在美国、日韩、东南亚多国及中国港澳台等 12 个国家和地区推出。
推荐理由：该应用基于混元翻译模型提供了离线端侧能力，读者可以据此了解其在无网出国场景下的实用表现。
Apple Machine Learning ResearchAI 评分3636 Apple 通过潜在空间知识蒸馏压缩流式神经音频编码器
Apple 研究人员提出通过量化前潜在空间知识蒸馏压缩端侧流式神经音频编码器，以降低设备端听写功能的内存与延迟开销。该方法训练学生编码器在均方误差目标下回归教师模型的逐帧潜在特征，并以单层仿射层解决宽度不匹配问题。在 2.8x 压缩下，学生模型无需微调即可在 6 组测试中的 5 组将相对 WER 差距控制在 1.9% 以内，较同容量独立训练模型相对提升 3.9%。
Apple Machine Learning ResearchAI 评分3535 半监督联邦 ASR 实用方案：在线伪标签与服务端更新稳定化
针对半监督联邦学习（SSFL）在语音识别（ASR）中伪标签误差易发散的问题，研究提出结合在线伪标签与服务端更新稳定化的训练方案。该方法通过客户端在线模型生成伪标签，并由服务端在轮次间持续训练有标签种子数据以抑制模型漂移。实验表明，该方案在 11 组对比中有 9 组超越此前最强方法，域内平均提升 20.8%，跨域平均提升 10.0%。
Google DeepMind精选AI 评分7878 Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 文本转语音模型
Google DeepMind 正式推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型，支持通过自然语言提示词定制角色声音并逐行掌控对话演绎。
推荐理由：两款模型将语音生成拓展至基于自然语言的精细表演控制与多角色编排，为多语种配音和语音智能体开发提供了高可控性方案。
OpenAI 官方动态AI 评分3131 Ringg 借助 OpenAI 使 AI 智能体解决多达 65% 的客户电话
Ringg 采用 GPT-5.6 驱动覆盖语音、聊天、WhatsApp 和 Web 的多语言 AI 智能体，可解决高达 65% 的客户电话。与 GPT-4.1 相比，该方案的运行成本降低了 90%。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 语音模型
Google DeepMind 发布 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking 两款近实时对话模型，主打面向企业与开发者的端到端语音智能体构建。
推荐理由：两款模型展示了近实时语音交互与后台复杂推理并行执行的技术路径，为构建低延迟端到端语音智能体提供了参考基准。
Google AIAI 评分5050 Google：让 AI 覆盖每一种语言，服务每一个人
Google 推进多语言 AI 技术，推出支持 70 种语言和 2,000+ 语言对实时翻译的 Gemini 3.5 Live Translate，以及高精度语音转文本模型 Gemini 3.5 Transcribe。为解决网络受限环境下的使用需求，Google 还发布了基于 Gemini 构建的轻量级开源翻译模型家族 TranslateGemma，覆盖 55 种语言并支持端侧离线高效运行。
阶跃 StepFun 公众号精选AI 评分7373 阶跃星辰发布 StepAudio 3 系列语音大模型
阶跃星辰正式发布 StepAudio 3 系列语音大模型，涵盖 Realtime、ASR、TTS、Gen 和 Music 五款模型并上线开放平台。
推荐理由：原文给出了五款音频模型在实时交互与全链路生成上的评测表现，读者可以据此了解原生语音模型在复杂任务中的落地能力。
OpenAI 官方动态精选AI 评分7878 OpenAI 在 API 中上线 GPT-Live-1 语音模型
OpenAI 正式在 API 中推出 GPT-Live-1 模型，为开发者提供自然的全双工语音对话能力。该模型具备更强的指令遵循能力，并支持自定义声音和电话通信集成。
推荐理由：该模型将全双工语音对话接入API并提供电话支持，方便开发者直接构建实时语音交互应用。
Hugging FaceAI 评分5858 Hugging Face 语音基准 Open ASR Leaderboard 引入印度英语与印地语评测集 Monsoon
Hugging Face 联合 Voice Arena 在 Open ASR Leaderboard 中上线 Monsoon 评测集，将印度英语和印地语纳入开源语音识别评测体系。
Google DeepMind精选AI 评分8282 Google DeepMind 推出 Gemini 3.5 Transcribe 语音转文本模型
Google DeepMind 发布语音转文本模型 Gemini 3.5 Transcribe，提供实时双向流式与预录音频处理两条 API 路线，支持 85 种以上语言并具备口误自我修正与填充词过滤能力。
推荐理由：新模型将实时语音转录与格式化及工具调用结合，展现了语音识别向上下文理解与工作流调度演进的具体路径。
Hugging Face精选AI 评分7373 Hugging Face 评估语音识别模型基准过拟合现象
Hugging Face 发布研究评估了 11 款主流开源 ASR 模型的基准过拟合现象，发现部分低 WER 高分模型会依据声学线索复现基准参考文本中的错误甚至补全被静音的数字。研究设计了参考文本不一致、掩码实体检索和正字法切换三项测试，并在 Open ASR Leaderboard 上线了基准拟合分析标签页与开源脚本。
推荐理由：研究设计了量化 ASR 模型刷榜过拟合的具体探针方法，读者可据此审视公开基准分数的真实泛化能力。
Google Research精选AI 评分7575 Google 推出 AMIE (Video)：支持实时音视频临床问诊的医疗 AI 系统
Google Research 与 Google DeepMind 推出基于 Gemini 和 Project Astra 的医疗 AI 系统 AMIE (Video)，实现了专家级实时音视频临床问诊。
推荐理由：研究通过解耦对话、规划与感知的异步多智能体架构，首次实现了音视频多模态下的实时医疗问诊与查体引导。
Hugging Face精选AI 评分7070 NVIDIA 发布开源多语言语音合成模型 Magpie TTS
NVIDIA 推出 364M 参数的开源多语言文本转语音模型 Magpie TTS Multilingual，开放模型权重并提供生产就绪的 NIM 推理微服务。
推荐理由：模型开源权重并提供生产级推理微服务，帮助开发者在私有基础设施上自控语音延迟预算与定制发音。
腾讯混元 公众号精选AI 评分6565 腾讯混元发布语音识别模型 Hy ASR 3.0 preview
腾讯混元正式发布新一代语音识别模型 Hy ASR 3.0 preview，基于大语言模型 Hy3 的 MoE 架构融合高精度语音识别与深度语义理解。在开源评测集中，其中文普通话 WER 为 3.34%、英语为 2.62%、粤语为 3.12%，并在复杂声学场景与长尾方言识别上获得专项优化。目前该模型已上线腾讯云 API 接口，并首发接入腾讯元宝 App。
推荐理由：模型结合大语言模型底座与语音联合训练，展示了利用上下文语义提升复杂场景语音识别准确率的技术路径。
Google DeepMind精选AI 评分6464 Google DeepMind 推出音乐生成模型 Lyria 3.5 并在 Google Flow Music 上线
Google DeepMind 推出最新音乐生成模型 Lyria 3.5，并正式在 Google Flow Music 中上线。新模型在旋律结构复杂度与自然度、歌词质量与结构感知、以及人声发音和情感表现力上均有提升。同时，它增强了创作控制能力，方便用户调整生成音频的节奏和时长。
推荐理由：原文列举了旋律、歌词、人声表现力与节奏时长控制等维度的升级，读者可以据此评估 AI 音乐生成的可用性变化。
通义实验室 公众号精选AI 评分7373 通义实验室发布 Qwen-Audio-3.0-TTS 语音合成模型
通义实验室正式发布实时语音合成模型 Qwen-Audio-3.0-TTS，推出首包延迟约 300ms 的 Flash 版与注重音色还原度的 Plus 版。模型覆盖 16 种语言及 20 种中文方言，支持自然语言指令控制与呼吸、笑场等结构化标签嵌入调控，单次合成支持最长 3 分钟并升级至 48kHz 音频输出，现已在阿里云百炼平台上线。
推荐理由：模型提供兼顾实时与高音质的两个版本并支持指令控制情感，有助于开发者评估其在多语种及复杂场景的落地表现。
阶跃 StepFun 公众号AI 评分3434 阶跃星辰亮相 WAIC 2026 展区
阶跃星辰在 WAIC 2026 展区集中展示了获得“镇馆之宝”荣誉的智能体手机 STEPX Neo、Step 系列模型矩阵、汽车智能体及多机器人具身智能项目。STEPX Neo 搭载 Step AOS 系统与 Amoo 智能体，是目前唯一获得相关国标 L3 级检测报告的智能体手机，底层由 Step Edge 与 Step 3.7 Flash 等模型驱动。
通义实验室 公众号精选AI 评分7979 通义实验室发布实时多模态交互模型 Wan-Streamer v0.2
通义实验室发布实时双工全模态交互模型 Wan-Streamer v0.2，端到端响应延迟约 550ms，输出视频分辨率提升至 640×368 @ 25FPS。模型将传统流水线重构为基于 160ms 流式单元的原生因果流，并采用单卡 Thinker 与多卡 Performer 双通路硬件解耦与 Ulysses 序列并行机制，实现低延迟感知与重载视频生成的时序重叠。
推荐理由：原文给出了双通路硬件解耦与时序重叠调度方案，展示了在大幅提升视频分辨率时维持超低交互延迟的具体工程路径。
通义实验室 公众号精选AI 评分7676 通义实验室发布 Qwen-Audio-3.0-Realtime 实时语音交互模型
通义实验室将语音交互模型 Fun-Realtime-AudioChat 正式升级更名为 Qwen-Audio-3.0-Realtime 并上线阿里云百炼，提供 plus 和 flash 两个版本。
推荐理由：升级通过多模态双工与多教师蒸馏兼顾了低延迟抗噪和复杂工具调用，适合语音交互开发者参考。
Hugging Face精选AI 评分6060 Hugging Face 推出 Real World VoiceEQ 语音 AI 评测基准
Hugging Face 推出 Real World VoiceEQ 评测基准，旨在衡量语音 AI 在真实复杂对话中的拟人交互质量。该基准基于超过 100 万次人类评分，包含 78.5 万条 TTS 和 4.8 万条 STS 评分，涵盖 15 个以上评估维度与 60 多项指标，对 40 多个主流开源及专有模型展开了评测。
推荐理由：该基准基于超百万次人类评分评估语音交互的拟人表现，揭示了传统指标高估现实能力的短板，为检验语音感知提供了新参考。
通义实验室 公众号AI 评分5454 通义实验室发布 Fun-ASR-Realtime 实时语音识别模型
通义实验室发布 Fun-ASR-Realtime 语音识别模型，单模型支持 30 种语言与 16 种方言，并在工业级方言测评中取得 87.8% 的语义准确率。该模型采用流式与非流式一体化训练，首字延迟控制在百毫秒级，支持动态注入热词与对话上下文以实现同音词和领域词消歧，相关 API 已上线阿里云百炼平台。
Hugging Face精选AI 评分7474 Hugging Face 联合 Cerebras 推出基于 Gemma 4 的实时语音流水线
Hugging Face 联合 Cerebras 推出开源端到端实时语音流水线，通过 Cerebras 加速推理消除语言模型的响应延迟瓶颈。该系统采用模块化设计，串联了 Nvidia Parakeet 语音识别、运行于 Cerebras 上的 Google DeepMind Gemma 4 31B 以及 Qwen3-TTS 语音合成。
推荐理由：原文展示了结合开源模型与专用推理硬件的实时语音级联方案，读者可参考其模块化堆栈解决语音交互的长尾延迟问题。
Google DeepMind精选AI 评分8383 Google DeepMind 发布音频模型 Gemini 3.5 Live Translate 支持 70 多种语言近实时语音互译
Google DeepMind 正式发布最新音频模型 Gemini 3.5 Live Translate，支持 70 多种语言的近实时端到端流式语音互译，并在生成翻译时保留原说话人的语调、节奏和音高。
推荐理由：模型突破了传统轮流对话式翻译的延迟限制，通过流式生成保留说话人语调与节奏，为实时跨语言沟通提供了新方案。
Google DeepMind精选AI 评分7575 Google DeepMind 推出 Gemini 3.1 Flash TTS 语音模型
Google DeepMind 正式推出文本转语音模型 Gemini 3.1 Flash TTS，支持原生多说话人对话与 70 多种语言。该模型引入了音频标签功能，允许用户在输入文本中嵌入自然语言指令来精确控制语音风格、语速与停顿，在 Artificial Analysis TTS 榜单上取得了 1211 的 Elo 分数。
推荐理由：模型引入自然语言音频标签来实现句中语气与语速控制，为开发者精细调节多角色拟真对话提供了直接参考。