Skip to content

Speech and audio

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

105selectedRelated topics多模态AI 视频产品更新

Latest selected

101–105 of 105
Jul 15Wed
  1. Hugging Face60

    Hugging Face 推出 Real World VoiceEQ 语音 AI 评测基准Chinese

    Hugging Face 推出 Real World VoiceEQ 评测基准,旨在衡量语音 AI 在真实复杂对话中的拟人交互质量。该基准基于超过 100 万次人类评分,包含 78.5 万条 TTS 和 4.8 万条 STS 评分,涵盖 15 个以上评估维度与 60 多项指标,对 40 多个主流开源及专有模型展开了评测。

    Why it matters: 该基准基于超百万次人类评分评估语音交互的拟人表现,揭示了传统指标高估现实能力的短板,为检验语音感知提供了新参考。

Jul 1Wed
  1. Hugging Face74

    Hugging Face 联合 Cerebras 推出基于 Gemma 4 的实时语音流水线Chinese

    Hugging Face 联合 Cerebras 推出开源端到端实时语音流水线,通过 Cerebras 加速推理消除语言模型的响应延迟瓶颈。该系统采用模块化设计,串联了 Nvidia Parakeet 语音识别、运行于 Cerebras 上的 Google DeepMind Gemma 4 31B 以及 Qwen3-TTS 语音合成。

    Why it matters: 原文展示了结合开源模型与专用推理硬件的实时语音级联方案,读者可参考其模块化堆栈解决语音交互的长尾延迟问题。

Jun 9Tue
  1. Google DeepMind83

    Google DeepMind 发布音频模型 Gemini 3.5 Live Translate 支持 70 多种语言近实时语音互译Chinese

    Google DeepMind 正式发布最新音频模型 Gemini 3.5 Live Translate,支持 70 多种语言的近实时端到端流式语音互译,并在生成翻译时保留原说话人的语调、节奏和音高。

    Why it matters: 模型突破了传统轮流对话式翻译的延迟限制,通过流式生成保留说话人语调与节奏,为实时跨语言沟通提供了新方案。

Apr 16Thu
  1. Google DeepMind75

    Google DeepMind 推出 Gemini 3.1 Flash TTS 语音模型Chinese

    Google DeepMind 正式推出文本转语音模型 Gemini 3.1 Flash TTS,支持原生多说话人对话与 70 多种语言。该模型引入了音频标签功能,允许用户在输入文本中嵌入自然语言指令来精确控制语音风格、语速与停顿,在 Artificial Analysis TTS 榜单上取得了 1211 的 Elo 分数。

    Why it matters: 模型引入自然语言音频标签来实现句中语气与语速控制,为开发者精细调节多角色拟真对话提供了直接参考。