本文へスキップ

音声とオーディオ

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

101件の厳選関連トピック多模态AI 视频产品更新

最新の厳選

61〜80 件目 · 全 101 件
10月3日土
  1. The Decoder62

    AI 音乐生成平台 Suno 推出 Speech 功能可同时生成配音与背景音乐中国語

    AI 音乐生成平台 Suno 推出新功能 Speech,支持用户输入文本并指定声音与音乐风格,同步生成带有匹配背景音乐的单一语音音频轨。该功能适用于诗歌、冥想引导和睡前故事等场景,目前处于公测阶段但偶尔存在口音偏差。Suno 尚未公开该模型的训练细节,同时正面临主要唱片公司的版权诉讼压力。

    推薦理由:Suno 将语音朗读与背景音乐整合为单轨生成功能,展现了生成式音频在诗歌朗诵和冥想伴奏等场景的实用落地形态。

  2. Hacker News · AI73

    为什么 STT-LLM-TTS 语音架构已死:call4me 端到端语音智能体实践中国語

    开发者推出代打电话智能体工具 call4me 并分享架构实践,提出用端到端实时语音模型直连通信线路以取代传统的 STT-LLM-TTS 级联方案。系统基于 Cloudflare 与 Telnyx 搭建,直接通过 G.711 μ-law 格式将电话音频透传给 GPT-Live 消除级联延迟,并将工具调用与流程决策解耦给后台文本模型。

    推薦理由:作者结合实际落地踩坑说明了放弃传统语音级联架构、采用端到端音频直连与决策解耦的完整工程方案。

  3. Hacker News · AI60

    开源 Mac 应用 Transcripted 发布:可将会议与听写本地转为 Markdown 文件供 AI 使用中国語

    免费开源 Mac 应用 Transcripted 发布,可将会议录音与语音听写直接在本地转录为纯 Markdown 文件,供各类 AI 工具作为上下文使用。转录过程完全在本地运行且不上传音频数据,无需会议机器人加入即可同时捕获 Zoom、Meet、Teams 等软件的双方声音,支持说话人识别并在 Apple silicon 芯片的 Mac 上运行。

    推薦理由:该工具通过本地转录且无需会议机器人加入的方式,为用户提供了把日常对话转化为 AI 上下文文档的轻量方案。

10月2日金
  1. The Verge · AI 筛选70

    Suno 推出语音生成功能 Speech,支持人声与背景配乐同步合成中国語

    AI 音乐平台 Suno 推出语音生成功能 Speech,已在其网页端和移动端开启公开测试。该功能支持根据提示词描述或文本脚本生成语音,最长单次生成时长约 8 分钟,并可将旁白与背景音乐同步合成为同一音轨。用户可在 Simple 和 Advanced 两种模式下调节人声性别、说话风格及多样性,亦可手动关闭配乐以导出纯净人声。

    推薦理由:Suno 将语音生成与背景配乐融为单条音轨,为有旁白与伴奏需求的创作者提供了集成化的音频生成流程。

  2. IT之家 · AI 筛选76

    日本法院首次确认人类声音受法律保护,AI 仿声侵犯声优形象权中国語

    日本东京一家法院在声优津田健次郎起诉案件中作出裁决,认定未经许可使用 AI 模仿其声线侵犯形象权,在司法实践中确认人类声音受法律保护。津田健次郎指控匿名 TikTok 账号使用 AI 克隆其声音为视频配音,法院部分支持其权利主张,但因涉事账号已注销而未支持下架请求。该案为日本首次审理此类声音侵权案件,反映出内容创作者对个人声音与作品被用于 AI 训练及生成的担忧。

    推薦理由:该判决为生成式 AI 声音克隆提供了司法先例,明确未经许可模仿个人声线可构成侵犯形象权。

  3. Hacker News · AI62

    Better Call GPT 开源:支持通过 GPT Realtime 实时语音控制 Claude Code中国語

    开源插件 Better Call GPT 正式发布,允许开发者在 macOS 终端中通过 GPT Realtime 实时语音与 Claude Code 对话并执行代码修改与测试。系统采用全双工语音模型过滤闲聊并实时转述工作指令,任务进展与结果会同步语音回传。为保障安全,口头表述无法直接通过敏感操作权限校验,所有授权提示仍需在键盘上手动确认。

    推薦理由:该插件将实时语音交互与终端编码智能体结合,同时强制键盘物理确认权限,为免手操作编程提供了可行的安全落地思路。

  4. The Decoder64

    Tavus 推出实时音视频交互模型 Griffin,近半数受试者在 1 分钟通话中误认为真人中国語

    Tavus 推出实时交互模型 Griffin,可同时接收并生成视频,实时处理语音、面部表情、语调与手势。在 1 分钟视频通话测试中,48% 的受试者误将其当作真人;在音视频拟人度评测中得分 3.83 分,接近真人的 3.92 分。目前轻量版 Griffin-Lite 已面向部分测试者开放研究预览,潜在场景覆盖教学辅导与技术支持。

    推薦理由:原文给出了模型在音视频实时交互测试中的具体拟人度指标,读者可以据此评估数字人交互能力的最新进展。

10月1日木
  1. TechCrunch AI70

    Airbnb CEO Brian Chesky 专访:AI Agent 需要专属操作系统与协同交互中国語

    Airbnb 联合创始人兼 CEO Brian Chesky 在专访中表示,纯聊天机器人并不适合电商与旅行浏览场景,消费级 AI 亟需专为 AI 打造的底层操作系统与多智能体互操作标准。

    推薦理由:从底层操作系统与应用互操作性视角重构消费级智能体,对评估消费级产品的交互形态演进具有参考价值。

  2. Hacker News · AI70

    gsplat-talkinghead 开源:基于高斯泼溅与纯前端渲染的实时 AI 语音 Agent 数字人组件中国語

    开源 React 组件库 gsplat-talkinghead 正式发布,可直接在浏览器端运行 3D 高斯泼溅(Gaussian Splat)渲染与 wav2arkit 神经唇形同步,无需搭建专门的服务端渲染基础设施。

    推薦理由:该库将高斯泼溅渲染与神经唇形同步完全置于浏览器端运行,开发者无需搭建服务端渲染基础设施即可快速接入数字人交互。

  3. TechCrunch AI68

    语音 AI 初创公司 ElevenLabs 估值翻倍至 220 亿美元中国語

    ElevenLabs 宣布允许员工按 220 亿美元估值套现部分已归属股权,估值较 2 月融资时的 110 亿美元翻倍。该笔 3 亿美元的要约收购由机构投资者 Wellington 和 T. Rowe Price 领投。这是该公司第二次通过二级市场交易为员工提供流动性,以此作为防范人才流失的保留机制。

    推薦理由:原文披露了最新估值翻倍与员工套现规模,可作为评估语音 AI 独角兽商业化溢价与人才保留策略的直接参考。

9月30日水
  1. Hugging Face66

    Hugging Face 推出开源语音合成评测榜单 Open TTS Leaderboard中国語

    Hugging Face 正式上线 Open TTS Leaderboard,旨在通过自动化客观指标为开源多语种文本转语音(TTS)与声音克隆模型提供可扩展的标准化评测。

    推薦理由:原文详细说明了自动化客观指标如何解决人工竞技场在开源语音模型评测中扩展性不足的问题,便于开发者快速对比多语种模型的延迟与清晰度。

  2. Hacker News · AI75

    东京地方法院裁定 AI 工具克隆演员声音侵犯公开权中国語

    东京地方法院裁定未经授权使用 AI 克隆演员声音进行商业变现侵犯了其公开权,成为日本首例保护个人声音标识免受 AI 侵权的司法判决。该诉讼由知名声优津田健次郎提起,指控一匿名 TikTok 账号在 188 条视频中克隆其标志性音色并以此获利。法院认定声音与肖像一样象征人格并受法律保护,但因涉事账号已在起诉后自行删除视频,驳回了要求平台删视频的诉求。

    推薦理由:判决明确了日本法院首次将声音纳入公开权保护范畴的法律依据,为生成式 AI 声音克隆的商业侵权界定提供了司法参考。

  3. 爱范儿 · AI 筛选67

    豆包输入法完成五大平台覆盖并上线跨端协同与 AI 文字整理功能中国語

    豆包输入法正式补齐 HarmonyOS NEXT 与 Windows 版本,实现 iOS、Android、HarmonyOS NEXT、macOS 及 Windows 五大平台全覆盖。新版本支持账号多端实时对齐个人词库、跨设备文字与图片超级互传,并升级了气声与方言识别、离线语音以及长语音结构化文字整理功能。此外,键盘端还加入了行内计算、语义续写及手势快捷删除等交互特性。

    推薦理由:原文详细梳理了跨端词库同步与 AI 文字整理等实测细节,展示了端侧大模型如何降低日常多设备输入阻力。

  4. vLLM 官方博客(网页)70

    vLLM-Omni 语音合成推理工程优化实践中国語

    vLLM 团队发布了 vLLM-Omni 针对语音合成(TTS)模型的全套推理优化方案,支持 Qwen3-TTS、VoxCPM2、Higgs Audio V3 和 Fish Speech S2 Pro。

    推薦理由:文章详细拆解了四种不同架构 TTS 模型的推理瓶颈与定制优化方案,为多模态语音服务部署提供了系统的工程参考。

  5. vLLM 官方博客(网页)66

    vLLM-Omni 部署与优化多阶段 Qwen3-Omni 的实践经验中国語

    vLLM-Omni 针对 Qwen3-Omni 提出了涵盖阶段拆分、CUDA Graph、异步分块传输、异步输出与按需副本扩展的全栈在线推理优化方案。该方案将 Thinker(多模态推理)、Talker(Codec 预测)与 Code2Wav(波形重建)流水线解耦,消除了跨阶段全载荷等待与 Python 调度开销。

    推薦理由:文章拆解了语音多模态模型分阶段推理的延迟瓶颈,所提出的异步流水线与阶段级扩展方案可直接迁移至同类实时全模态架构。

  6. Hacker News · AI82

    ElevenLabs 发布 Eleven v4 文本转语音模型及 Turbo 版本中国語

    ElevenLabs 正式发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,采用全新架构以提升语调、节奏与情绪表现力。模型支持通过自然语言提示词及行内标签精细控制情绪和音效,并覆盖超过 90 种语言的多语种克隆;Eleven v4 Turbo 中位推理延迟约 100ms、首字发音中位时间约 150ms,重点面向实时对话智能体场景。

    推薦理由:新模型在保留音色一致性的基础上强化了多角色对话情绪表达,为实时语音智能体提供了低延迟参考方案。

  7. The Decoder78

    ElevenLabs 发布 Eleven v4 语音模型与实时 Turbo 版本中国語

    ElevenLabs 正式发布 Eleven v4 语音模型及面向实时语音智能体的 Turbo 版本,能更精准地遵从笑声、耳语等脚本情绪与音效指令。新模型支持超过 90 种语言,单次请求最高支持 10,000 字符,发音基准得分提升至 91.7%,Turbo 版本响应延迟低至约 150 毫秒。两款模型现已上线 API、ElevenAgents 和 ElevenCreative,并推出限时折扣。

    推薦理由:新架构提升了长文本一致性与情感指令遵从度,配合 150 毫秒低延迟的 Turbo 版本,适合兼顾表现力与实时交互的语音场景。

  8. Google Developers · AI 筛选63

    如何在 Google ADK 中评测实时语音智能体中国語

    Google 在 ADK 中引入了原生实时评测功能,支持利用模拟用户以音频交互驱动实时语音智能体并自动打分。评测体系支持动态情景模拟与固定脚本两种用例,结合 Gemini TTS 合成多种音色输入,并通过基于规则的 LLM 评委对多轮轨迹和工具调用质量进行判定。开发者可通过 CLI 运行评测将其接入 CI/CD 流程,也可在 ADK Web 中查看逐轮文字转录与可内嵌播放的音频回放。

    推薦理由:文章演示了在 ADK 中通过模拟用户与 LLM 裁判端到端评测实时语音智能体的工作流,便于开发者将语音交互测试接入工程化流水线。