本文へスキップ

音声とオーディオ

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

101件の厳選関連トピック多模态AI 视频产品更新

最新の厳選

1〜20 件目 · 全 101 件
今日11月3日火
  1. Hacker News · AI61

    Hume、音声AI向けの音声ネイティブ意思決定モデルAPIを発表

    Humeは音声AI向けの音声ネイティブ意思決定モデル「Audio Decision Model API」を発表した。開発者は音声、質問、選択肢を入力することで各回答の確率を取得でき、音声の自然さ、明瞭さ、共感性の評価に役立てられる。同モデルは10件のベンチマーク評価で平均スコア0.82、中央値レイテンシ0.23秒を記録し、人間の集団判断との一致率は70.7%に達した。このAPIは音声エージェントのアーキテクチャに意思決定レイヤーとして組み込むことが可能で、トレーニングデータの選定や例外ケースのエスカレーション監査を支援する。

    推薦理由:原文では音声意思決定モデルの仕組みと評価指標が解説されており、確率的なQAを通じて音声対話の品質を定量的に評価する手法を把握できる。

11月2日月
  1. Hacker News · AI62

    AIラジオコホスト「Coyotec」が複数市場へ進出、従来の放送業界で雇用と信頼性を巡る議論が勃発

    米Entravisionが手掛けるElevenLabsの音声クローニング技術を活用したAIラジオコホスト「Coyotec」が7つの市場へと展開を拡大し、朝のプライムタイム枠で人間のパーソナリティと共同司会を務めて聴取率向上をもたらしているが、業界内では人間の雇用の代替や編集責任に関する議論を呼んでいる。

    推薦理由:本稿では、AI音声パーソナリティによるラジオ制作現場での協業プロセスや再現可能なビジネスモデルを分析し、生成AIによる音声が従来の放送現場に導入される中での労働環境とコンプライアンスの現実を浮き彫りにしている。

11月1日日
  1. Hacker News · AI66

    开源语音助手 Hey Spark 发布,支持本地端侧运行与 MCP 工具调用中国語

    ContextuAI 开源桌面语音助手 Hey Spark,支持在笔记本电脑的本地 CPU 上运行唤醒词检测、faster-whisper 语音识别和 Piper/Kokoro 语音合成。

    推薦理由:本地运行语音识别与合成并结合 MCP 工具调用,为需要隐私保护和自主控制的桌面语音智能体提供了参考架构。

10月31日土
  1. IT之家 · AI 筛选77

    苹果宣布 Apple 智能首批功能即将在国内上线,支持 AirPods 实时翻译中国語

    苹果宣布将在国内上线首批 Apple 智能核心功能,定于 11 月 4 日随开发者测试版开放并于 12 月随系统更新正式发布。首批功能包括整合到通话与消息中的实时翻译,并支持 AirPods 4 降噪版与 AirPods Pro 2 等耳机进行跨语言交流。该功能对设备机型有明确限制,且需将 Siri 与系统语言设置为英文或简体中文,同时首批还包含写作工具、照片消除与摘要等能力。

    推薦理由:报道梳理了 Apple 智能在国内上线的具体功能与机型门槛,读者可据此确认适配设备与时间表。

10月30日金
  1. TechCrunch AI61

    Granola 推出免费全局语音听写功能中国語

    会议笔记工具 Granola 推出全新语音听写功能,支持在 Mac 端的任意应用中直接语音输入并自动修正排版。该功能目前完全免费且不限字数,用户按下 Fn 键即可听写提示词、笔记或回复邮件,未来还将支持 iOS 和 Windows。此举旨在与早前扩展至会议笔记领域的 Wispr 竞争,反映出消费级语音 AI 工具正逐步融合听写与会议记录两大能力。

    推薦理由:Granola 从会议记录拓展到跨应用听写,体现了消费级语音工具从单一场景向多功能工作流聚合的趋势。

10月29日木
  1. Hacker News · AI69

    Overheard 发布:支持 Claude Code 查询的 Mac 原生会议录音与转录工具中国語

    原生 Mac 菜单栏工具 Overheard 正式发布,可捕获系统通话音频并转录为文本,内置 MCP 服务供 Claude Code、Claude Desktop 或 Codex 直接查询会议纪要与代办事项。应用通过 Core Audio 进程监听实现免机器人入会录音,支持基于 MLX 的本地 GPU 转录或 ElevenLabs 云端转录,会议数据与 Markdown 文本均保存在本地目录中。

    推薦理由:该工具通过原生进程音频捕获和内置 MCP 服务,为习惯在终端或桌面直接调度会议记录的开发者提供了纯本地工作流范例。

  2. TechCrunch AI74

    Deepgram 收购 Pipecat 母公司 Daily 强化语音 AI 基础设施中国語

    Deepgram 宣布收购开源语音 AI 框架 Pipecat 的开发商 Daily,未披露交易金额,并承诺 Pipecat 将永久保持开源与供应商中立。双方还联合推出了用于语音智能体的开放协议 Real-Time Context Standard(RCS),用于定义音频上下文元数据与交互指引。

    推薦理由:收购整合了语音模型与实时流编排框架,配合新推的开源协议,为多模型语音智能体开发提供了更统一的基建。

  3. Hugging Face64

    Hugging Face 发布 AnySpeechRecognizer 与 AnyDecisionModel,支持苹果端侧语音识别与决策中国語

    Hugging Face 宣布推出面向 Apple 平台的开源 Swift 工具包 AnySpeechRecognizer 与 AnyDecisionModel,支持直接从 Hugging Face Hub 下载开源模型并在设备端本地运行。

    推薦理由:原文提供了面向苹果生态的统一接口规范与基准数据,开发者可据此了解如何在端侧高效运行开源语音识别与分类决策模型。

  4. IT之家 · AI 筛选77

    英伟达开源语音转录模型 Nemotron 3.5 Transcribe 并公开 Granary v2 数据管线中国語

    英伟达推出开放权重语音转录模型 Nemotron 3.5 Transcribe,并同步公开覆盖超 46 万小时音频的训练数据管线 Granary v2。该模型采用 MoE 架构,总参数约 340 亿、激活参数约 43 亿,支持 40 种语言转录及最长 1 小时音频,最多可区分 8 名说话人并处理抢话重叠场景。

    推薦理由:模型结合混合专家架构解决多人重叠对白转录,同步开源的大规模多语言数据管线为语音模型研发提供了完整实践参考。

  5. The Decoder78

    Nvidia 开源语音模型 Nemotron 3.5 Transcribe,整合转录、翻译与说话人识别中国語

    Nvidia 正式开源语音模型 Nemotron 3.5 Transcribe,在单模型内整合了转录、翻译、说话人识别与音频问答功能,并同步开放 Granary v2 数据集。

    推薦理由:该模型将转录、翻译与说话人分离整合至单张显卡可跑的架构中,为本地高效处理多角色长音频提供了参考路径。

10月28日水
  1. TechCrunch AI73

    Nvidia 发布开源语音转录模型 Nemotron 3.5 Transcribe中国語

    Nvidia 发布开源权重转录模型 Nemotron 3.5 Transcribe 并同步推出 Granary v2 语音数据集,支持多达 40 种语言转录与 31 种语言对英互译。该模型拥有 30B 参数,可区分最多 8 位说话人并处理最长 1 小时音频,支持从 Jetson AGX Thor 到 Blackwell 的单芯片运行,但目前仅适用于录制音频而不支持实时流。

    推薦理由:模型具备 30B 参数且支持单芯片部署,在提供长音频与多语种转录的同时也明确了不支持实时流的工程边界。

  2. NVIDIA · AI 筛选70

    NVIDIA RTX Spark 笔记本扩展端侧生态,支持 Nemotron 3.5 语音模型与智能体 GPU 调度中国語

    NVIDIA 宣布 RTX Spark Windows 笔记本已在华硕、戴尔、惠普、联想等多品牌开售,起售价 $2,599,最高配备 128GB 统一内存和 1 PFLOPS FP4 性能。

    推薦理由:汇总了超轻薄硬件、开源语音模型与后台智能体调度的结合方案,读者可借此评估端侧 AI 工作流的落地门槛。

  3. Hacker News · AI65

    开源项目 AI Phone 发布:支持本地运行的 macOS 电话智能体中国語

    AI Phone 是一款在 Apple Silicon Mac 上本地运行的开源 AI 电话智能体,支持通过原生 SIP、Telnyx 或 Twilio 接听与拨打电话。

    推薦理由:该项目将端侧语音处理与 SIP 电话网络结合,为需要在本地 Mac 上运行自主电话智能体的开发者提供了可直接落地的方案。

10月27日火
  1. 腾讯混元 公众号72

    腾讯混元同声传译大模型 Hy-SimulMT 开源中国語

    腾讯混元正式开源同声传译大模型 Hy-SimulMT,支持中英双向语音到语音实时翻译与音色克隆,实测响应时间约 3 秒。评测显示其在 RealSI 等长短音频数据集上的表现超越主流开源模型和部分商用 API,并在多领域测试中翻译质量达到人类口译专家水平。该模型已在腾讯 Hy 翻译 APP 上线并提供免费体验,相关代码与模型已同步上线 GitHub 及 Hugging Face。

    推薦理由:该模型给出了端到端语音同传与音色克隆的开源方案,读者可参考其在长短音频评测集与专业译员基准下的低延迟表现。

10月26日月
  1. Hacker News · AI71

    开源项目 fast-melroformer 发布,将 Mac 端侧音频分离提速 4 倍中国語

    开发者开源 fast-melroformer 工具,通过让神经网络引擎与 GPU 协同推理,使 Mel-Band RoFormer 人声分离模型在 8 GB M3 MacBook Air 上实现约 4 倍实时运行速度。

    推薦理由:原文拆解了将音频分离模型协同部署于神经网络引擎与 GPU 的工程细节,为苹果端侧推理加速提供了实用的优化参考。

10月25日日
  1. Hacker News · AI69

    开源浏览器扩展 Narro 发布:支持通过端侧与云端 AI 语音朗读网页和 Kindle 书籍中国語

    开源 Chrome 扩展 Narro 正式发布,支持在浏览器端朗读网页并同步高亮句子,同时支持 Kindle 网页版阅读。

    推薦理由:该项目展示了在浏览器端通过端侧轻量模型运行语音合成的技术路线,读者可参考其利用离线推理保障隐私的实现方案。

  2. TechCrunch AI66

    Block 发布端侧全双工语音模型 Dessa中国語

    Block 研究实验室发布全双工语音模型 Dessa,完全基于人类语音训练并在消费级硬件上本地运行,可表现出笑声、停顿与哭腔等拟人情感。该模型跳过了将语音转为文本的传统流程,支持在单张 GPU 或 MacBook M4 Max 等级别设备上实时双向对话。Dessa 目前未公开上线,官方正面向安全研究人员征集模型测试。

    推薦理由:该模型跳过了文本中转层而完全基于语音训练,展示了在消费级硬件本地运行全双工拟真语音交互的可行路径。

  3. Ollama 更新71

    Ollama v0.40.11 发布:支持 macOS 语音生成并引入 d3 决策模型中国語

    Ollama 发布 v0.40.11 版本,在 macOS 上新增语音生成能力并引入 d3 决策模型。使用 `ollama run` 可在生成音频时朗读文本或模型回复,外部应用可通过兼容 OpenAI 的 `/v1/audio/speech` 端点流式获取音频。

    推薦理由:该版本为本地环境补充了语音生成端点与轻量分类决策模型,便于开发者在端侧搭建多模态与意图路由工作流。