跳到正文
9月30日周三
  1. Google Developers · AI 筛选66

    Google 开源 C++ 库 Credentio 用于 C2PA 内容凭据本地验证

    Google 宣布开源 C++ 库 Credentio,用于处理 C2PA 内容凭据(支持 2.2 和 2.4 版本规范),支持完全在本地验证多媒体资产来源。该库已被 Google 内部近 40 款产品用于处理数百亿级图像、视频、音频和文档资产,具备低内存占用与零云端带宽开销特点。

    推荐理由:原文展示了 Google 内部用于数十亿资产校验的 C2PA 本地处理方案,为需要离线验证多媒体来源与合规性的开发者提供了低延迟参考。

  2. Google Developers · AI 筛选66

    Google Cloud 携手 HeyGen 将 Avatar IV 迁移至 Trillium TPU 并提速 1.86 倍

    HeyGen 联合 Google Cloud 将 18B 参数的数字人视频模型 Avatar IV 迁移至 8 芯片 Trillium(v6e)TPU 主机,端到端推理速度相比初始版本提升 1.86 倍。

    推荐理由:文章详细拆解了将大模型从 GPU 迁移至 TPU 的通信流水线与算子重构细节,为大吞吐流式生成提供了实测参考。

  3. Google Developers · AI 筛选71

    Google 发布零信任 AI 智能体安全架构实践

    Google 开发者博客发布基于 Agent Development Kit(ADK)与 Gemini 构建零信任 AI 智能体的工程实践方案,并开源了 zero-trust-agents 示例仓库。

    推荐理由:文章给出了密码学写入签名、gVisor 沙箱与确定性语义网关的三层防御方案,展示了如何用硬性工程约束替代脆弱的提示词防护。

  4. Google Developers · AI 筛选63

    如何在 Google ADK 中评测实时语音智能体

    Google 在 ADK 中引入了原生实时评测功能,支持利用模拟用户以音频交互驱动实时语音智能体并自动打分。评测体系支持动态情景模拟与固定脚本两种用例,结合 Gemini TTS 合成多种音色输入,并通过基于规则的 LLM 评委对多轮轨迹和工具调用质量进行判定。开发者可通过 CLI 运行评测将其接入 CI/CD 流程,也可在 ADK Web 中查看逐轮文字转录与可内嵌播放的音频回放。

    推荐理由:文章演示了在 ADK 中通过模拟用户与 LLM 裁判端到端评测实时语音智能体的工作流,便于开发者将语音交互测试接入工程化流水线。

  5. Google Developers · AI 筛选57

    Google Cloud 推出基于 Cloud TPU 与 vLLM 的长上下文多模态嵌入推理优化方案

    Google Cloud 针对千问 Qwen3 嵌入模型在 Cloud TPU 上的 vLLM 推理进行了深度优化,实现高精度长上下文多模态嵌入生成。团队通过硬件级词表填充对齐张量、优化延迟加载与编译预热,并构建混合 StepPool 架构支持 Chunked Prefill,确保在 16K 序列长度下输出与基准保持严格的数值对齐。

  6. Google Developers · AI 筛选36

    利用深度学习与 Keras 解码宇宙信号

    天体粒子物理学正借助深度学习与 Keras 解码来自黑洞及超新星等极端天象的高能宇宙粒子信号。如覆盖 3000 km² 的 Pierre Auger 天文台和 1 km³ 的 IceCube 等大型设施,通过分布式传感器记录纳秒级波形并生成类图像时空数据。深度学习能有效处理这些海量复杂数据,提升仪器探测灵敏度并辅助搜寻信号异常。

  7. Google Developers · AI 筛选73

    Google 总结 AI 智能体挑战赛优秀作品的 4 个核心工程模式

    Google for Startups 在 AI 智能体挑战赛收官后,总结了表现优异的多智能体方案所采用的 4 项关键工程架构模式。核心模式包括通过双向 MCP 将自身推理能力暴露为供其他智能体调用的服务、采用异步事件总线避免串行调用链累积延迟、对主备降级模型强制执行统一逻辑校验,以及利用低成本判定与正则分流降低推理开销。

    推荐理由:归纳了多智能体工程中双向 MCP 与事件驱动等架构细节,为开发者优化延迟与推理成本提供了可直接复用的方案。

  8. Google Developers · AI 筛选29

    Google Cloud 详解 Gemini Enterprise 开发者体验项目的 Sprint 实践

    Google Cloud 披露 Gemini Enterprise 开发者体验项目的治理 Sprint 成果,通过模拟开发者全流程测试消除平台摩擦点。团队重点优化了智能体身份分配、Agent Registry 注册、Agent Gateway 绑定、Model Armor 安全策略与执行验证 5 大工作流,并修复了网关 API 自动放行及 IAM CEL 策略语法规范。

  9. Google Developers · AI 筛选70

    Google 正式发布 ADK for Kotlin 1.0

    Google 正式推出 Agent Development Kit(ADK)for Kotlin 1.0 正式版,面向 Kotlin、Java 及 Android 开发者提供原生 AI 智能体开发支持。

    推荐理由:该框架将多智能体编排与 Android 原生持久化和端侧推理结合,为 Kotlin 及移动端开发者提供了开箱即用的工程方案。

  10. Google Developers · AI 筛选72

    Google 解析 Harness 工程:如何评测、迭代与守护 AI 编码智能体

    Google 开发者团队分享了针对 AI 编码智能体的 Harness 工程实践,主张引入细粒度行为评测(Behavioral Evaluation)来替代单纯依赖端到端大盘基准打分。

    推荐理由:文章拆解了 AI 编码智能体从端到端打分转向中间行为断言的评测框架,为工程团队防范提示词调整与模型升级中的行为退化提供了可落地的方法。

  11. AWS 机器学习80

    AWS 宣布在 Amazon Bedrock 与 Claude Platform 上线 Claude Sonnet 5.5

    AWS 正式在 Amazon Bedrock 和 Claude Platform on AWS 上提供 Claude Sonnet 5.5。该模型针对聚焦型编程和知识工作优化,具备更快的执行速度与更低的任务单价,支持与 IAM、CloudTrail、CloudWatch 及 Bedrock Guardrails 等 AWS 原生治理工具集成。

    推荐理由:文章明确了该模型在企业工程中的分工定位与调用方式,便于开发者评估架构组合与成本配比。

  12. Cerebras 官方博客(网页)36

    更快的推理速度如何为网络安全公司带来竞争优势

    更快的模型推理速度使网络安全系统能在同一操作窗口内完成更多上下文检索、深度推理与多重验证,成为安全产品的核心竞争优势。在实际落地中,安全架构通常采用分层设计,先由规则和轻量模型完成快速初筛与分类,再将高风险及敏感事件升级交给强推理模型进行深度分析。

  13. Cerebras 官方博客(网页)70

    Cerebras 联合 OpenAI 推出 Ultrafast Mode:驱动 GPT-5.6 Sol 达到每秒 750 Token

    Cerebras 与 OpenAI 联合推出由 Cerebras 晶圆级架构驱动的 Ultrafast Mode,GPT-5.6 Sol 在该模式下输出速度最高可达 750 output tokens per second。

    推荐理由:原文给出了 Cerebras 驱动大模型超高速推理的实测吞吐与基准耗时,读者可以据此判断高吞吐推理对实时智能体交互的改进幅度。

  14. Cerebras 官方博客(网页)77

    Cerebras 如何实现 GPT-5.6 Sol 高达每秒 750 tokens 的高速推理

    Cerebras 通过其 WSE-3 晶圆级芯片支持 OpenAI GPT-5.6 Sol 的 Ultrafast 模式,在不降低精度、不蒸馏且不改变权重的条件下实现了高达 750 output tokens/s 的推理速度。

    推荐理由:文章详细拆解了晶圆级芯片利用片上超大带宽 SRAM 消除显存墙以实现高速大模型推理的硬件架构与工程实现。

  15. Cerebras 官方博客(网页)66

    Cerebras 详解用自然语言 AI 智能体自动化测试云控制台的实践

    Cerebras 详细介绍了其内部构建的端到端测试框架 console-prompt-tests,使用纯自然语言描述测试用例,并由大语言模型智能体通过 Playwright MCP 协议驱动真实浏览器完成交互与校验。

    推荐理由:原文详细拆解了用自然语言智能体驱动浏览器测试与自动修复前端漂移的架构,为研发团队重构端到端测试流程提供了可落地的参考。

  16. Cerebras 官方博客(网页)38

    Cerebras:为什么网络防御需要更快的 AI 推理

    Cerebras AI 推理运行 GPT-5.6 Sol Ultrafast 比标准处理快达 14×,可将网络安全分类与响应速度提升 5–10×。在可疑文件分析测试中,Cerebras 仅耗时 58 秒,而标准处理需 4 分 43 秒。此外,Cerebras 携手 CrowdStrike Falcon AI 检测与响应平台,为告警分流与威胁搜猎等场景提供推理加速。

  17. Cerebras 官方博客(网页)68

    Cerebras 发布第四代 AI 系统 CS-4:推理速度最高达 GPU 的 30 倍并支持解耦架构

    Cerebras 正式发布第四代 AI 加速系统 CS-4,搭载三颗 Wafer Scale Engine 3 Turbo 处理器并采用全新 Nexus 机柜架构,官方称其推理速度最高可达 GPU 系统的 30 倍。

    推荐理由:CS-4 将晶圆级算力与解耦推理结合,为十万亿参数超大模型的交互式生成提供了不同于传统集群的低延迟硬件方案。

  18. LlamaIndex 官方博客(网页)32

    KYC 自动化:如何用可扩展且合规的工作流替代人工验证

    KYC 自动化通过软件执行身份验证、文档提取、制裁筛查与风险评分,将标准案例的处理时间从人工模式的数天缩短至数分钟到数小时。该方案消除了人工审核成本随业务量线性增加的痛点,并提供带时间戳的完整审计日志以应对监管合规。针对格式多样的问题,工作流可结合 LlamaParse 智能文档解析将各类文件转化为结构化数据。

  19. LlamaIndex 官方博客(网页)32

    收入核验 API:如何实现基于文档的大规模自动化收入核验

    针对自由职业者与零工等无法被传统薪酬系统覆盖的群体,金融服务机构需依托自动化文档处理实现规模化收入核验。文章对比了薪酬 API(如 Argyle、Pinwheel)、开放银行数据、人工审核与文档提取 API(如 LlamaParse)等方案的优缺点。结合薪酬直连与高精度文档解析的混合方案,能全面覆盖多样化收入形态并输出结构化决策数据。

  20. LlamaIndex 官方博客(网页)27

    抵押贷款文档自动化:重塑贷款处理流程

    抵押贷款文档自动化通过引入智能文档处理技术,将工资单、银行流水和税表等非结构化文件转化为结构化数据,以重塑传统贷款处理流程。系统结合机器学习与计算机视觉实现版面感知解析,可精准提取表格与嵌套财务数据并保留字段关联。配合跨文档校验规则与人机协同审核机制,该方案能有效减少人工处理延迟并降低信贷合规风险。

  21. LlamaIndex 官方博客(网页)28

    KYC 场景下的 OCR:为何标准文本提取无法满足合规要求

    标准 OCR 技术因无法理解复杂版式且易受全息防伪图、水印等干扰,难以达到反洗钱合规所需的 99.9% 字段级准确率。提取错误会直接引发 AML 黑名单误报或漏检,并持续污染下游合规审查系统。若依赖人工审核弥补缺陷,不仅存在 1%–4% 的录入错误率,还会使每份文件增加 $1.50–$8 的额外成本。

  22. vLLM 官方博客(网页)77

    vLLM 详解解码上下文并行 DCP:长上下文智能体推理吞吐提升 3 倍

    vLLM 官方详解了解码上下文并行(DCP)机制,通过沿序列维度将 KV Cache 分片到多张 GPU,在长上下文智能体负载下实现相比标准张量并行 3 倍的吞吐提升。

    推荐理由:针对长上下文推理中多头及潜变量注意力导致的显存冗余,原文给出了按序列分片提升并发与吞吐的实现方案。

  23. vLLM 官方博客(网页)75

    vLLM 宣布首日支持 NVIDIA Nemotron 3.5 Lightning 模型推理

    vLLM 宣布首日支持 NVIDIA Nemotron 3.5 Lightning 模型,提供兼容 OpenAI 的 API 接口及完整的高吞吐推理部署方案。该模型采用 30B 总参数、3B 激活参数的混合 MoE 架构,支持 100 万 token 上下文并提供 BF16 与 NVFP4 权重。

    推荐理由:文章提供了在多种硬件平台上利用投机解码加速运行该智能体模型的完整部署配置与调优方法。

  24. vLLM 官方博客(网页)79

    vLLM 宣布首日支持千问 Qwen3.8-2.4T-A95B 开源模型推理

    vLLM 宣布首日支持千问 Qwen3.8-2.4T-A95B 开源模型,提供开箱即用的推理服务。该模型为 2.4T 参数的稀疏混合专家(MoE)架构,包含 512 个专家并采用全注意力与线性注意力的混合主干。除官方 FP8 和 BF16 权重外,vLLM 还支持 NVFP4 与 MXFP4 量化版本,可在单节点 NVIDIA B300 或 AMD MI355X 上完成高效推理。

    推荐理由:原文提供了超大混合专家模型的推理部署命令与多硬件算子优化细节,便于工程团队评估大模型服务资源。

  25. vLLM 官方博客(网页)72

    vLLM-Omni 推出分布式分层卸载技术,支持超显存容量 DiT 模型高效推理

    vLLM-Omni 推出分布式分层卸载(DLO)技术,通过 Meta 设备与 mmap 加载、权重切分重构、双缓冲预取以及数据并行多并发,使单卡显存不足的超大视频生成模型可在多卡 GPU 或 NPU 上高效运行。

    推荐理由:vLLM-Omni 结合 mmap 与多流 AllGather 卸载降低显存与内存峰值,为大参数量扩散模型的低成本分布式推理提供了落地路径。

  26. vLLM 官方博客(网页)42

    IsoExec:通过统一执行消除 SkyRL 训练与推理不一致

    SkyRL 引入跨框架统一执行抽象 IsoExec,通过统一执行契约与对齐的批次无关算子,消除 vLLM 推理引擎与 Megatron 训练引擎之间的数值执行不一致。在单台 8×H100 节点运行 Qwen3.5-35B-A3B 同步 DAPO 训练时,IsoExec 将采样与训练间的平均 logprob 差异降至 1e-6 以下,50 步内的额外开销为 25%。

  27. vLLM 官方博客(网页)70

    vLLM 基于 Ray Direct Transport 实现大规模分片权重传输引擎

    vLLM 联合 NIXL 团队推出了基于 Ray Direct Transport(RDT)的原生分片权重传输引擎,在 48 台 8×H100 节点集群上实现 Kimi K2 模型 BF16 格式 7.9TB 权重在 7.53 秒内完成同步,聚合带宽达 1,049 GB/s。

    推荐理由:针对在线强化学习超大 MoE 权重同步慢且显存开销高的问题,该方案通过分片点对点拉取与流水线重叠优化提供了高效的训推协同实践路径。

  28. vLLM 官方博客(网页)69

    vLLM 在 AMD GPU 上的投机解码实践指南与性能实测

    vLLM 官方发布在 AMD Instinct MI300X 与 MI355X GPU 上实现投机解码的实践指南与评测结果,系统评估了单次目标模型前向验证多个草稿 token 的加速效果。

    推荐理由:文章详细对比了五种投机解码机制在不同模型与负载下的吞吐表现,为大模型推理加速与参数调优提供了可迁移的工程参考。

  29. vLLM 官方博客(网页)75

    vLLM-Omni 支持 MiniMax H3 系统级优化与 FastH3 实时推理

    vLLM-Omni 宣布完成对 MiniMax H3 的全栈推理优化并集成 FastVideo 的 4 步蒸馏方案 FastH3,实现了生成速度快于播放时长的端到端实时服务。

    推荐理由:文章拆解了音视频联合生成从 DiT 到 VAE 及视频封装的全链路瓶颈,为多模态大模型的低延迟部署提供了系统级参考。