基于 GCP 与 LangGraph 构建多智能体对话式电商原型 HappyDeliveryChinese
Google 开发者博客发布了名为 HappyDelivery 的对话式电商多智能体实操原型，采用接入、记忆与认知三层解耦架构。
Why it matters: 文章拆解了对话式电商的多智能体工程方案，为解决消息超时与状态一致性提供了三层解耦的实操参考。
Deployment engineering
All topics把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
Latest selected
61–80 of 592Google Developers · AI 筛选SelectedAI score6666 AWS 机器学习SelectedAI score6060 Exowatt 借助 SageMaker 无服务器微调定制 Qwen3 模型，在垂直任务中超越前沿大模型Chinese
Exowatt 基于 Amazon SageMaker AI 无服务器模型微调服务构建了专用 AI 管线，微调的 Qwen3-1.7B 与 Qwen3-14B 模型在边缘告警分流与云端电力市场分析任务上的准确率均超越 Claude 前沿模型，成本降低最高 49 倍。
Why it matters: 展示了无服务器微调小模型替代前沿闭源模型的工程落地路径，为工业及离线边缘场景平衡性能与成本提供了可复用方法。
AWS 机器学习SelectedAI score6666 Amazon SageMaker AI 支持 SOCI 镜像索引实现秒级启动Chinese
Amazon SageMaker AI 训练与处理任务正式支持 Seekable OCI（SOCI）镜像索引，通过延迟加载容器镜像使任务启动耗时从数分钟降至数秒，将拉取镜像时的 GPU 闲置时间最多减少 90%。
Why it matters: 原文给出了利用 SOCI 延迟加载削减大体积深度学习容器启动耗时的实测对比，为高频训练调参团队提供了可直接复用的工程提效方案。
Ollama 更新SelectedAI score6868 Ollama v0.40.12-rc1 发布：支持 Liquid AI LFM3 与 d1 系列模型Chinese
Ollama 发布 v0.40.12-rc1 预发布版本，新增对 Liquid AI LFM3 系列及 2B 尺寸 d1 决策模型的本地运行支持。LFM3 基于三元混合架构且拥有 256K 上下文窗口，涵盖文本、多模态及语音变体，目前在 rc1 中优先支持 Apple 硬件。
Why it matters: 该版本给出了本地运行 Liquid AI 端侧模型和加速特性的具体支持范围，读者可以据此评估本地小模型部署方案。
Hacker News · AISelectedAI score8181 Claude Code 源码泄露解析：值得借鉴的 AI Agent 架构与工程模式Chinese
Claude Code 因打包疏漏导致前端编排源码泄露，开发者通过分析指出其核心价值在于外层 Agent 架构而非模型权重。源码展现了以 MEMORY.md 为索引的三层怀疑记忆验证机制、后台只读整理引擎 autoDream，以及通过共享 Prompt Cache 降低多智能体通信开销的协调模式，为解决长会话上下文熵增与自主工具权限控制提供了具体工程参考。
Why it matters: 文章拆解了生产环境智能体的三层怀疑记忆、后台整合与对抗式验证等工程细节，为长周期运行的智能体架构提供了可直接复用的落地模式。
Hacker News · AISelectedAI score7171 开源工具 carmen 发布：严苛验证 AI 生成的 Apple Silicon GPU 算子与真实端到端加速Chinese
开发者开源 CLI 工具 carmen，用于严格测试大语言模型为 Apple Silicon 编写的 Metal GPU 算子，并实测真实模型的端到端加速表现。
Why it matters: 该项目指出了大模型生成算子单体跑分与端到端实际加速脱节的问题，为端侧工程优化提供了严谨的测试思路。
TechCrunch AISelectedAI score6868 新型算力云初创公司 General Compute 完成 1 亿美元 A 轮融资Chinese
新型算力云初创公司 General Compute 完成 1 亿美元 A 轮融资，投后估值达 8 亿美元，由 Blackbird Ventures 与 Abstract Ventures 领投。
Why it matters: 在新型算力云面临整合压力的背景下，该轮融资展现了围绕非英伟达推理芯片与旧场地改造的轻资产算力运营路径。
Hacker News · AISelectedAI score6868 基于 RunPod Flash 免 Docker Serverless GPU 构建低成本图像生成 SaaS 实践Chinese
开发者通过 RunPod Flash 的免 Docker Serverless GPU 方案搭建了图像生成竞技场 FlashFun.dev，将单次生成成本从商业 API 的 $0.03-$0.04 降至 $0.00033-$0.002，使 $1 预算支持生成 500 到 3,000 张图片。
Why it matters: 原文通过具体账单对比和完整架构代码，展示了如何用无容器装饰器与缩容到零机制降低生图推理开销。
TechCrunch AISelectedAI score6060 Nvidia参投印度AI推理优化初创公司Simplismart的1400万美元B轮融资Chinese
印度AI推理优化初创公司Simplismart完成1400万美元B轮融资，由Dallas Venture Capital领投、Nvidia等参投，投后估值约1亿美元。
Why it matters: 芯片供应商反向押注减少硬件占用的推理软件，显示出算力成本压力下优化工具对扩展应用生态的重要性。
Hacker News · AISelectedAI score6868 Doozy 解析如何将 API 密钥移出 AI 智能体沙箱及残留风险Chinese
Doozy 团队详细介绍了 AI 智能体生产环境下的凭据隔离架构，通过让独立沙箱仅持有短期签名的 job token，由外部网关统一校验并附加真实密钥，彻底避免模型接触 API 密钥。
Why it matters: 提供了生产级智能体的凭据代理与沙箱隔离设计细节，指出了防御提示词注入时比凭据泄漏更关键的权限边界。
Hacker News · AISelectedAI score6565 开源 LLM 服务端 Imp 发布：专为 Blackwell 架构 RTX 50 系显卡打造Chinese
开发者 kekz 开源了专为 NVIDIA Blackwell 架构（sm_120a）RTX 50 系列及 RTX PRO 显卡打造的单卡 LLM 推理服务端 Imp，全部代码由 Claude Code 编写。
Why it matters: 作者专为单个 Blackwell 架构 GPU 优化推理内核并完全由 Claude Code 编写，为本地单卡大模型服务提供了极具针对性的参考方案。
AITNT · AI头条（网页）SelectedAI score8282 开源项目解锁英伟达显卡底层限制，RTX 4090特定Tensor Core吞吐率翻倍Chinese
开源社区多个项目通过在 GPU 启动阶段修改控制指令发射速率的寄存器，成功解除 RTX 20、30、40 系列显卡的限制，使特定混合精度计算吞吐率大幅提升。
Why it matters: 通过启动阶段寄存器配置绕过指令速率限制，为本地部署与特定混合精度计算提供了一种无需修改驱动的调优路径。
Cloudflare Blog · 网络基础设施SelectedAI score8484 Cloudflare 披露 Workers AI 中 GLM-5.3 的 KV cache 泄漏漏洞及 SGLang 修复复盘Chinese
Cloudflare 披露了 Workers AI 托管的 GLM-5.3 模型曾发生的跨请求 KV cache 泄漏漏洞，共影响 155 个长度超过 681,280 tokens 的超长提示词请求。
Why it matters: 文章复盘了预充填与解码分离架构下显存状态不一致导致的越界泄漏，为推理系统运维提供了明确的配置校验与防护参考。
Hacker News · AISelectedAI score6565 如何在 6GB 显存笔记本上预训练 1.1B 参数大语言模型Chinese
开发者通过分块轮换训练、系统内存卸载与激活值重计算等显存优化方法，成功在 6GB 显存笔记本显卡上跑通 1.1B 参数大语言模型的端到端预训练流程。实测训练单步耗时 12.335 秒，显存峰值占用 5.24GB，处理速度为 2,656 tokens/s，完整预训练预估需 132 至 211 天。
Why it matters: 原文验证了在消费级显卡上通过分块轮换训练和系统内存卸载预训练 1B 模型的工程可行性，为极端算力受限场景提供了具体的显存优化参考。
AWS 机器学习SelectedAI score6969 Amazon Bedrock 详解智能体 Prompt 缓存模式，降低 OpenAI 模型调用成本Chinese
AWS 详细介绍了在 Amazon Bedrock 上调用 OpenAI 模型时应用 Prompt 缓存的工程模式，解决 AI 智能体在多轮对话中重复读取历史上下文导致的高成本问题。
Why it matters: 原文给出了隐式与显式缓存结合的具体配置模式，帮助多轮智能体复用工具与上下文并降低输入成本。
Buzzing HN · 中文精选SelectedAI score6767 Ubicloud 详解在 vLLM 中通过约束解码提升工具调用准确率Chinese
Ubicloud 团队分享了在 vLLM 中利用基于 XGrammar 的约束解码技术，将 Kimi 与 DeepSeek 模型的工具调用 Schema 准确率从 92% 提升至 100% 的实践方案。
Why it matters: 文章解析了开源大模型工具调用报错的根因与权衡，为生产级智能体服务的参数调优提供了可落地的实操方案。
Hacker News · AISelectedAI score7777 企业级 AI 平台构建指南：DoorDash 与多厂实践复盘Chinese
本文以 DoorDash 等企业的落地实践为样本，梳理了企业级 AI 平台的核心架构体系与演进路线。平台核心围绕访问接入（统一网关与账单分摊）、可信验证（日志追踪、安全拦截与自动化评测）及上下文与智能体权限（知识库与 MCP 授权控制）三大支柱展开。文章建议团队避免过早中心化或过度分散，按业务问题从单模型逐步过渡到全功能平台，并梳理了团队立项与选型时的关键审查清单。
Why it matters: 文章拆解了 DoorDash 等多家企业的落地案例，为团队从单点调用过渡到全功能企业 AI 平台提供了可迁移的演进路径。
CNCF BlogSelectedAI score6060 结合 kagent 与 Agent Substrate 构建 Kubernetes 上的 AI Agent 沙箱隔离环境Chinese
CNCF 博客详细介绍了如何结合声明式运行时 kagent 与底层沙箱平台 Agent Substrate，在 Kubernetes 环境中实现 AI Agent 的隔离与受控运行。系统通过 gVisor 拦截系统调用实现软件隔离，并借助 microVM 硬件虚拟化实现物理级隔离；工作负载以 Actor 形式按会话动态启停，支持通过 CRD 和 UI 进行声明式配置与快照管理。
Why it matters: 文章展示了结合 kagent 与 Agent Substrate 在 Kubernetes 上实现多租户 Agent 软硬件隔离沙箱的具体部署与调度方案。
Hacker News · AISelectedAI score7171 开源项目 fast-melroformer 发布，将 Mac 端侧音频分离提速 4 倍Chinese
开发者开源 fast-melroformer 工具，通过让神经网络引擎与 GPU 协同推理，使 Mel-Band RoFormer 人声分离模型在 8 GB M3 MacBook Air 上实现约 4 倍实时运行速度。
Why it matters: 原文拆解了将音频分离模型协同部署于神经网络引擎与 GPU 的工程细节，为苹果端侧推理加速提供了实用的优化参考。
IT168 服务器存储 · AI与算力（网页）SelectedAI score6767 基于AutoResearch自进化系统的图探索架构演进实践Chinese
工程团队复盘了从 Karpathy 开源的 AutoResearch 单线程循环升级为 CyclicGraph Engine 图探索架构的落地过程。系统采用 Spawn-Converge 机制与显式状态机解耦，并结合业务知识库和两级校验沉淀经验；在两个真实建模项目中单任务完成耗时分别减少约 85% 与 83%，部分自主推导演进方案已推全上线。
Why it matters: 团队复盘了将单线程实验扩展为图探索架构的落地路径，展示了用状态机与可信机制应对长周期训练的方法。