Skip to content

Deployment engineering

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

590selectedRelated topics开源生态数据与训练端侧 AI

Latest selected

1–20 of 590
TodayNov 2Mon
  1. Hacker News · AI80

    AI System Design Primer Released: An Open-Source Guide for Production-Grade AI Architecture

    Developers have released the open-source project AI System Design Primer, modeling it after classic system design guides to systematically outline the core components, engineering patterns, and trade-offs of building production systems with large language models.

    Why it matters: The guide systematically details the engineering trade-offs and component architectures of LLM-based production systems alongside runnable experiments, providing a structured reference for AI system architecture design.

  2. AITNT · AI头条(网页)76

    个人 Agent 自动化系统实践复盘:基于事件中台、本地 CI 与审批流的架构设计Chinese

    作者分享了搭建近 1 年的个人 Agent 自动化系统实践,核心理念是将人从任务起点抽离、仅保留最终审批决策,以此突破注意力瓶颈。该系统由自动化中台统一接收 Webhook 与定时事件并分发任务,调度 Claude 与 GPT 模型在本地 Mac 执行开发与运维,配套自建虚拟机 CI 审查合并代码,最后通过飞书卡片完成关键决策审批。

    Why it matters: 分享了基于事件驱动调度多模型与本地硬件审查的自动化流,读者可参考其将人置于最终决策节点的协同架构。

  3. AITNT · AI头条(网页)77

    LobeHub 探索 Super-agent 协作实践与组织架构实验Chinese

    LobeHub 分享了将多智能体融入团队协作的系统架构与组织演进实践,探索从个人助手向自治业务单元的过渡。团队将执行循环、会话状态与沙箱环境解耦以支撑长程调用,建立个人、主管与执行三层汇报体系降低沟通干扰,并开源了通过真实界面录屏和自查标准进行自动化交付的验收工具 Acceptance。

    Why it matters: 文章详细拆解了多智能体协作中的交接卡点、执行沙箱架构与三层汇报机制,为团队落地智能化工作流提供了具体参考。

  4. Hacker News · AI63

    安全公司 Eclypsium 报告称黑客可通过篡改底层基础设施对 AI 模型投毒Chinese

    安全公司 Eclypsium 发布报告指出,黑客可通过篡改底层硬件固件、DPU 和管理控制器等核心基础设施,在不更改磁盘模型文件或容器哈希的情况下直接修改内存权重并影响 AI 输出。

    Why it matters: 报告揭示了跳过模型哈希校验、直接从固件与 DPU 等运行时底层篡改权重的攻击路径,为算力基础设施的安全防护提供了新参考。

Nov 1Sun
  1. Buzzing HN · 中文精选86

    Linux 曝出 TCP 握手高危漏洞 CVE-2026-98432:CVSS 9.8 且 Claude 已生成提权 PoCChinese

    Linux 内核被曝出高危释放后使用漏洞 CVE-2026-98432(CVSS 评分 9.8),影响 4.4 及以上版本的 IPv4 TCP 握手处理逻辑,未经身份验证的远程攻击者可借此造成内核内存泄露、系统崩溃甚至远程代码执行。

    Why it matters: 文章系统梳理了高危内核漏洞的技术成因与发行版修复进展,并提供了实测可行的临时防火墙拦截规则。

  2. Hacker News · AI65

    Anthropic 团队详解 Claude Opus 5.5 发布内幕与 Agent 架构解耦Chinese

    Anthropic 工程与产品负责人在访谈中详解了 Claude Opus 5.5 发布内幕,并提出将智能体的“大脑”与“手”解耦的架构设计。在 Claude Managed Agents 中,系统将会话 harness 与执行代码的沙箱环境分离,凭据不直接注入沙箱而是通过代理接入,避免环境崩溃中断会话并消除凭证泄露风险。

    Why it matters: 访谈拆解了将 Agent 会话控制与执行沙箱解耦的架构逻辑,为设计兼顾安全隔离与低延迟的智能体运行时提供了参考。

  3. ServeTheHome84

    NVIDIA 更新 Rubin GPU 出货规格:下调 HBM4 与 NVLink 带宽并提升横向网络带宽Chinese

    随着硬件进入量产阶段,NVIDIA 调整了 Rubin GPU 及 NVL72 系统的出货硬件规格,将单 GPU 的 HBM4 显存带宽从 22TB/s 降至 19.2TB/s,NVLink 带宽从 3.6TB/s 降至 3.0TB/s,同时将 scale-out 横向网络带宽从 0.4TB/s 提升至 0.45TB/s。

    Why it matters: 对比了量产版与早期设计在显存带宽和网络吞吐上的增减,有助于读者评估机架级系统在不同算力负载下的性能表现。

  4. AITNT · AI头条(网页)77

    谷歌 Project Suncatcher 原型卫星在轨运行 TPU 并完成 Gemma 4 推理Chinese

    谷歌宣布其太空数据中心计划 Project Suncatcher 取得在轨运行进展,搭载于原型卫星上的 TPU 成功在地球轨道执行 Gemma 4 推理并向地面回传文本。

    Why it matters: 原文梳理了谷歌在轨部署 TPU 运行大模型的首测进展与散热辐射等工程瓶颈,为评估太空算力基础设施的可行性提供了参考。

  5. Simon Willison76

    Parameter Labs 详解如何利用 HTML 预览沙箱漏洞接管 ChatGPT 账户Chinese

    Parameter Labs 披露了针对 ChatGPT HTML 预览功能的漏洞利用链,攻击者可通过恶意分享链接接管其他已登录用户的账户并窃取数据。该攻击利用 MathLive 库的 postMessage 机制将不受限制的 iframe 注入父页面,并通过 YouTube oEmbed 端点绕过 CSP 限制执行 JavaScript 以调用 API。

    Why it matters: 原文梳理了沙箱消息通信与 CSP 绕过的完整攻击链,有助于前端开发者排查 Web 应用集成时的安全隐患。

  6. 量子位77

    DeepSeek 开源自主智能体架构原型 Super-agentChinese

    DeepSeek 开源了自主智能体底座架构原型 Super-agent,支持跨平台协同、主动排查问题与长期在线运行。系统采用 Router 与 Worker 双层架构,结合投机执行、两级事件过滤、订阅直通以及独立 Watchdog 监控自愈机制。在包含约 300 条消息的多任务模拟实测中,其任务完成时间中位数为 12.4 分钟,原型项目已上线 GitHub。

    Why it matters: 该架构通过路由与执行分层及投机执行机制,为多任务并行与跨平台长期自主运行提供了具体的工程参考。

Oct 31Sat
  1. AWS 机器学习65

    AWS 发布 Amazon Bedrock 端到端成本管理操作手册Chinese

    AWS 针对 FinOps 与平台工程团队发布 Amazon Bedrock 端到端成本管理实践方案,建立包含归因、观测、预算执行、优化默认配置与持续运营的五阶段闭环。

    Why it matters: 原文提供了一套覆盖归因、可观测与预算阻断的端到端运营模型,便于团队在智能体工作流扩展时系统化治理推理成本。

  2. 量子位74

    面壁智能开源算子生成智能体ForgeKernel,零代码超越DeepSeek FlashMLA算子性能Chinese

    面壁智能联合OpenBMB开源算子生成系统ForgeKernel。该Agent仅依据数学定义与硬件约束,在英伟达B200上耗时22.5小时、经历42轮自进化迭代,将DeepSeek-V4.1的FlashMLA Prefill算子执行耗时从518微秒降至472微秒,提速9.8%,全程人类代码投入为0行。

    Why it matters: 面壁智能展示了完全由智能体自主迭代完成高性能算子优化的路径,为跨异构芯片的算子自动生成提供了可参考实践。

Oct 30Fri
  1. NVIDIA · AI 筛选68

    SETI 艾伦望远镜阵列引入智能体 AI 搜寻外星信号Chinese

    SETI 研究所与 Breakthrough Listen 在艾伦望远镜阵列引入智能体 AI,研究人员通过单条自然语言提示即可让智能体自主操纵天线、校准聚焦并实时过滤修正数据。

    Why it matters: 展示了智能体结合边缘 GPU 流式处理在海量科研数据中的落地路径,为复杂物理仪器的自主调控提供了工程参考。

  2. Cloudflare Blog · 网络基础设施67

    Cloudflare 正式上线私有源站应用服务支持Chinese

    Cloudflare 正式全面开放私有源站(private origins)服务,允许将代理 DNS 记录直接指向私有 IP。流量通过现有的 Cloudflare One 连接接入内网源站,使内部 API、AI 智能体后端及 MCP 服务器无需暴露公网 IP 或添加入站防火墙规则,即可直接获得 WAF、缓存、Bot Management 与 Workers 等防护能力。

    Why it matters: 解决了内部接口与智能体后端无需暴露公网即可复用边缘防护的问题,显著简化了私有网络服务的安全接入配置。

  3. Hacker News · AI73

    tiny-llm:面向 Apple Silicon 的大语言模型推理系统实操课程Chinese

    开源实操课程 tiny-llm 正式推出,旨在帮助系统工程师在 Apple Silicon 设备上端到端构建大语言模型推理系统。该项目基于 MLX 底层数组与 Metal 算子从零加载 Qwen3 模型,不依赖高层神经网络封装库。课程设置分为 4 周,覆盖基础算子与自回归生成、单请求 W4 量化与 SIMD 优化、类 vLLM 连续批处理与分页 KV 缓存,以及完整的代码智能体闭环构建。

    Why it matters: 项目脱离高层框架直接基于底层算子手写推理流水线,为系统工程师在苹果设备上拆解大模型服务架构提供了极佳切入点。

  4. Buzzing HN · 中文精选77

    tinyworldformer 开源:在树莓派 Pico 2 W 上运行微型世界模型与强化学习智能体Chinese

    开发者开源了 tinyworldformer 项目,成功在树莓派 Pico 2 W(RP2350)上实现了参数量仅 26k 至 131k 的微型世界模型,可实时生成并运行 Doom-lite、吃豆人等 5 款游戏。

    Why it matters: 项目展示了通过循环 Transformer 权重复用与 int8 量化,将世界模型与在线强化学习完整压缩至微控制器运行的工程实践。

  5. Hacker News · AI60

    大模型为何缺乏确定性以及如何在产品中构建确定性系统Chinese

    大语言模型在实际生产中即使设定 temperature 0 和固定 seed 也无法保证输出完全确定,主要原因是服务端动态批处理时的底层 GPU 计算差异与模型静默更新。针对业务落地,架构上需将涉及资金与权限等核心判定交由硬编码规则、校准分类器或专用决策模型处理,仅让大语言模型负责非结构化文本读写。对于关键边界决策,团队应通过多次采样测试一致率,并直接持久化记录决策结果以实现系统可追溯与可复现。

    Why it matters: 原文从底层批处理差异剖析了大语言模型难以完全确定性的原因,并给出了硬编码规则与校准分类器相结合的分层工程落地方法。

  6. Buzzing HN · 中文精选68

    SkyPilot 解读 NVIDIA Blackwell NVL72 调度方案:通过 16 节点切片提升 27% 可用 GPU 算力Chinese

    SkyPilot 针对 NVIDIA Blackwell NVL72 机架系统提出了拓扑感知调度策略,通过采用 16 节点计算切片并为每个机架预留 2 个备用节点,在 2% 节点不可用率下将集群可用算力提升 27%。

    Why it matters: 文章拆解了机架级网络下的通信瓶颈与容错权衡,给出了通过切片预留与拓扑感知调度提升集群利用率的可行方法。

  7. CNCF Blog62

    CNCF 博客:Agentic AI 的边界控制本质上是云原生平台工程问题Chinese

    CNCF 博客刊文指出,AI 智能体的权限边界不能依赖提示词或模型自我约束,而必须由底层运行平台施加确定性控制。文章提出基于最小特权的“安全操作模型”,将智能体视作工作负载,以短期证明的工作负载身份为核心,由内向外依次通过服务网格限定可访问范围、通过声明式策略与调用网关管控工具权限、由数据平面管控可读取记录。

    Why it matters: 文章指出了依赖提示词限制智能体权限的结构性缺陷,给出了复用成熟云原生工作负载体系约束智能体能力的工程分层方案。