Skip to content

Deployment engineering

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

591selectedRelated topics开源生态数据与训练端侧 AI

Latest selected

41–60 of 591
Oct 29Thu
  1. CNCF Blog61

    Volcano v1.16 发布:引入命名空间队列、历史用量公平调度并解耦 HyperNodeChinese

    云原生批处理调度系统 Volcano 正式发布 v1.16.0,推出 NamespaceQueue 与借鉴 Slurm 的 fairshare 插件,并支持 HyperNode 控制器独立部署。

    Why it matters: 新版本通过命名空间层级队列与基于历史用量的公平调度算法,为多团队共享大规模算力集群提供了更细粒度的资源治理机制。

  2. Google Developers · AI 筛选68

    Google Play services 升级 LiteRT,应用体积减小 8 MB 且 GPU 推理提速 1.4 倍Chinese

    Google 宣布 Google Play services 中的端侧推理运行时 LiteRT 迎来升级,通过新的 CompiledModel API 配合 ML Drift 引擎,使 GPU 推理速度相比传统 GPU delegate 提升约 1.4 倍。

    Why it matters: 通过系统服务内置推理运行时与新编译接口,开发者无需打包完整运行库即可缩减安装体积并提升端侧执行效率。

  3. Hacker News · AI74

    Agent Scrum:用两小时冲刺组织 AI 编码智能体团队的方法与实测Chinese

    作者提出了名为 Agent Scrum 的工程方法论,将传统敏捷冲刺缩短至两小时,并在 38 天内运行了 324 次连续冲刺来协调多 AI 编码智能体。该方案将面向人类的 CTO 规划智能体与按需创建的执行团队智能体解耦,借助外部系统定时器实施确定性截止时间,并用 Token 速度计量单位故事点的消耗。

    Why it matters: 文章将敏捷开发转化为两小时冲刺的多智能体架构,为长流程多智能体协作与上下文管理提供了可迁移的落地规则。

  4. Hacker News · AI61

    租用模型但掌控调度框架:如何构建模型无关的 AI Agent HarnessChinese

    Werk 团队提出构建模型无关 AI Agent 的核心在于将调度框架与底层模型彻底解耦,让模型仅负责理解与提议,而由框架接管上下文检索、权限检查与状态写入。团队总结了四大工程实践:通过统一抽象接口对接服务商、按任务等级动态分配模型、统一输入标签格式,以及前置静态指令以提升 Prompt 缓存命中率。多租户团队协作中的数据隔离与精确权限校验需由自研框架处理,无法单靠通用 Agent SDK 解决。

    Why it matters: 文章提炼了模型与调度解耦的四项工程设计,适合正在搭建多模型适配与团队协作 Agent 架构的开发者参考。

  5. Hacker News · AI68

    Synadia 发布基于 NATS 的开源 AI 智能体通信协议Chinese

    Synadia 推出开源智能体协议 Synadia Agent Protocol for NATS,为异构多智能体系统提供统一的分布式通信合约。该协议规范了智能体的服务发现(Discovery)、流式消息对话(Conversation)与心跳存活检测(Liveness)三大基础能力,解耦底层模型框架与实现语言,使不同运行环境中的智能体无需中心化协调器即可直接寻址和交互。

    Why it matters: 针对多语言与异构智能体难以统一编排的问题,该协议将分布式微服务通信契约引入智能体网络,为跨框架协作提供了统一的通信抽象。

  6. Hacker News · AI75

    大模型专家人设提示词评测:未提升事实准确率且增加推理 token 与成本Chinese

    一项针对 5000 道 MMLU-Pro 题目的评测显示,在系统提示词中加入专家人设(Persona Prompting)未能改善模型的事实准确率,反而增加了推理 token 消耗与接口延迟。

    Why it matters: 实测数据对比了专家人设对模型准确率与推理开销的实际影响,为生产环境中精简系统提示词和降低调用成本提供了具体参考。

  7. Hacker News · AI79

    Qwenputer 开源:将 32 位 RISC-V CPU 编译嵌入 Qwen3.5-4B 权重Chinese

    开源项目 Qwenputer 将 32 位 RISC-V CPU 编译直接嵌入 Qwen3.5-4B 权重中,使模型无需任何外部工具、沙箱或执行器即可在前向传播中原生运行 C 与 MicroPython 代码。

    Why it matters: 该项目展示了利用模型原生循环状态构建确定性硬件电路的可行性,为摆脱外部沙箱的符号计算提供了全新范式。

  8. Hacker News · AI74

    AI 智能体为何会变成混淆代理人及多租户鉴权架构实践Chinese

    AI 智能体若直接使用平台宽泛的服务账号,提示词注入就会诱导其越权调用工具并引发混淆代理人问题。防御核心在于模型外部设立鉴权网关,将每次工具调用的生效权限约束在用户、智能体与租户三者的交集内,并默认拒绝一切未授权行为。同时采用委托代理令牌隔离上游凭证,在类型系统层面强制要求必须持有不可复用的放行凭证方可发起调用。

    Why it matters: 文章指出了智能体平台权限失控的根本原因,并给出了基于三方交集鉴权网关的可迁移工程防御方案。

  9. Engineering at Meta64

    Meta 发布新一代广告召回引擎 Andromeda:软硬件协同实现单服务器每秒打分超 10 亿广告Chinese

    Meta 宣布推出新一代个性化广告召回引擎 Meta Andromeda,通过模型、系统与 GPU 硬件的深度协同设计,在单台 GPU 服务器上实现了每秒评估超 10 亿条广告的吞吐量,相比 2024 年版本提升 100 倍。

    Why it matters: 该架构通过软硬协同将大规模召回算力瓶颈转移为显存带宽优化,为高并发推荐工程落地提供了关键范式。

Oct 28Wed
  1. Hacker News · AI70

    Rust 开源工具 contextWatcher 发布:面向大语言模型上下文窗口的垃圾回收代理Chinese

    开发者开源了基于 Rust 开发的本地代理工具 contextWatcher(cw),旨在充当大语言模型上下文窗口的垃圾回收器。该工具通过文件哈希去重、工具输出剪裁、规则尾部固定和多智能体共享前缀复用等机制,在不破坏稳定前缀与 KV cache 的前提下压缩冗余信息。在双 AMD Mi50 本地 28k 上下文测试中,cw 将提示词预填充时间从约 170 秒降低至约 1.6 秒。

    Why it matters: 工具通过哈希去重与工具剪裁在不破坏前缀缓存的前提下压缩上下文,为缓解长会话预填充延迟提供了工程方案。

  2. Hacker News · AI79

    Meta 发布 Muse Realtime Avatar:单张图片即可生成流式互动数字人Chinese

    Meta 推出实时化身生成技术 Muse Realtime Avatar,可将任意静态图像转化为具备面部、手势与全身动作的实时交互式数字人。该模型与 Muse Realtime Voice 共享语音 token 流实现音画同步,通过自强制与分布匹配蒸馏将推理评估从 120 次压缩至 2 次,实现 60 倍计算量精简。

    Why it matters: 原文给出了将120次评估压缩至2步的因果扩散蒸馏架构与端到端低延迟部署方案,展示了交互式视频生成的工程落地路径。

  3. Hacker News · AI62

    Uber 构建法律合同红线审查智能体 LRA 的工程实践Chinese

    Uber 研发了法律红线智能体 LRA 并以插件形式集成至 Microsoft Word,用于识别合同修订意图、推荐符合合规政策的条款修改并自动生成法律批注,使平均合同审查时间缩短超 20%,决策准确率达到 91%。

    Why it matters: 文章详细拆解了将智能体嵌入既有办公软件的四轮工程演进,为垂直高风险场景的人机协作系统设计提供了可迁移经验。

  4. Hacker News · AI72

    AI 智能体批量提交 RubyGems 软件包,借 RubyDoc 构建器执行代码Chinese

    安全研究显示 AI 智能体在约 48 小时内向 RubyGems 提交了超 2,000 个 gem 软件包,利用 .yardopts 配置文件诱导 RubyDoc.info 在构建文档时执行任意代码。

    Why it matters: 报告剖析了智能体利用包管理器构建服务执行任意代码的新型攻击面,为排查非信任构建环境的权限隔离提供了具体参考。

  5. NVIDIA Developer Blog61

    NVIDIA CUDA 13.4 支持在 Kubernetes 中实现内存强制 GPU 共享Chinese

    NVIDIA 介绍了在 Kubernetes 中通过 CUDA 13.4 实现内存强制 GPU 共享的方案,旨在解决轻量 AI 工作负载独占单卡导致的资源闲置问题。该方法结合现有的多实例 GPU(MIG)等硬件隔离技术,允许平台团队在现有算力设施上安全并发更多任务。

    Why it matters: 针对轻量级负载独占硬件导致的算力闲置问题,展示了在容器编排中通过内存强制隔离提升利用率的具体路径。

  6. Ollama 更新73

    Ollama v0.40.12 发布:支持 Liquid AI LFM3 系列及 d1 决策模型Chinese

    Ollama 发布 v0.40.12 版本,正式支持 Liquid AI 的 LFM3 系列以及 2B 尺寸的 d1 决策模型。LFM3 包含 1.7B 文本、视觉、语音及全模态版本,具备 256K 上下文窗口,首发支持 Apple 硬件平台且后续将适配 Linux 与 Windows。

    Why it matters: 该版本补充了本地端侧轻量多模态与决策模型的运行支持,适合关注本地智能体部署的开发者参考升级。

  7. The Next Platform74

    Oracle 扩充 OCI 加速硬件选项:引入 Google TPU、Cerebras 与 SambaNovaChinese

    Oracle 在 AI 大会上宣布扩充 OCI 的 AI 加速器选项,计划在下一年引入 Google TPU,并在 2027 年部署 Cerebras CS-4 以及 SambaNova SN50 RDU。

    Why it matters: OCI 首次打破自身边界引入 Google TPU 与专用推理芯片,为企业在模型训练与推理中摆脱单一硬件方案提供了多样化选择。

  8. Hacker News · AI67

    flightdeck 开源:面向 AI Agent 的自托管可观测与控制平面Chinese

    开发者开源了基于 Apache 2.0 协议的自托管 AI Agent 可观测与控制平面 flightdeck,可实时追踪 Agent 的 LLM 调用、MCP 事件与工具调用。

    Why it matters: 该项目采用进程内封装而非网关代理架构,为生产与编码智能体提供了低侵入的预算熔断和 MCP 权限控制方案。

  9. Hacker News · AI67

    开源项目 CUDA++ 发布:支持脱离 CUDA 在 NVIDIA DGX Spark 上运行本地 AIChinese

    开源项目 CUDA++ 正式发布,支持在不依赖任何 CUDA 用户态软件的前提下直接在 NVIDIA DGX Spark 的 GB10 芯片上运行 GPU 程序。该项目逆向实现了 sm_121 架构机器码编码器并直连开源内核模块,无需 nvcc 与 libcuda 即可将代码编译为裸机指令。项目已验证在零 CUDA 依赖环境下成功承载 Qwen3.6-35B-A3B 模型的本地推理运行。

    Why it matters: 原文展示了完全绕过闭源用户态栈直接驱动硬件的实现路径,为异构算力解耦提供了具体工程参考。