本文へスキップ

デプロイ技術

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

592件の厳選関連トピック开源生态数据与训练端侧 AI

最新の厳選

21〜40 件目 · 全 592 件
10月30日金
  1. Buzzing HN · 中文精选68

    SkyPilot 解读 NVIDIA Blackwell NVL72 调度方案:通过 16 节点切片提升 27% 可用 GPU 算力中国語

    SkyPilot 针对 NVIDIA Blackwell NVL72 机架系统提出了拓扑感知调度策略,通过采用 16 节点计算切片并为每个机架预留 2 个备用节点,在 2% 节点不可用率下将集群可用算力提升 27%。

    推薦理由:文章拆解了机架级网络下的通信瓶颈与容错权衡,给出了通过切片预留与拓扑感知调度提升集群利用率的可行方法。

  2. CNCF Blog62

    CNCF 博客:Agentic AI 的边界控制本质上是云原生平台工程问题中国語

    CNCF 博客刊文指出,AI 智能体的权限边界不能依赖提示词或模型自我约束,而必须由底层运行平台施加确定性控制。文章提出基于最小特权的“安全操作模型”,将智能体视作工作负载,以短期证明的工作负载身份为核心,由内向外依次通过服务网格限定可访问范围、通过声明式策略与调用网关管控工具权限、由数据平面管控可读取记录。

    推薦理由:文章指出了依赖提示词限制智能体权限的结构性缺陷,给出了复用成熟云原生工作负载体系约束智能体能力的工程分层方案。

  3. Hacker News · AI64

    Kinoloom 开源:支持在 8GB 显卡本地运行的 AI 电影制作工具中国語

    开发者 harlixay7 开源了本地 AI 电影制作工具 Kinoloom,支持在配备 8GB 显存显卡(如 RTX 3070)和 64GB 内存的普通 Windows PC 上运行。

    推薦理由:该项目通过在潜在空间拼接片段与分时调度显存,展示了在消费级显卡上低成本实现连贯长视频生成与自动质检的工程方案。

  4. AWS 机器学习62

    MoEngage 如何借助 AgentCore Gateway 将 400 多个 API 转换为 Agent 工具中国語

    MoEngage 借助 Amazon Bedrock AgentCore Gateway 将 7 个 AWS 区域中的 400 多个私有 REST API 转变为受权限控制的 Agent 工具,服务于 10 个内部 Agent。

    推薦理由:文章详细展示了避免为每个微服务部署 MCP 服务端的集中化网关方案,为多区域私有 API 的 Agent 工具化提供了清晰的架构参考。

  5. Hacker News · AI64

    MLCommons 推出 AI 风险基准评测服务 Candela中国語

    MLCommons 正式推出面向 AI 风险与可靠性的基准测试即服务 Candela,基于 AILuminate 基准为开发者和部署者提供按需评测。该服务首发包含覆盖 12 类危害的 Safety 1.2.1 和针对越狱技术的 Jailbreak 1.1,采用私有提示词集与专用机器学习分类器评分,避免测试集污染及 LLM-as-a-judge 评分波动。

    推薦理由:原文给出了私有提示词集与专用分类器评分机制,企业与开发者可据此了解如何标准化评测实际部署环境下的 AI 安全与越狱风险。

  6. AWS 机器学习61

    AWS 推出在 Amazon EKS 与 SageMaker HyperPod 上部署 NVIDIA Nemotron 的实践方案中国語

    AWS 介绍了在 Amazon EKS、EKS Auto Mode 和 SageMaker HyperPod EKS 上部署开源多模态模型 NVIDIA Nemotron 3.5 Super VL 的参考架构与评测方法。

    推薦理由:原文提供了在容器集群上部署与解耦评测混合架构模型的完整配置,可供大模型推理平台工程团队参考。

  7. Engineering at Meta64

    Meta 正式规模化部署 JiTTesting:基于 Human-on-the-Loop 的自动化测试系统中国語

    Meta 宣布已在内部生产基础设施中全面部署即时测试系统 Catching JiTTests,利用大语言模型(LLM)在代码合并前自动生成可执行测试用例以拦截潜在 Bug。

    推薦理由:Meta 分享了将大语言模型即时测试部署到大规模生产环境的系统架构与实测误报过滤方案。

10月29日木
  1. Hacker News · AI72

    JSON Schema 为何不能充当 AI 智能体的安全治理层中国語

    仅靠 JSON Schema 无法实现可靠的 AI Agent 治理,因为结构校验无法防止多实现间的解析歧义与自声明信任等执行漏洞。参数重复引用、大小写与空白字符规范化差异会导致不同服务在同一策略下做出截然相反的鉴权决策,带来严重安全风险。作者建议将权限控制拆分为模式验证、语义验证和策略评估三层,并通过一致性测试用例强制统一多运行时的判定行为。

    推薦理由:文章剖析了 JSON Schema 无法解决 Agent 权限解析歧义与信任伪造问题,提出以严格三层架构和一致性测试消除执行漏洞。

  2. Hacker News · AI61

    FusionAuth 1.70 发布:支持 AI Agent 动态注册与细粒度权限委派中国語

    FusionAuth 发布 1.70 版本,针对 AI 智能体及 MCP 服务推出客户端元数据文档(CIMD)注册与 RFC 8693 OAuth 令牌交换功能,实现最小权限访问控制。

    推薦理由:该版本针对 MCP 架构引入 CIMD 与令牌交换规范,为开发者控制自主智能体的 API 权限爆炸半径提供了标准工程方案。

  3. vLLM 官方博客(网页)82

    vLLM 推出 Mistral Large 4 首日支持中国語

    vLLM 正式推出对 Mistral Large 4 的首日支持,适配其稀疏 MLA、跨层 KV 共享与内置 DSpark 投机解码架构。官方在 Model Runner V2 上通过上下文并行优化使长文本首字延迟降低最多 1.6 倍,并同步支持 NVIDIA Blackwell NVFP4、AMD MI350 系列与 TPU v7x 多平台部署。

    推薦理由:原文完整拆解了对稀疏MLA与跨层KV共享的工程实现,为超大MoE模型在异构硬件上的长上下文推理提供了落地参考。

  4. Hacker News · AI64

    多数 AI 流水线本质是图:为什么生产环境需要图工程中国語

    文章提出图工程概念,主张将固定结构的 AI 批处理流水线直接建模为有向无环图,以取代脆弱的动态 Agent 循环和胶水代码。通过直接解析提示词间的输入输出引用来推导依赖并校验结构化输出,团队能在运行前静态计算任务的关键路径、耗时与 Token 成本。作者结合自身编译器与调度器的构建经验指出,静态图能清晰暴露不同模型与 API 间的交接节点,更适合稳定落地的生产环境。

    推薦理由:文章对比了模型循环调用与图结构的本质差异,指出从提示词依赖直接推导执行图有助于降低复杂工作流的维护成本。

  5. Hacker News · AI75

    Vibecheck 发布:针对 AI 生成应用的上线前安全审计工具中国語

    开发者发布开源工具 Vibecheck,专门用于在部署前检测由 AI 编写的 Web 应用安全漏洞与配置缺陷。该工具包含 60 余项规则扫描并由本地 AI 智能体排查误报,重点覆盖 API 密钥泄露、数据库行级安全(RLS)缺失及鉴权越权等问题。检测结果会生成可直接输入 Claude Code 或 Cursor 等智能体的修复提示词,并配套提供防止代码硬编码密钥的实时拦截守卫。

    推薦理由:针对 AI 生成应用中频发的密钥泄露与鉴权漏洞,该工具结合本地扫描与智能体验证,提供了可直接复用的修复提示词与实时拦截守卫。

  6. Hacker News · AI71

    Deriv 开源企业自托管 AI 平台 Deriv One中国語

    Deriv 宣布在 MIT 协议下开源其生产环境运行的企业自托管 AI 平台 Deriv One。该平台整合了基于角色的技能目录、Slack 智能体集成、多面板编辑器工作区、沙箱代码执行以及无代码内部工具构建器 Lab,核心运行于企业自有的身份目录、密钥库和模型网关之上。

    推薦理由:材料详细展示了金融科技公司如何将自研生产级企业AI平台开源,适合需要兼顾权限管控与内部系统集成的团队借鉴其架构与落地经验。

  7. Hacker News · AI64

    AWF 开源 AI 工作流框架发布:集成 CLI 编排、Prolog 逻辑推理与定时调度中国語

    AWF(AI Workflow Framework)发布企业级开源 AI 工具链,由 AWF CLI、ZPM 和 ztick 三个无外部运行时依赖的静态二进制组件组成。

    推薦理由:该项目将 YAML 编排、Prolog 逻辑推理与推送式调度拆分为静态单二进制工具,为降低智能体工程的不确定性提供了模块化参考。

  8. Hacker News · AI71

    Open Agent Primitives 发布:面向企业级 AI 智能体的安全运行平台中国語

    Open Agent Primitives(OAP)正式推出,提供一套可在本地或私有 Kubernetes 集群中安全运行企业级 AI 智能体的基础框架。平台坚持“AI 不得自行决定权限”的原则,在模型操作执行前通过权限图逐次校验,并由独立的代理系统向工具注入凭证,使模型始终无法接触真实密钥。

    推薦理由:原文给出了六大核心安全原语和权限隔离方案,读者可以据此了解如何在平台层拦截智能体提示词注入和凭证越权风险。

  9. 量子位66

    逐际动力发布 FluxVLA Engine V2 技术报告:打通具身智能训评与真机部署链路中国語

    逐际动力更新开源具身工程底座 FluxVLA Engine 第二版技术报告,新增在线强化学习后训练支持,并拓展了仿真评测与真机闭环部署覆盖范围。

    推薦理由:报告给出了覆盖训评到真机部署的具身标准化工程方案,有助于开发者了解如何通过解耦底座复用已有算法与硬件资产。

  10. 量子位61

    逐际动力更新FluxVLA Engine第二版技术报告中国語

    逐际动力更新开源具身工程底座 FluxVLA Engine 的第二版技术报告,新增在线强化学习后训练实验,并扩展仿真评测与真机部署覆盖范围。报告显示,优化后的模型推理路径频率提升 2.31 至 9.64 倍,并在 ALOHA、双臂 Franka、Rebot 和自研全尺寸人形机器人 LimX Oli 上验证了闭环部署链路。

    推薦理由:报告给出了覆盖训练、仿真、推理加速到真机部署的具身工程底座细节,可供机器人团队参考标准化管线搭建。

  11. Buzzing HN · 中文精选79

    Cursor 正式发布 Agent SDK,支持以代码构建与部署开发工作流智能体中国語

    Cursor 正式发布 Agent SDK,允许开发团队用代码定义、管理并部署深度契合自身开发生命周期与工作流的定制智能体。智能体提示词使用 Markdown 编写,工具定义为 TypeScript 函数,并开箱支持评估、事件回放及多智能体任务移交。用户可在本地 Node 进程或容器中运行,也可通过单条命令直接部署至 Cursor 基础设施。

    推薦理由:Cursor 将内部构建托管智能体的框架开放为代码化工具,为开发者提供了将自定义代码审查与事件流整合进团队开发流程的可行路径。

  12. Hacker News · AI62

    面向 AI 智能体集群的 Azure Cosmos DB CI/CD:构建独立可丢弃数据库环境中国語

    微软博客介绍了基于 Azure Cosmos DB 模拟器与 Git worktree 的智能体 CI/CD 方案,通过为每个并发 AI 编码任务分配独立容器环境,解决多 Agent 协同开发时的共享数据状态冲突。

    推薦理由:针对多智能体并行编码时测试数据冲突的问题,文章展示了基于独立模拟器容器与 Git worktree 的隔离方案,供多 Agent 协同系统参考。