本文へスキップ

デプロイ技術

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

598件の厳選関連トピック开源生态数据与训练端侧 AI

最新の厳選

121〜140 件目 · 全 598 件
10月22日木
  1. Hacker News · AI71

    开源自托管 Artifact Server 发布,支持多智能体协同与 MCP 协议中国語

    开源项目 Artifact Server 发布,支持自托管用于存储、评审、评论和管理团队与 AI 智能体在产品研发中生成的各类文件。内置 MCP 服务,支持 Pi、OpenCode 和 Claude Code 等编码智能体直接访问,用户可一键将评审评论同步至运行中的会话让智能体自动修改并发布新版本。

    推薦理由:该项目为开发团队提供了自建产物看板与智能体交互闭环的实现方案,便于评估智能体工作流落地方式。

  2. NVIDIA · AI 筛选64

    NVIDIA 发布 AIOps 平台 Minerva 为 AI 工厂提供端到端可观测性中国語

    NVIDIA 正式推出针对 AI 工厂的 AIOps 平台 Minerva,通过整合基础设施与 AI 工作负载的遥测数据实现端到端全栈可观测性。该平台运用机器学习每小时分析数十亿个数据点,构建涵盖 GPU、SuperNIC、交换机与任务的动态知识图谱来预测故障并聚合告警,同时提供原生 AI 助手支持自然语言排查。

    推薦理由:针对超大规模集群运维中故障排查慢的痛点,该方案展示了结合动态知识图谱与智能体实现主动式运维的完整架构。

  3. Google Developers · AI 筛选66

    Google Cloud API Gateway 开启流式传输公开预览,无需修改规范即可支持实时与 AI 流量中国語

    Google Cloud 宣布 API Gateway 正式开启流式传输公开预览,开发者无需修改现有 API 规范或添加额外注解即可统一代理流式流量。该功能支持 SSE、分块传输编码(如 NDJSON)、WebSockets 以及 gRPC 单双向流式传输,连接最长可保持 1 小时,并为网关引入了可预测的确定性默认主机名。

    推薦理由:Google 为 API Gateway 补齐流式传输且无需修改 API 规范,解决了 AI 流量与统一网关治理脱节的工程痛点。

  4. Hacker News · AI72

    开源项目 App Factory 发布:包含 42 个 Claude Code 技能以自动化发布应用至应用商店中国語

    开发者 yybd 开源了 App Factory,提供 42 个专为 Claude Code 设计的插件技能,涵盖将应用打包、构建并分发至 App Store 和 Google Play 的完整流程。

    推薦理由:项目将容易冲突的单一系统指令拆解为按需加载的独立技能,为使用编码智能体自动化完成多端应用发布提供了模块化实践参考。

  5. Hacker News · AI68

    开源工具 FiscaLLM 发布:支持按单用户追踪订阅制 AI 应用的成本与收益中国語

    开源工具 FiscaLLM 发布,支持开发者按单用户追踪 AI 调用成本并与订阅收入对比,以识别高频亏损用户。SDK 仅采集模型名称与 token 数量而不读取提示词与回复内容,支持异步上报并可接入 Stripe 或 RevenueCat 收入数据;项目采用 MIT 协议开源,支持自托管并具备预算超额拦截与死循环告警功能。

    推薦理由:给出了将单用户模型调用成本与订阅收入对齐的具体方案,适合 AI SaaS 开发者评估高频用户的实际盈亏。

  6. CNCF Blog68

    如何使用 OpenTelemetry Collector 过滤与精简 AI 智能体遥测数据中国語

    文章介绍了如何使用 OpenTelemetry Collector 对 AI 智能体(以 Claude Code 为例)的原生遥测数据进行过滤与削减,在保留核心观测指标的同时降低存储开销并消除指标基数膨胀。

    推薦理由:文章详细给出了用 OpenTelemetry 处理智能体遥测数据的管道配置,读者可参考其过滤高基数字段和截断冗余追踪的具体方法。

  7. Hacker News · AI68

    开源 LLM 代理工具 Pith 发布:通过离线重放与评判机制优化输出 Token 开销中国語

    开源大语言模型代理工具 Pith 正式发布,可通过重放采样请求并对比候选配置来降低输出 token 成本。系统支持降低思考模型的 effort 等级或添加精简提示词进行测试,仅在生成质量达到基线一致性标准且节省额能在一个月内覆盖测试成本时锁定该配置,未达标则拒绝调整。该工具除作为独立代理运行外,还提供了针对 LiteLLM、Headroom 和 Portkey 的集成支持。

    推薦理由:原文提供了通过重放测试与评判模型自动筛选低成本配置的机制,读者可以据此评估在现有网关中控制推理开销的可行性。

  8. Buzzing HN · 中文精选71

    OpenAI 开源官方 REST API 命令行工具 openai-cli中国語

    OpenAI 推出官方 REST API 命令行工具 openai-cli,支持通过终端直接调用接口、管理组织用量、传输文件与生成图像。该工具提供层级化资源命令结构,支持 Homebrew 与 Go 安装,并内置 mTLS 双向认证、GJSON 数据转换与管道安全处理模式。

    推薦理由:官方命令行工具统一了接口调用、文件传输与双向认证配置,便于开发者在终端或自动化流水线中直接集成。

  9. Buzzing HN · 中文精选71

    WorldTUI 发布:基于 3.6 亿参数模型纯通过预测模拟终端与应用交互中国語

    开发者基于 Qwen2.5-Coder-0.5B 微调出 3.6 亿参数的终端世界模型 WorldTUI,在没有底层 shell 和文件系统的情况下,纯靠预测键盘输入后的字符网格变化模拟终端运行。

    推薦理由:该项目通过裁剪词表、并行行解码与投机验证将终端世界模型压缩至浏览器本地运行,为交互界面仿真提供了可复用的工程方案。

  10. NVIDIA · AI 筛选61

    欧洲多家机构部署 NVIDIA Earth-2 开源模型,新增 StormScope EU 区域气象预报中国語

    NVIDIA Earth-2 开源模型家族在欧洲迎来多家机构落地部署,并正式加入用于短期气象预报的 StormScope EU 模型。该模型基于 EUMETSAT 卫星观测数据,以 10 分钟间隔在 16 个 Meteosat 通道上预测云层演变,并可在 Earthmover 数据平台上以地图切片形式实时分发。

    推薦理由:原文展示了结合卫星观测与物理模拟的气象模型落地路径,为能源与保险等行业构建高分辨率区域预测提供了参考范式。

  11. AITNT · AI头条(网页)76

    谷歌联手Meta开源TorchTPU原生软件栈中国語

    谷歌与Meta联合开源原生TPU软件栈TorchTPU,支持开发者以较少代码改动将现有PyTorch模型部署至谷歌TPU。该方案覆盖大模型训练、推理与端侧部署,已深度接入vLLM、SGLang、llm-d及TorchTitan等主流工具,并在最多8000颗TPU集群上完成分布式训练验证。此外,端侧推理框架LiteRT也同步接入PyTorch生态,支持模型一键导出至移动端和多平台硬件。

    推薦理由:该软件栈降低了PyTorch模型向TPU迁移的代码改动成本,使开发者在GPU之外有了可行的训练与推理算力替代选项。

  12. AITNT · AI头条(网页)77

    DeepSeek 开源推理框架 DeepInfer 与编解码组件 deepseek-recipe中国語

    DeepSeek 以 Apache 2.0 许可证开源了内部推理框架 DeepInfer 及 token 编解码组件 deepseek-recipe,当前支持 DeepSeek-V4.1-Flash。

    推薦理由:原文结合官方开源框架与日吞吐数据,展现了工程优化如何将单卡推理收入推高并支撑起可观毛利。

  13. Hacker News · AI72

    Databricks 推出 AI Runtime 正式商用版:面向企业数据的全托管 GPU 训练基础设施中国語

    Databricks 宣布 AI Runtime(AIR)正式商用,将全托管 GPU 基础设施直接集成到 Databricks 平台中,支持企业在数据存储地直接训练大规模深度学习模型。

    推薦理由:该产品将无服务器GPU算力直接接入企业湖仓,消除了跨系统搬运训练数据带来的安全治理隐患与运维开销。

  14. AWS 机器学习72

    多智能体系统生产落地的五大挑战与 Deep Insight 实践中国語

    AWS 解决方案架构团队开源了生产级多智能体系统 Deep Insight,并总结了多智能体落地生产时面临的流程编排、模型选型与代码安全等五大核心挑战。Deep Insight 采用 Strands Agents SDK 搭建分层多智能体结构,按规划、路由与执行分别调用不同级别的 Claude 模型,并通过 AWS Fargate 临时沙箱容器隔离运行生成的分析代码。

    推薦理由:文章基于开源的数据分析系统拆解了执行编排与代码沙箱隔离方案,为多智能体从实验原型走向生产提供了具体落地方案。

  15. Buzzing HN · 中文精选76

    云平台 Railway 披露环境变量泄露安全事件并暂停服务部署中国語

    云平台 Railway 披露其存储环境变量的系统遭到未经授权访问,部分解密的 API 密钥及凭据可能外泄,目前已暂停所有构建与部署服务。官方认为该事件属于近期针对平台型企业以渗透上游 AI 推理服务商的系列攻击,已通知相关服务商主动吊销密钥。Railway 强烈建议所有用户立即轮换平台上存储的环境变量、API 密钥与私有镜像凭证,并检查相关服务的异常调用日志。

    推薦理由:Railway 披露客户环境变量遭到未授权访问并暂停部署,提醒开发者排查上游 AI 推理密钥泄露风险并及时轮换凭证。

  16. Hacker News · AI73

    CNCF 开源推理框架 llm-d 1.0 发布,将 Kubernetes 大模型推理推向生产环境中国語

    CNCF 开源的 Kubernetes 原生分布式大语言模型推理框架 llm-d 1.0 正式发布,重点引入多租户 QoS 流量控制、高可用滚动更新路由、稳定 v1 配置 API 及针对 AI 智能体的会话感知调度能力。

    推薦理由:该版本将前缀缓存感知路由与流控机制引入 Kubernetes,为多智能体并发与分层服务的集群推理提供了生产级落地参考。

  17. Simon Willison72

    PHP 8.x 发布紧急安全更新以修复两个高危 RCE 漏洞中国語

    PHP 8.x 全系版本发布紧急安全更新,修复了两个 CVSS 评分为 9.2 的远程代码执行(RCE)漏洞。由于漏洞信息在协同披露流程中遭遇泄漏且安全厂商误发 PoC 视频,PHP 项目组将发布时间提前至 10 月 21 日。

    推薦理由:PHP 8.x 全线推送修补两个远程代码执行漏洞的紧急更新,运行 PHP 服务的开发者需尽快核对披露流程并升级版本。

  18. SemiAnalysis · 算力产业82

    SemiAnalysis 解析华为昇腾与 DeepSeek 软硬件共生生态中国語

    SemiAnalysis 深入分析了华为昇腾与 DeepSeek 的协同演进关系,指出 DeepSeek 在开源仓库中增加对昇腾及 TileLang 等工具链的原生支持,形成了硬件供应与前沿工程工作负载互补的共生生态。

    推薦理由:文章通过对华为昇腾芯片与底层算子库的微架构实测,展现了国产大模型与自主硬件在编译器和通信层面相互适配的具体路径。

  19. Google Developers · AI 筛选60

    Google Agents CLI 推出扩展系统并支持 LangChain中国語

    Google 宣布为 Agents CLI 推出扩展系统并在 v1.8.0 发布官方 LangChain 扩展,使开发者无需 fork 即可将 LangChain、LangGraph 等第三方框架接入统一的智能体开发生命周期。

    推薦理由:原文给出了通过扩展系统摆脱特定框架绑定的完整实现,读者可以借此将第三方智能体框架接入统一的部署与评测流程。