LangChain 发布 Managed Deep Agents 0.8，新增用户级记忆与凭证隔离Chinese
LangChain 正式推出 Managed Deep Agents 0.8，重点新增用户级记忆、用户自持凭证、HTTP 渠道、Slack 文件传输以及内置网页搜索。
Why it matters: 版本引入了分层的用户级记忆与凭证隔离机制，为生产环境解决多用户共用智能体时的上下文泄漏提供了落地方案。
Deployment engineering
All topics把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
Latest selected
341–360 of 606LangChain 官方博客SelectedAI score6666 Hacker News · AISelectedAI score7272 大语言模型 CI 评测噪声实测：通过的测试为何常随机失败？Chinese
开源项目持续集成实测显示，大语言模型评测套件在代码完全未改动的情况下，前一次通过的测试在下一次运行中随机失败的概率约为 2.5% 至 3%。评测集越大，纯随机失败的数量越容易累积并掩盖真实的性能回退，且部分失败实为裁判模型失效或网络报错页面被计入打分。应对建议包括比对单个用例的历史通过率而非固定全量阈值、将基础设施异常单独隔离，以及对关键用例多次采样取平均值。
Why it matters: 实测量化了持续集成中大语言模型评测的随机失败噪声，给出了依据用例历史稳定性和重试过滤误报的工程思路。
Hacker News · AISelectedAI score7272 PoeLLM 恶意软件利用 GitHub 诗歌隐蔽分发 C2，感染逾 3000 台 AI 服务器Chinese
Lumen 旗下 Black Lotus Labs 披露，名为 PoeLLM 的恶意软件已感染逾 3000 台服务器，主要入侵暴露在公网的 LiteLLM、Ollama 等开源 AI 基础设施并利用其 GPU 挖矿。
Why it matters: 原文揭示了攻击者利用诗歌文本隐蔽传递 C2 地址的机制，展现出面向开源 AI 基础设施的新型安全威胁。
Hacker News · AISelectedAI score7070 AI 集群网络精选阅读清单：覆盖 RDMA、集合通信与 Fabric 架构Chinese
GitHub 开源项目整理了一份面向 GPU 性能工程师的 AI 集群网络阅读清单，系统梳理了从单个网卡到整套网络架构的核心技术资料。内容涵盖 RDMA 基础、GPU 到 NIC 的数据路径、集合通信算法与库、推理点对点传输、拥塞控制以及大规模集群网络运维等模块。所有收录资源均严格基于真实网卡、交换机与 GPU 硬件实测，剔除了软件模拟与不可复现的基准数据。
Why it matters: 该清单梳理了从单网卡数据路径到万卡网络架构的实操文献与工具，便于工程师快速建立软硬件协同网络认知体系。
Hacker News · AISelectedAI score7373 微软 Windows ML 引入 llama.cpp 支持并升级 Windows 端侧 AI 开发栈Chinese
微软宣布 Windows ML 增加对 llama.cpp 的实验性支持，允许开发者通过统一接口直接在本地运行 GGUF 格式模型。本次更新推出了兼容 OpenAI 接口规范的 Text Generation API 与 Speech Recognition API，并上线了提供确定性多模型流水线及零拷贝数据路径的 Windows ML Runtime API 预览版。
Why it matters: 原文给出了 Windows ML 整合 llama.cpp 与 GGUF 的原生链路，开发者可据此评估端侧部署与跨架构优化的适配路径。
vLLM 官方博客（网页）SelectedAI score6868 vLLM 优化 DeepSeek-V4.1-Flash 推理，AgentX 吞吐提升 5 倍Chinese
vLLM 针对 DeepSeek-V4.1-Flash 推出系统级推理优化方案，在 SemiAnalysis AgentX 基准测试中实现低并发下 1.9 倍加速与高并发下 5 倍吞吐提升。
Why it matters: 原文详细拆解了滑动窗口重放与算子融合的技术实现，为长上下文智能体推理部署提供了切实可行的优化参考。
Data Center KnowledgeSelectedAI score6464 HPE 发布 ProLiant Gen13 系列服务器：搭载 AMD Venice 处理器并强化智能体编排能力Chinese
HPE 推出首批搭载 AMD 第六代 Epyc 9006 系列处理器（Venice）的 ProLiant Gen13 服务器，重点支持企业级 AI 推理、智能体编排调度与传统分析工作负载。
Why it matters: HPE 推出兼顾 CPU 与 GPU 负载的新一代企业级服务器，为智能体编排调度与混合 AI 推理提供了算力配置参考。
Hacker News · AISelectedAI score7070 Cyqlelabs 开源 LLM 推理规划与运行时工具 FluxChinese
Cyqlelabs 开源大语言模型推理规划与运行时工具 Flux，通过实测宿主机的 GPU、CPU 及存储性能，自动搜索模型层与 MoE 专家的最优放置方案，并提供兼容 OpenAI 的服务接口。该工具基于打补丁的 llama.cpp 构建，支持 148 种 GGUF 架构，允许在内存不足时从 NVMe 固态硬盘流式读取权重，并在真实提示词测试下保存速度最优的不可变执行方案。
Why it matters: 原文详细说明了结合硬件基准实测生成执行方案并流式加载权重的机制，读者可据此了解在异构或受限硬件下优化大模型推理吞吐的方法。
LlamaIndex 官方博客（网页）SelectedAI score7070 LlamaIndex 推出文档解析统一 API 平台 OpenDocRouterChinese
LlamaIndex 推出文档解析统一 API 平台 OpenDocRouter，将各类开源模型与前沿大模型聚合在单一接口下，实现文档到 Markdown 的解析转换。
Why it matters: 该平台通过统一接口与版面引擎整合了开源与前沿文档解析模型，有助于降低多模型切换与基准评测的工程成本。
Hacker News · AISelectedAI score6161 Valkey 9.2 引入无 fork 快照降低内存开销，并全面应用 AI 辅助代码开发Chinese
开源内存键值数据库 Valkey 披露 9.2 版本核心改进，通过新增无 fork 的 RDB 快照机制，将快照期间由于写时复制导致的预留内存开销从约 50% 降低至 10% 到 15%。
Why it matters: Valkey 9.2 通过无 fork 快照机制显著降低内存预留开销，并展示了开源基础软件在特性开发与跨版本维护中落地 AI 工具链的实际经验。
Hacker News · AISelectedAI score7171 大语言模型 API 价格追踪与本地对比工具 Token Barometer 上线Chinese
Token Barometer 上线并每日追踪 1,302 个大语言模型在 3,592 个托管服务商处的 API 标价，统一折算为 USD/1M tokens。该平台提供完整的价格历史记录，并内置云端与本地部署成本计算器，数据每日从厂商定价页面、官方 API 及聚合平台同步更新。
Why it matters: 原文汇总了跨服务商的模型 API 报价与本地部署成本计算工具，读者可直接用于大模型选型与成本核算。
Hacker News · AISelectedAI score6464 FreeLLMAPI 开源：聚合 34 家免费大模型提供商并提供统一 OpenAI 兼容接口Chinese
FreeLLMAPI 开源并聚合了 34 家提供商的 635 个免费模型端点，对外提供统一的 OpenAI 兼容接口（/v1）。系统内置智能路由与各提供商速率追踪功能，遇到 429 限制或报错时可自动切换模型与轮换密钥，并兼容 Anthropic、Gemini、Ollama 协议与 MCP 服务。项目采用 MIT 协议开源，提供桌面端与 Docker 部署方式，并支持模型目录自动同步更新。
Why it matters: 该项目将多家零散的免费模型额度聚合成统一接口，适合个人开发者降低实验与原型开发的调用成本。
Hacker News · AISelectedAI score6060 开源工具 KORA Doctor 发布：排查 AI 智能体中不必要的 LLM 调用Chinese
KORA Doctor 是一款轻量开源 CLI 工具，用于通过分析 AUDR 格式追踪日志定位 AI 智能体中冗余的 LLM 调用。该工具无需账户或托管服务，基于启发式规则检测重复调用、可缓存请求、确定性逻辑替代以及可换用小模型等潜在优化点，并输出预估节省成本。
Why it matters: 原文给出了分析 AUDR 追踪日志定位冗余调用的启发式规则与估算逻辑，开发者可据此排查智能体开销。
Hacker News · AISelectedAI score6666 Mac Studio 本地运行多模型实践：256GB 统一内存的多槽位预算与推理基准Chinese
作者在配备 256 GB 统一内存的 Mac Studio 上搭建了四槽位本地模型常驻架构，结合 Qwen3.8、Gemma 4、DeepSeek V4 Flash 与 Clef-Flash 等模型分工运行。
Why it matters: 文章给出了在超大内存硬件上常驻多模型的显存预算表与速度基准，读者可参考其将云端规划与本地低成本执行相结合的分工方案。
Hacker News · AISelectedAI score6363 开源工具 iloveposts 发布：利用 Workers AI 将 X 帖子排版为视觉卡片Chinese
iloveposts 是一款基于 Cloudflare Workers 架构开源的推文卡片排版工具，能将 X 帖子链接自动转化为适配发帖尺寸的 PNG 图像或包含动画与展开交互的单文件 HTML。
Why it matters: 该项目展示了将大模型单次提示设计与确定性数据锁定结合的轻量流程，为边缘计算与无服务器渲染管线提供了可复用的工程参考。
GitHub Blog · AI 与安全SelectedAI score7676 GitHub 重构 Git 底层架构以支持智能体规模化开发Chinese
GitHub 宣布正在重构其底层 Git 基础设施，以应对 AI 智能体集群并发开发带来的高频提交与读写压力，内部基准测试中写入吞吐量提升高达 35 倍。新架构采用存储与计算分离设计，将权威数据下沉至 Azure Blob Storage，并通过轻量计算节点承载缓存读请求。系统还将仓库压缩等维护任务移出请求路径并最小化分支更新协同，使读写能力能够独立弹性扩展。
Why it matters: 原文披露了智能体高频提交对传统 Git 架构的冲击，并给出了存储计算分离等解耦方案，为高并发工程系统改造提供了参考。
Ollama 更新SelectedAI score7070 Ollama 发布 v0.40.0 版本并在 Apple Silicon 上默认启用 MLXChinese
Ollama 发布 v0.40.0 版本，在 Apple Silicon 设备上默认使用 MLX 运行时加载受支持的模型架构。新版本支持在 MLX 上运行 qwen3.8、gemma4、qwen3.6、qwen3.5，以及 Nimble、tev1、clef、clef-flash 等决策模型，并新增对嵌入向量模型 embeddinggemma-2 的支持。
Why it matters: 介绍了在 Apple Silicon 设备上默认切换至 MLX 运行架构的具体模型支持范围，有助于 Mac 本地大模型用户评估部署变化。
ServeTheHomeSelectedAI score6565 技嘉 W775-V10-L01 桌面级 GB300 算力工作站上手评测Chinese
ServeTheHome 实测了技嘉基于 NVIDIA GB300 的桌面级液冷工作站 W775-V10-L01。
Why it matters: 文章实测了桌面级 GB300 液冷工作站的硬件构造与推理吞吐，为本地大模型算力部署提供了第一手参考。
Hacker News · AISelectedAI score7777 openTPU 开源：AI 参与设计的端到端推理加速器Chinese
openTPU 正式开源，这是一套由 AI 辅助设计的开源 AI 加速器软硬件全栈方案。项目包含 SystemVerilog 硬件设计、专用指令集、位精确仿真器、内核编译器以及 PCIe 主机驱动，在 Xilinx Kintex-7 FPGA 板卡上成功运行了 Qwen3.5、Gemma 4、Phi-4-mini 等模型并实现与仿真器完全对齐。
Why it matters: 项目提供从 Python 算子到 SystemVerilog 硬件及 FPGA 实测的全栈实现，为理解和自研专用推理芯片提供了透明完整的端到端参考。
NVIDIA Developer BlogSelectedAI score6060 AICR v1.0 发布：提供开放、稳定且可验证的 GPU 集群配置Chinese
NVIDIA 推出 AICR v1.0，用于解决 GPU 加速 Kubernetes 集群在主机内核、驱动、容器运行时及网络等多组件间复杂的版本兼容与配置验证难题。该方案旨在消除不同 GPU 架构和 Kubernetes 版本间的静默故障，简化集群部署后的冲突排查流程。
Why it matters: 该方案针对 GPU 集群多组件版本冲突的运维痛点，读者可据此了解标准化集群配置与验证的新工具。