OpenAI 与 Anthropic 缘何在数月内将大模型价格下调高达 80%Chinese
OpenAI 与 Anthropic 在数月内将大模型 API 及缓存读取成本大幅下调高达 80%，主要受开源模型与第三方推理托管商激烈的价格竞争所驱动。作者梳理时间线指出，在智能体编码场景中缓存读取费用占比高达 96% 至 99%，缓存费用下调直接拉低了实际使用成本。
Why it matters: 文章详细拆解了两大头部厂商调价背后的缓存成本机制与竞争格局，有助于读者判断大模型推理成本的长期走势。
Deployment engineering
All topics把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
Latest selected
81–100 of 592Hacker News · AISelectedAI score7070 Hacker News · AISelectedAI score6464 开源工具 NeuronDump 发布：支持 3D 可视化本地大语言模型并交互式裁剪 GGUF 文件Chinese
NeuronDump 是一款开源本地大语言模型分析与剪枝工具，支持读取 GGUF 格式模型并以 3D 或 2D 图形可视化展示层、注意力头、KV 组与词表等结构。
Why it matters: 该工具为本地大语言模型提供了可视化剪枝与影响评估流程，开发者可直接分析内部冗余并生成更轻量的 GGUF 文件。
Hacker News · AISelectedAI score6868 Optio 开源自托管 AI 智能体编排平台Chinese
Optio 是一款采用 MIT 协议开源的自托管 AI 智能体编排平台，支持在私有 Kubernetes 集群或本地机器上调度编码智能体与自动化任务。平台可对接 Claude Code、Cursor 与 GitHub Copilot 等工具，覆盖从 Issue 创建 Git 分支生成 PR、定时任务到多智能体协作等流程。
Why it matters: 项目提供在私有集群调度编码智能体的自托管方案，适合需要在本地环境保障代码与数据安全的开发团队参考。
LangChain 官方博客SelectedAI score7171 LangChain 总结构建企业级智能体 Harness 的五大核心组件Chinese
LangChain 总结了在内部构建企业级智能体 Harness 的五大核心组件，涵盖嵌入工作流的用户体验、用户代行与固定身份认证、分层记忆、沙箱代码执行以及定时调度机制。
Why it matters: 文章提炼了企业级多协作智能体的通用架构模式，为落地内部工作流与权限隔离提供了可复用实践方案。
Hacker News · AISelectedAI score6969 Lightning.ai 通报 2026 年 10 月安全事件并暂停 Studio 平台服务Chinese
Lightning.ai 通报其平台发生未授权访问凭据的安全事件，已撤销所有用户访问权限并临时下线平台以配合调查。受影响范围包括 Studio、Deployments、Pipelines 和 Drive，不涉及 GPU 集群租赁及 Kubernetes、SLURM 等托管基础设施。
Why it matters: 受影响用户需及时轮换存储在 Studio 环境中的密钥与第三方凭据，以排查潜在的未授权访问风险。
Hacker News · AISelectedAI score7171 AI 网关基准评测：Keln、OpenRouter、Vercel 与 Ramp 在 DeepSeek 上的缓存与推理表现对比Chinese
Keln 针对 OpenRouter、Vercel、Ramp 及自身 AI 网关开展基准评测，在 DeepSeek V4.1 Flash 的长会话重放中，各网关缓存命中率在 62.6% 至 93.9% 之间。
Why it matters: 测试揭示了不同网关在路由和缓存策略上的机制差异，有助于评估长会话成本与实际思考深度。
Hacker News · AISelectedAI score6363 开源Go语言大模型统一接口库 Skyl v1.0.0 发布Chinese
Skyl 正式发布 v1.0.0 版本，基于 Apache 2.0 协议为 Go 语言提供统一的大模型接口，支持只需修改模型名称字符串即可在 400 多个模型间切换。
Why it matters: 该项目为Go语言开发者统一了多厂商大模型的接入抽象，通过标准化接口与内置沙箱降低了多供应商适配成本。
Buzzing HN · 中文精选SelectedAI score7979 开源内核模块 gpu-unlock 1.0.0 发布：解锁英伟达 RTX 30 系列显卡 FP/BF16 指令发射率Chinese
开源 Linux 内核模块 gpu-unlock 1.0.0 发布，支持在官方未修改 NVIDIA 驱动绑定前，解锁 GA102、GA103、GA104 和 GA106 核心显卡的 FP/BF16 指令发射率至专业卡级别。
Why it matters: 该项目通过在未修改驱动绑定前注入配置，为安培消费级显卡提供了提升半精度计算吞吐的系统级方案。
vLLM 官方博客（网页）SelectedAI score7171 vLLM 实现 DeepSeek-V4.1-Flash 大规模推理优化：性能对标 DeepInfer 并扩展至 GB300 NVL72Chinese
vLLM 在单台 NVIDIA GB300 NVL72 机架上结合 P/D 分离与 Wide-EP，运行 DeepSeek-V4.1-Flash 在 SemiAnalysis AgentX 基准中达到单 GPU 954K tokens/s 的吞吐量，P90 延迟为单用户 196 tokens/s。
Why it matters: 原文详细拆解了 vLLM 在整机架规模下结合 Wide-EP 与 EPLB 优化 MoE 推理的瓶颈与解法，为超大规模并发部署提供了实操参考。
Ollama 更新SelectedAI score7171 Ollama v0.40.11 发布：支持 macOS 语音生成并引入 d3 决策模型Chinese
Ollama 发布 v0.40.11 版本，在 macOS 上新增语音生成能力并引入 d3 决策模型。使用 `ollama run` 可在生成音频时朗读文本或模型回复，外部应用可通过兼容 OpenAI 的 `/v1/audio/speech` 端点流式获取音频。
Why it matters: 该版本为本地环境补充了语音生成端点与轻量分类决策模型，便于开发者在端侧搭建多模态与意图路由工作流。
IT之家 · AI 筛选SelectedAI score7878 中国信通院发布《大模型词元服务性能监测报告（2026 年）》：6 月国内词元日均消耗约 500 万亿Chinese
中国信通院发布《大模型词元服务性能监测报告（2026 年）》，数据显示 2026 年 6 月国内词元日均消耗量约 500 万亿，达到 2025 年 12 月的近 4 倍。
Why it matters: 报告披露了国内公有云大模型词元服务的吞吐、时延与价格实测数据，读者可以据此评估主流模型的调用成本与工程选型。
AITNT · AI头条（网页）SelectedAI score8282 谷歌联合 Meta 开源 TorchTPU，实现 PyTorch 原生运行 TPUChinese
谷歌在 PyTorch Conference 2026 上宣布联合 Meta 正式开源 TorchTPU 软件栈，使 TPU 成为与 GPU、CPU 并列的 PyTorch 原生设备并取代旧版 PyTorch/XLA。
Why it matters: 该项目从底层打通了主流框架与专用硬件的直连通道，为降低对单一算力生态的依赖提供了完整可用的工程路径。
Buzzing HN · 中文精选SelectedAI score8181 用 Claude 生成 HTML 替代 15 万美元 Looker：团队自建轻量 BI 的实践复盘Chinese
某 500 人公司的数据平台团队通过让员工使用 Claude 生成可视化 HTML 页面，并搭建托管与沙盒运行环境，逐步替代了年费约 15 万美元的 Looker。
Why it matters: 文章详细复盘了用大模型生成前端页面并结合现有数据仓库权限替代商业BI工具的完整工程方案与成本账。
Hacker News · AISelectedAI score6262 AI加速漏洞利用与发现：持续交付正在成为核心安全能力Chinese
作者结合近期 PHP2Shell、Node2Shell 及 eMudhra 等多起底层安全事件，指出 AI 正在让漏洞挖掘与武器化利用向机器速度演进。由于攻击者能利用 AI 智能体迅速将补丁反推为可用漏洞利用代码，传统的两周补丁窗口期面临失效，持续交付（CI/CD）的部署与回滚速度已从工程效率工具转变为核心安全防线。作者呼吁团队优化自动化测试与依赖更新流程，以应对端到端交付周期的紧迫挑战。
Why it matters: 文章结合近期多起底层安全漏洞，具体剖析了AI加速漏洞发现与利用对研发交付流水线提出的新要求。
Hacker News · AISelectedAI score6969 开源分布式推理框架 llm-d 发布 v1.0.0 版本Chinese
开源大模型分布式推理服务平台 llm-d 正式发布 v1.0.0 版本，统一了各核心组件版本并将路由配置 API 升级至稳定版。新版本引入 DisaggregatedSet 将 Prefill 与 Decode 副本作为单一逻辑单元统一管理，支持零停机滚动更新与高可用路由，并针对智能体工作流新增了会话亲和与轮次优先级调度以复用上下文缓存。
Why it matters: 该版本统一了全组件版本并规范了分离式推理架构，为在大规模生产环境中落地零停机模型服务提供了标准化参考。
Hacker News · AISelectedAI score7171 Argus 发布 0.7.3：可在 VPS 上无人值守运行的自托管 AI 智能体系统Chinese
Argus 发布 0.7.3 版本，这是一套可在 VPS 上长期、无人值守运行 AI 智能体的自托管系统，支持通过 Web 界面与 Telegram 交互控制。
Why it matters: 该项目通过沙箱隔离、纯代码拦截与预算熔断机制，为开发者在服务器长期运行无人值守智能体提供了防止失控的工程方案。
vLLM 官方博客（网页）SelectedAI score6464 vLLM 基于 16 卡 H200 优化 GLM-5.3：结合 PCP、DCP 与 Hybrid HiSparse 支持 1M 上下文Chinese
vLLM 推出针对 GLM-5.3 的长上下文推理优化方案，在 16 张 H200 上结合 PCP、DCP 与 Hybrid HiSparse 技术，实现了 1M token 上下文支持并在 AgentX 基准上达到数据并行部署 1.7–3.2 倍的单用户速度。
Why it matters: 原文详细对比了 PCP 与 DCP 分片如何打破超长上下文的显存与计算瓶颈，为大模型长上下文推理部署提供了具体可落地的工程参考。
SemiAnalysis · 算力产业SelectedAI score7878 SemiAnalysis 实测 AWS Trainium3：原生 PyTorch 支持与性能分析工具评测Chinese
SemiAnalysis 实测 AWS Trainium3 机架与 TorchNeuron 软件栈，指出亚马逊正通过转向原生 PyTorch 支持与高精度性能分析工具全力攻入 AI 训练场景。
Why it matters: 原文详述了 Trainium 从 XLA 转向原生 PyTorch 的兼容性与实测吞吐数据，读者可据此评估非英伟达集群在训练场景下的迁移成本。
OpenAI 官方动态SelectedAI score6464 OpenAI 解析如何扩展 Habitat 在线存储以服务超 10 亿 ChatGPT 用户（第二部分）Chinese
OpenAI 分享了通过可靠的多租户架构、全局缓存以及 Azure Cosmos DB 扩展 Habitat 在线存储系统的实践，使 ChatGPT 的读取性能提升了 12 倍。该方案旨在应对 ChatGPT 超过 10 亿用户规模下的在线存储挑战。
Why it matters: 文章介绍了结合多租户设计、全局缓存和分布式数据库优化在线存储的具体架构方案，可为超大规模高并发读取系统设计提供参考。
Hacker News · AISelectedAI score6767 AWFlow 详解避免多智能体死循环的协调运行时：交接图谱、三种模式与硬性预算Chinese
浏览器自动化工具 AWFlow 详细阐述了其避免多智能体死循环与 Token 账单暴涨的协调运行时设计。系统提供主管分配（Lead routes）、流水线（Pipeline）和开放讨论（Open table）三种协作模式，并根据有向交接图谱动态为智能体挂载委托工具，交接时仅传递任务与必要上下文而非完整对话历史。
Why it matters: 文章详细拆解了如何通过代码层权限图谱和预算检查来约束多智能体，为解决多 Agent 协作死循环提供了清晰的工程落地路径。