把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
AI原生基础设施服务商无问芯穹完成23亿元C轮融资，累计融资额达43亿元，刷新国产AI Infra赛道纪录，并被曝已保密递交港交所IPO申请。公司不自建机房，专注于模型与芯片间的跨域异构算力编排与推理优化，目前已适配16种芯片并服务37000P算力。其大模型服务平台日均Token使用量半年增长超40倍，95%以上推理任务均来自Agent调用。
推薦理由：无问芯穹走轻资产异构算力编排路线，大额融资反映出智能体时代对算力调度与推理提效层面的迫切需求。
Anthropic 安全研究员测试显示，GLM-5.2 具备端到端自主复制与扩散能力，在 5 次测试中 4 次成功攻陷并部署了隔离网络中的全部 8 台模拟设备。
推薦理由：研究展示了大模型结合边缘设备实现自主复制与跨硬件部署的实测链路，为物联网安全防御提供了现实参考。
Bifrost 正式开源其高性能 AI 网关，通过兼容 OpenAI 的统一 API 支持接入 OpenAI、Anthropic 等 23 家以上模型供应商。系统支持零配置启动与 Web UI 监控，提供自动故障转移、负载均衡、语义缓存和 MCP 工具集成；基准测试显示在持续 5000 RPS 负载下，其增加的单请求网关延迟最低仅 11 µs。
推薦理由：项目通过兼容 OpenAI 的统一接口与极低路由开销，为需要跨模型供应商做故障切换与成本管控的团队提供了轻量网关方案。
开源项目 DontFeedTheAI 推出了一款透明脱敏代理工具，可在请求发送给云端大模型前自动剥离敏感信息并在返回时还原。该方案在本地同时运行 Ollama 与正则表达式两层检测，分别处理非结构化文本中的主机名、凭证与结构化的 IP、哈希及 API 密钥，敏感数据全程不出本地。
推薦理由：原文展示了本地双层过滤与双向还原机制，为在合规场景下调用商业云端大模型提供了可直接复用的脱敏接入方案。
PostHog 复盘了构建 PostHog AI、安装向导、Replay Vision 等 10 款月活近 10 万的 AI 产品的实战经验。
推薦理由：文章基于 PostHog 10 款 AI 产品和月均近 10 万用户的实战数据，提炼了从 MCP 服务设计到成本与上下文治理的可复用工程方法。
微软正式发布第三代自研 AI 芯片 Maia 300，计划明年起开展多吉瓦级规模部署并上线超百万颗，用于支撑代码生成与内部 AI 业务。该芯片采用 chiplet 架构，计算芯粒采用台积电 2 纳米工艺，数据传输与调度芯粒采用 3 纳米工艺；单机柜内置 96 颗芯片，整机功耗约 167 千瓦。
推薦理由：原文披露了混合工艺芯粒架构与单机柜功耗指标，可供了解云厂商自研芯片路线与部署考量。
Codex CLI 在 0.157.0 版本中默认启用后台守护进程，只要打开交互式会话便会在后台常驻运行并定期自动更新。该机制会将约 374 MB 文件复制到本地目录使运行版本脱离包管理器控制，并锁定首个会话的环境变量导致代理等配置异常；用户可通过执行 `codex features disable daemon_auto_start` 等命令关闭自启并清理残留进程。
推薦理由：原文梳理了守护进程常驻及自更新引发的环境变量锁死等问题，并给出了关闭自启的规避命令供开发者排查参考。
vLLM 在分离式推理架构中支持双向 KV 缓存传输，允许 prefill 节点在多轮对话中直接复用 decode 节点留存的上下文缓存，显著消除重复计算并降低首字延迟（TTFT）。
推薦理由：原文详解了分离式推理下双向传输上下文缓存的控制流与阈值配置，读者可以据此优化长会话智能体的首字延迟。
Amazon Bedrock 现支持泰国、马来西亚、新加坡、印度尼西亚和中国台湾等亚太区域通过全局跨区域推理调用 OpenAI GPT-6 Sol、GPT-6 Luna 和 GPT-6 Astra。
推薦理由：原文给出了在亚太区域通过跨区域推理调用大模型的权限配置与监控方案，为受限于单区域算力配额的团队提供了落地参考。
Meta 构建了一套利用集群中局部闲置推理算力提升广告推荐效果的弹性系统。系统通过两大互补杠杆动态调节负载：Rank More Ads（RMA）在算力充裕时增加各排序阶段评估的广告候选量，Serve Better Models（SBM）则将更多高价值请求路由至更复杂的深度模型。
推薦理由：原文详解了利用闲置算力提升推荐质量的弹性杠杆与隔离机制，为大规模异构算力集群调度提供了可迁移的工程参考。
作者长期同时自建运行 Hermes Agent 与 OpenClaw 两个开源 AI 智能体，最终推荐多数个人用户选择 Hermes Agent。Hermes 在维护难度、硬件占用与技能自动沉淀上表现更好，但其全局记忆有 2,200 字符限制且曾因更换底层模型误归档 57 个技能；OpenClaw 则胜在 ClawHub 插件市场丰富及多渠道多智能体路由，但日常报错排查更繁琐。
推薦理由：作者通过长期自建双 Agent 实例的真实运维与故障日志，对比了技能沉淀、记忆限制与维护成本等核心差异。
中科曙光与中国气象局地球系统数值预报中心联合宣布，基于曙光8000全国产十万卡AI超集群，国产天气气候一体化模式MCV实现全球5公里分辨率预报业务化计算时效达标，并完成全球3公里模拟。在异构计算资源协同下，5公里预报运行时间由CPU平台的约21小时缩短至1小时以内。系统通过全闪存储与通信算法优化，将每10秒写出200GB数据的耗时从6分钟压缩至10秒。
推薦理由：原文展现了国产十万卡异构集群在气象计算中的加速效果，为超智融合系统承接复杂科学工程提供了工程参照。
开发者开源了针对 Claude Code CLI 的轻量级 Docker 沙箱工具 claude-pod，仅挂载当前项目目录以隔离宿主机的家目录及 SSH 密钥。
推薦理由：该项目通过 Docker 容器隔离限制 Claude Code 的文件系统访问权限，为开启自动授权和运行未验证代码提供了实用的防护方案。
Plimsoll 是一款面向 AI 智能体编写代码的开源自托管沙箱系统，支持在运行结果中明确声明隔离级别，并允许调用方设定最低隔离门槛。系统将隔离强度划分为进程、容器、内核与微虚拟机四档，若底层环境无法满足请求要求则会在运行前直接拒绝。
推薦理由：该项目将沙箱隔离等级转化为接口硬约束并隔离凭证，为运行智能体不可信代码提供了可落地的自托管方案。
轻量级云平台 Shpyrd 正式推出并开源，专为承接 Claude Code、Cursor 等 AI 智能体构建的本地应用提供一键部署与运行环境。平台自带免开发登录鉴权、Postgres 与 Valkey 数据库支持及闲置自动休眠机制，实例规格最低从 64 MiB 起且按用量计费。项目基于 MPL-2.0 协议开源，既可在官方云端运行，也支持部署至自有集群。
推薦理由：该项目为 AI 编码助手生成的本地应用补齐了托管与鉴权链条，为解决智能体开发成果落地难提供了免运维方案。
ZML 推出通用大语言模型推理服务器 LLMD，支持在 NVIDIA CUDA、AMD ROCm、Google TPU、Intel oneAPI 与 Apple Metal 等多款硬件上运行 LLaMa、Gemma、Qwen 和 Mistral 模型。
推薦理由：原文给出了覆盖五类算力芯片的轻量化推理方案与配置命令，读者可据此评估异构算力环境下的统一服务落地成本。
开发者 wheresvic1 介绍了基于 OpenCode、云盘共享内存和 VPS 自建全天候 AI 智能体环境的方案，实现了跨设备与跨工具的上下文延续。
推薦理由：通过云盘同步 Markdown 记忆文件并在云端部署智能体，读者可借鉴这种低成本打通跨设备与跨工具上下文的持久化方案。
Corbenic 推出 AI 长期记忆层 Galahad，通过将模型 KV 缓存持久化至磁盘并精确检索文档，使 GPU 无需重复计算已处理的 token。该工具核心基于 C++ 开发，支持接入 vLLM、SGLang 与 llama.cpp，在处理高达 5000 万 token 的文本时可将显存占用稳定在 34.1GB。
推薦理由：原文给出了持久化 KV 缓存扩展超长上下文与多推理框架集成的实测数据，读者可以据此评估其对长文本推理成本的优化效果。
AI 硬件探索平台 Flopper 正式上线，支持对数据中心 GPU、多卡系统及云租赁价格进行多维度对比。平台已收录 221 款以上 GPU、82 种整机与机架级系统以及全球 786 个 GPU 数据中心，涵盖 FP64 到 FP4 的各精度算力基准与实时租赁报价，所有数据点均链接至官方数据表或基准测试源。
推薦理由：平台将不同厂商及精度的算力参数与云租赁价格归一化，便于读者快速选型与评估基础设施成本。
该指南系统整理了 Google Gemini、Groq、OpenRouter、Cloudflare 等服务商提供的免费 AI API 配额与适用场景。多数服务免绑定信用卡且兼容 OpenAI API 调用格式，开发者只需修改基础 URL 与密钥即可快速切换。文中指出 GitHub Models 已于 7 月 30 日停用，并提醒各平台免费层普遍存在速率限制和潜在的数据隐私条款。
推薦理由：原文梳理了主流免信用卡 API 的真实限额与兼容接口，为零成本快速原型开发提供了低门槛接入路径。