vLLM 详解 Qwen3.8-2.4T 的 PD 分离推理优化实践中国語
vLLM 在 GB300 NVL72 集群上实现了千问 Qwen3.8-2.4T 的 Prefill-Decode（PD）分离式推理优化，在 8K/1K 负载下达成单 GPU 5000 token/s 吞吐量以及每用户 180 token/s 的交互速率。
推薦理由：文章系统拆解了超大混合架构模型在显卡上的显存预算计算与拓扑选择，为超大规模模型落地分离式推理提供了可复用的调优方法论。
オープンソース
すべてのトピック开源模型、框架与仓库动态：权重开放、社区项目爆火、开源与闭源的力量消长。
805件の厳選関連トピック模型发布Hugging FaceAI 编码
最新の厳選
721〜740 件目 · 全 805 件vLLM 官方博客（网页）厳選AI スコア6565 vLLM 官方博客（网页）厳選AI スコア7878 vLLM 推出 vllm-metal：支持 Apple Silicon 的并发推理服务栈中国語
vLLM 官方发布 vllm-metal，将 vLLM 的 V1 调度器、分页 KV 缓存和连续批处理服务栈引入 Apple Silicon，底层结合 MLX 与 Metal 执行。
推薦理由：原文给出了将 vLLM 分页调度栈移植到 Apple Silicon 的架构与内核实现，读者可以据此评估 Mac 本地多智能体并发推理的性能与部署方案。
vLLM 官方博客（网页）厳選AI スコア6666 深入解析 vLLM：高吞吐大语言模型推理系统的架构剖析中国語
vLLM 官方博客发布技术长文深度剖析其 V1 推理引擎，系统拆解从单卡底层内核到大规模分布式服务的完整架构。文章详细解读了调度器运行机制、PagedAttention 内存分配与连续批处理流程，并深入探讨分块 Prefill、前缀缓存、基于有限状态机的引导解码、推测解码以及 Prefill/Decode 分离等高级特性。
推薦理由：文章从单机引擎内核层层拆解到多节点分布式服务，为理解和优化高吞吐大模型推理系统提供了完整清晰的架构参考。
Google Developers · AI 筛选厳選AI スコア6464 Google 与 Speakeasy 合作开源 OpenAPI 客户端 SDK 生成套件中国語
Google 宣布与 Speakeasy 合作将 OpenAPI 代码生成套件在 AGPLv3 协议下开源，用于生成多语言 SDK、Agent 原生 CLI 以及文档 MCP 服务端。
推薦理由：原文结合闭源供应商停运的迁移经历，展示了结合确定性生成器与 Agent 维护多语言 SDK 及 MCP 服务的工程实践。
Google Developers · AI 筛选厳選AI スコア6363 Google 基于 MaxText 与 TPU 完整复现 Olmo 3 7B 预训练流程中国語
Google 团队使用基于 JAX 的 MaxText 框架与 Cloud TPU，从头完整复现了 Ai2 的 Olmo 3 7B 第一阶段约 5.9T token 预训练与第二阶段 mid-training 退火训练。
推薦理由：原文系统复盘了在 TPU 上复现 PyTorch 大模型预训练的工程细节与性能调优，读者可据此参考跨框架对齐与断点续训的验证方法。
AITNT · AI头条（网页）厳選AI スコア7878 AI热点资讯平台 AIHOT 正式开源中国語
AI热点资讯平台 AIHOT 正式开源其 2.0 基础框架与生产环境配置，代码已托管至 GitHub 仓库（KKKKhazix/AIHOT）。本次开源公开了热点采集流程、精选评分流程、聚簇机制以及生产环境使用的全部提示词，信源部分则留给用户自定义接入；该版本经 AI 重构后实现了组件化与模块解耦，旨在为各行业开发者提供通用的垂直资讯监控与 Agent 开发框架。
推薦理由：原文开放了热点采集、评分与聚类等完整流程及生产环境提示词，其他行业读者可以据此复用并搭建垂直领域的资讯监控工具。
Hacker News · AI厳選AI スコア6464 月之暗面 Kimi 模型被曝存在越狱安全漏洞，官方已展开内部审查中国語
AI 安全测试机构 Mindgard 发现，月之暗面（Moonshot）旗下的 Kimi K2.6 与 K3 Swarm 模型可通过越狱指令绕过内置安全防护，输出生物武器制造与暗杀等危险内容。Mindgard 指出越狱后的模型还可能被利用在计算资源上运行代码并连接互联网，构成网络攻击隐患。月之暗面表示欢迎第三方安全测试并已展开内部审查与沟通，同时说明模型在内部评估中对此类恶意请求通常保持高拒绝率。
推薦理由：原文呈现了开源权重模型在越狱测试下的安全防护边界，读者可据此评估大模型在极端指令下的对齐风险与防御难点。
Buzzing HN · 中文精选厳選AI スコア7070 开源基准工具 Livenerf 发布：量化监测 Claude Opus 5.5 发布后是否存在能力削弱中国語
开源基准项目 Livenerf 正式上线，旨在通过长期连续测试量化监测 Claude Opus 5.5 发布后是否出现能力削弱或暗中降级。该工具基于英国人工智能安全研究所的 Inspect 框架，通过固定版本的 Claude Code 命令行接口与冻结提示词，每日在筛选出的 78 道边界题目上运行测试并统计准确率与输出 token 变化。
推薦理由：该项目通过固定题目与预注册统计协议，为大模型发布后是否暗中削弱的争议提供了可复现的长期量化基准。
Ollama 更新厳選AI スコア7272 Ollama v0.35.0 发布：新增决策模型接口与概率评分输出中国語
Ollama 发布 v0.35.0 版本，通过 /v1/systemone 接口新增对决策模型的支持。该功能基于 TypeSafe 的 Jev API，使模型直接返回选项、概率和分值而非生成文本，适用于工单分拣、模型路由和内容分类等场景，首批支持 Nimble 和 Tev1 模型。新版本还修复了 MLX 模型下载挂起的问题，并优化了设置加载与已弃用参数的告警处理。
推薦理由：原文给出了决策模型的调用接口与结构化返回示例，展示了本地运行时从文本生成拓展至精准分类与路由的能力。
Buzzing HN · 中文精选厳選AI スコア7575 Anthropic 评测 GLM-5.3 网络漏洞利用能力与安全护栏有效性中国語
Anthropic 发布对智谱 GLM-5.3 的网络安全能力评估，指出该开源权重模型具备较强的端到端漏洞挖掘与利用能力，在 ExploitBench 上 410 次尝试中成功构建 50 次完整利用链。
推薦理由：报告通过实测对比了开源权重模型在自动化漏洞利用中的攻防边界，为评估前沿模型滥用风险提供了具体基准。
Hugging Face厳選AI スコア7676 NVIDIA 开源表格基础模型 Kumo Tabular中国語
NVIDIA 正式开源表格基础模型 Kumo Tabular，支持在无需训练、微调或特征工程的前提下，通过单次前向传播直接完成表格数据的分类与回归预测。该模型包含 28M 到 215M 三种参数规模，完全基于结构因果模型生成的合成数据完成预训练，并在 TabArena、BeyondArena、TALENT 与 ScoringBench 四项基准测试中均位居榜首。
推薦理由：模型展示了完全依赖因果合成数据预训练表格大模型的可行路径，读者可以借此了解免微调与零特征工程在表格预测任务中的落地机制。
GitHub Blog · AI 与安全厳選AI スコア7474 GitHub 团队分享如何用开源 AI 安全智能体挖掘 24 个 Android 漏洞中国語
GitHub Security Lab 介绍了利用开源 Taskflow Agent 审计 Android 应用并挖掘出 24 个漏洞的实践方法与案例。研究人员通过拆分识别入口点与定向排查漏洞两类 YAML 提示词工作流，成功发现了 OsmAnd 隐私追踪和维基百科应用账户接管等高危漏洞。
推薦理由：文章分享了利用分步任务流引导大模型挖掘移动端漏洞的实操流程，并客观指出了模型评估漏洞严重性时的局限。
LangChain 官方博客厳選AI スコア6666 LangSmith 推出 Custom Apps：支持基于智能体数据免运维构建定制界面中国語
LangSmith 正式推出 Custom Apps 功能，允许团队直接在工作空间内基于其平台数据构建、发布和运行自定义 UI，无需自行维护托管、鉴权与权限体系。
推薦理由：原文给出了通过免运维自定义界面简化评估与标注的具体路径，团队可据此评估其对内部评审工作流的替代价值。
CNCF Blog厳選AI スコア7171 Stacklok 开源云原生 Agent 框架 Mecatl中国語
Stacklok 宣布开源云原生 AI 智能体框架 Mecatl，将核心 Agent 循环与客户端、执行环境、工具系统及会话存储解耦，支持在 Kubernetes 等分布式环境中弹性部署与滚动更新。
推薦理由：文章阐述了将智能体运行循环与执行环境和会话存储解耦的云原生架构设计，为大规模多租户部署提供了工程参考。
Hugging Face厳選AI スコア7676 Hugging Face Hub 正式支持强化学习环境中国語
Hugging Face Hub 正式上线强化学习环境（RL Environments）筛选与托管功能，将强化学习环境中的任务集统一整合为数据集仓库。平台首批接入了 Harbor、Verifiers、OpenEnv 和 NVIDIA NeMo Gym 四大框架，用户在数据集卡片中添加 rl-environment 及框架标签后，即可直接获取对应的加载与运行命令。
推薦理由：原文介绍了在 Hub 上托管强化学习环境的标准方式，读者可以据此了解如何跨框架共享与调用智能体训练任务集。
NVIDIA · AI 筛选厳選AI スコア7272 NVIDIA 联合 Google DeepMind 等开源 2800 多种病毒的蛋白质复合物 3D 结构数据集中国語
NVIDIA 联合 Google DeepMind 及 EMBL-EBI 等机构，通过 AlphaFold Database 公开发布了超过 2800 种病毒的蛋白质复合物预测 3D 结构数据集。
推薦理由：NVIDIA 联合 DeepMind 等机构开源 2800 多种病毒的蛋白质复合物 3D 结构数据与预测管线，为应对潜在疫情提供了关键的生物计算基础设施。
NVIDIA · AI 筛选厳選AI スコア7171 NVIDIA 发布 Isaac ROS 5.0，引入智能体工作流与物理 AI 支持中国語
NVIDIA 在 ROSCon 大会上发布开源软件套件 Isaac ROS 5.0，通过引入智能体工作流帮助开发者与 AI 智能体协同开发机器人应用。新版本增加了对 ROS Lyrical 和 Ubuntu 24.04 的支持，贡献了跨硬件的标准数据处理接口，并提供 FoundationStereo 微调、目标位姿估计模型 FoundationPose 的智能体推理库等技能。
推薦理由：Isaac ROS 5.0 通过标准化硬件接口和可复用技能，降低了开发者与智能体协同构建机器人感知和抓取工作流的门槛。
vLLM 更新厳選AI スコア7676 推理框架 vLLM 发布 v0.30.0 版本中国語
推理框架 vLLM 正式发布 v0.30.0 版本，新增对 DeepSeek-V4.1-Flash、GLM-5.3-Flash 等新架构模型的端到端支持。核心更新引入支持 FP4 与多机 TP 的 Fast Start 显存权重缓存守护进程，大幅缩短引擎重启与初始化耗时；同时上线 HiSparse 分层稀疏 MLA 解码机制，并深度优化了投机解码、上下文并行及 NVFP4 量化性能。
推薦理由：该版本通过显存权重常驻守护进程与稀疏解码分层卸载，为大模型长上下文与高并发推理提供了可迁移的部署优化方案。
Hugging Face厳選AI スコア6060 UK AISI 与 EvalEval 如何让基准评测结果具备可复现性中国語
英国人工智能安全研究所（UK AISI）正式采用 EvalEval 基础设施公开基准评测结果，利用 Evaluation Cards 平台与统一的 EEE 规范提升评测的可复现性与透明度。
推薦理由：通过统一元数据和运行配置公开评测记录，为行业对比前沿模型评测差异提供了标准化的复现参考。
Hugging Face厳選AI スコア8080 Transformers 原生支持运行 llama.cpp GGUF 量化模型中国語
Hugging Face 在 Transformers 库中新增对 GGUF 量化格式的原生高效推理支持，用户可通过标准 from_pretrained API 直接加载 Hub 上的 GGUF 模型并在本地运行。
推薦理由：原文展示了在 PyTorch 生态中直接加载 GGUF 权重的实现路径，让开发者无需脱离 Transformers 工作流即可兼顾端侧推理性能。