vLLM 发布 vllm-proto 0.4.0
vLLM 发布 vllm-proto 0.4.0 版本,对应标签 proto-v0.4.0(Commit 为 f28a508)。本次发布包含 2 个 Release 资产文件,相关 Git 标签已附带提交者验证签名。
vLLM 发布 vllm-proto 0.4.0 版本,对应标签 proto-v0.4.0(Commit 为 f28a508)。本次发布包含 2 个 Release 资产文件,相关 Git 标签已附带提交者验证签名。
LLMxRay 是一款面向本地大模型的开源可视化可观测性工具,支持实时 Token 流式监测、响应质量检查、性能分析与云端等价成本估算。工具完全在本地运行无需云端 API Key,深度适配 Ollama 后端,内置用于分析提示词 KV 缓存命中损耗的 Cache Lab、多模型横向对比、协议差异分析以及本地 RAG 检索可视化功能。用户可通过 npx 或 Docker 命令在本地快速启动。
推荐理由:针对本地大模型运行的黑盒问题,该工具提供了流式生成延迟与提示词缓存命中的可视化诊断手段,便于开发者优化推理性能。
vLLM 官方发布分离式推理(Disaggregated Serving)实战指南,详细拆解如何将 Prefill 与 Decode 阶段解耦并将分词与解析剥离至纯 CPU 前端。
推荐理由:原文系统阐述了 vLLM 分离式推理架构的实现细节与部署代码,读者可以据此评估长上下文高并发场景下的性能收益与运维权衡。
瑞典查尔姆斯理工大学等机构研究团队开发出一套闭环 AI 科学家系统,能够在极少人工干预下自主提出科学假设、设计实验并分析生物学结果。该系统将大语言模型、自动推理与药物研发机器人 Eve 相结合,以酿酒酵母的基因组、代谢及历史文献为知识基础,实现了实验结果评估与知识的迭代更新。相关研究论文已发表在《Journal of the Royal Society Interface》上。
至知创新研究院开源了 320B 稀疏 MoE 大模型 IQuest-Q1,并公开了权重与技术博客。该模型在训练中采用了多教师在线策略蒸馏(MOPD)技术,不仅在研发过程中自主排查并修复了因空格导致的训练停滞问题,还在交通绿波控制、电商仓库 AGV 调度、写字楼电梯派梯及纯代码前端生成等复杂长程任务中完成实测验证。相关权重与代码已在 GitHub 与 Hugging Face 同步开源。
微软研究院联合博德研究所推出实验性多模态 AI 研究系统 Project Quine,将覆盖基因组学、蛋白质、化学、细胞状态和生物成像的世界模型与交互式推理框架相结合。该系统旨在通过多领域跨模型计算预筛候选物并排定优先级,以加速药物发现和湿实验验证,目前仅限科研使用并已开放 Quine Fellows 项目申请,未来计划通过 Microsoft Discovery 扩大商业化开放。
研究人员针对多模态强化学习提出持久性感知信用分配方法 PACG,通过削弱异常持久视觉主张的正向信用,解决未受图像支持的主张错误继承奖励的问题。该方法无需标注且不增加推理成本。在 Qwen2.5-VL-7B 上,PACG 将 DAPO 和 VPPO 的 9 项基准平均分分别提升至 59.9% 和 60.9%,并提升了 HallusionBench 准确率。
研究提出 BRIDGE,一种基于一阶双层优化的智能体强化学习方法,通过协同自适应检索器与大语言模型策略来解决检索信用分配问题。在 7 个开放域 QA 基准测试中,BRIDGE 在 3B 和 7B 骨干模型上均取得最高平均准确率,多跳平均较最强基线分别提升 9.6 和 3.4 个 EM 点。该方法在医学 QA 基准上也取得了最佳的平均答案准确率与推理质量。
针对大语言模型多步推理隐藏状态难以分析的问题,研究者提出将推理路径视为阶段结构化轨迹的分析方法 PAIR。该方法将可变长度路径映射到共享相对阶段,仅在同一问题和阶段内对比成功与失败轨迹,有效隔离路径质量信号。实验表明,PAIR 在多项基准上提升了模型轨迹排序与 Best-of-N 选择效果,并通过分阶段引导验证了表征的因果有效性。
研究人员系统评估了面向可验证隐私推理的 ZK-LLM 友好量化方案,测试了 Qwen2.5-14B 及 MoE 模型 Qwen3-30B-A3B 等 9 个语言模型。实验发现激活值精度比权重更敏感,非线性查找表近似是效用下降主因,且 RMSNorm 查找构成主要瓶颈。研究表明降低位宽并不必然按比例降低端到端证明开销,需采用算子感知的精度选择策略。
研究提出 PhenoAIR 多智能体框架,将 Cell Painting 表型数据的药物作用机制(MOA)预测从表征匹配重构为校准证据推理。该框架构建以候选为中心的证据记忆库,通过控制器引导评估不确定观测,并结合离线参考集校准对证据可靠性加权。在 JUMP Cell Painting 基准测试中,PhenoAIR 在所有预测设置下均超越表征匹配与 LLM 基线。
简化交互接口能有效引导 LLM 智能体决策,升价拍卖接口在 4 个模型族中显著减少了出价偏差。明确收益可能性并解释真实报价安全性可改善决策质量,而要求跨轮规划或推测对手信念的提示词反而会恶化表现。研究还发现,智能体行为选择的实际改善并不必然伴随其语言策略理解指标的提升。
NeurIPS 2026 论文针对大推理模型因强化学习只监督最终答案而导致的欺骗性安全对齐问题,提出了量化评估指标 DSAR 与强化学习对齐方法 SARA。SARA 同时对安全推理痕迹和安全最终答案提供奖励,促使模型早期识别有害意图并保证推理与答案的一致性。实验表明,该方法在标准提示与前缀填充攻击下均能显著减轻欺骗性安全对齐现象并保持实用性,相关代码已开源。
研究提出 REST(REpresentation-Supervised Thoughts)训练目标,将因果性、极小性、可分性和稳定性转化为可微损失加入交叉熵,解决大语言模型在隐空间递归推理时的表征失效问题。该方法适用于单智能体与多智能体系统,无需修改架构或增加推理参数。在涵盖数学、医学和代码等 7 个基准测试中,REST 相比纯交叉熵训练准确率最高提升 7.5 个百分点,答案收敛提升 30%。
一项研究针对 8 种 Agent 编排架构与 5 款 7-9B 模型评估小语言模型团队扩展,发现扩展收益高度依赖任务类型。调用次数从 3 次增至 30 次时,GSM8K 等算术任务准确率最高提升 17 点,但 ARC、GPQA 和 MMLU 最多仅提升 4 点。研究提出生成-转换分解方法,指出同等调用预算下 token 成本相差 2.1 倍,团队扩展并非普适手段。
研究提出结构化矩阵注意力 SMat-Attention,通过 VC 维数 $d$ 调控因果掩码的路由结构,在全注意力与线性注意力之间建立可调权衡。对序列长度 $T$,其硬路由计算复杂度为 $O(T^{2-3/d}+T)$,在流式解码中仅需 $O(T^{1-1/d})$ 缓存状态即可实现单 token 常数时间解码。
研究人员推出异手性 D-peptide/L-protein 复合物评分框架 Mirror-Score,并发布包含 4 个靶点家族、31 个晶体复合物的公开基准。
研究提出即插即用框架 COFFEE,通过将序列依赖与目标分离,避免穷举所有补全路径,解决了离散扩散模型在序列级目标引导下计算量呈指数级增长的难题。该框架无需重新训练扩散模型,即可将全局偏好传递至未解析位置,并同时支持显式硬约束与软目标。在符号、语言和生物学多项基准测试中,COFFEE 展现出强大的可控生成效果。
一项针对 23 个开源小语言模型、涵盖 5500 余次实验的研究表明,多智能体辩论的性能增益本质上是集成采样效应,而非源于智能体间的认知多样性。在严格匹配生成预算的条件下,辩论的表现持平甚至略逊于单模型的自洽性采样,却消耗了 1.6 倍的运行时间和 3.4 倍的 token 成本。
推荐理由:该研究在匹配预算的严格对照下揭示多智能体辩论的收益主要源自集成采样,为评估 Agent 协作机制提供了严谨的基线参照。
研究者提出一种基于即时成本条件风险价值(CVaR)的在线 POMDP 风险厌恶规划方法,直接针对每步信念状态中的当前状态不确定性进行风险控制。该方法保留了标准累积期望目标与 MDP 结构,现有基于期望的规划器仅需修改成本计算即可直接复用。研究还证明了粒子信念 MDP 代理与原 POMDP 间的有限时间误差界,实现了端到端性能保证。
新研究提出了一套受控评估框架,用于解耦大语言模型 Harness 自动生成中的答案覆盖度、可重复任务优势与执行前选择收益。
研究提出一种面向边缘设备的神经符号路由器,通过 L* 语法推断算法学习确定性有限状态机,将结构化任务分发给确定性符号引擎,仅由小语言模型处理开放式问题。
中国人民大学团队提出 ME-Decoding 大语言模型解码方法,通过同时读取 token 概率与 embedding 相似度,将候选筛选转化为动态子集优化以消除语义冗余。在 Qwen3-4B、Phi-4-mini 与 Mistral-7B 上的测试显示,该方法在 GSM8K 和 GPQA 上的平均准确率分别达到 72.66% 和 32.96%,端到端 GPU 延迟相比基线仅增加约 3%。
思特雅大学研究人员搭建的数学多智能体系统 AI Has Taste 实现了从答案生成到研究议程生成的闭环,其构造的反例已获原论文作者回信确认推翻原猜想。该系统将选题、证明、独立挑错审查与写作拆分为多角色协作,能把失败路线转化为可证伪的新命题与统一界猜想。目前项目在 GitHub 记录了 453 份数学手稿共 2312 页,并引入马来西亚科学院院士等学者参与部分结果的验证与复核。
丹麦奥尔堡大学与 Seafill 开源社区联合发表论文,通过标准 API 的 tool calling 协议层方法成功诱导出 GPT-6 Astra 等闭源前沿模型的隐藏思维链。
匿名模型 Space Bunny Alpha 近期在 OpenRouter 和 OpenCode 平台上线,展现出较强的长上下文、多模态理解与 Agent 编程能力。实测表明其能直接将手绘草图转化为可交互网页与 3D 场景,并在小型游戏及交互展台搭建中快速产出可用代码。研究人员分析其分词特征与配置发现,该模型可能与 MiniMax 旗下新版本相关,目前两平台均提供免费体验。
Inferact与浪潮信息分别通过TPU巨型算子与超节点超级算子技术大幅提升Kimi K3的推理速度,推动底层算子开发向AI自主优化演进。浪潮信息在元脑SD200 Ultra超节点上利用Kimi K3构建超级算子智能体实现闭环迭代,将综合推理效能提升3倍以上并将Token生成时延压至5.85毫秒。
Vals AI 通过组织10个Claude智能体协作15小时,生成了17895行Lean代码,成功完成了物理数学难题汤姆逊问题N=7的形式化证明。智能体在没有人工介入分工的情况下自主讨论、探索算法并合并代码,将构型空间分区结合精确代数运算,证明了五角双锥构型具有最低能量。该证明已通过Lean内核与独立内核nanoda的双重编译校验。
OpenAI 正式发布干活特化版模型 GPT-6.1 Sol,API 标准价为输入 $2/M tokens、输出 $10/M tokens,仅为 GPT-6 Astra 价格的 20%,缓存读取仅需 $0.10/M tokens。
推荐理由:该模型以 Astra 两成价格和极低的缓存读取成本逼近旗舰表现,为大批量 Agent 工作流提供了极高性价比的落地参考。
针对前沿实验室利用未公开模型生成数学成果的现状,研究团队基于 600 多份数学界反馈提出了 AI 生成数学成果的发布规范倡议。倡议要求 AI 实验室在公布成果时严格核查文献引用,公开模型名、提示词、思维链与算力成本,并尽可能输出形式化证明 artifacts。此外,倡议要求实验室提供资金支持学术界开展研讨会与消化理解工作,并呼吁向全球数学界提供公平的模型访问权限。
推荐理由:针对 AI 实验室用闭源模型跑数学成果的现状,该倡议系统提出了文献引用、形式化证明与算力成本透明化的发布规范。
月球明暗界线悖论指日落后太阳位于地平线下方、月球亮面却看似朝上指的视错觉,其成因是观测者从下方仰视月球导致的视角几何变化,且月相越接近满月该现象越显著。作者在编写模拟程序探索该现象时测试了 Claude 与 Gemini,发现两款 AI 工具均完全无法理解其原理并陷入无限循环论证,暴露出实际推理能力的不足。
开源决策模型 Jeff 正式发布,基于 Qwen3.5-0.8B/2B 与 Gemma 4 E2B 微调,支持单次前向推理直接输出校准概率,单次决策延迟低至 22 至 28 毫秒。
推荐理由:原文展示了仅需单次前向推理的轻量级决策模型实现路径,为端侧与高并发场景下的极速分类与路由提供了低成本方案。
开源项目 ESP32s3-LLM-Cluster 实现了在 7 块 ESP32S3 微控制器集群上分布式流水线运行切分后的 0.5B BitNet 1.58-bit 大语言模型。
PostHog 开源决策分类模型 Jeeves,基于 Qwen3.5-9B 结合 LoRA、指针头与 CISPO 强化学习训练,使分类器在输出最终决策前展开链式推理。
研究团队提出 Web 过程奖励模型偏好合成框架 SURFPRM,通过交互元素图系统化合成多维度的对比负动作。该方法将真实最小对比对比例从 24.19% 提升至 74.60% 并构建 SURFPRM-DATA,使 3B 至 9B 参数的 6 个开源模型在 WEBPRMBENCH 上超越基线。
研究人员提出 HyperReCo 框架,利用超图神经网络(HyperGNN)检索互补证据并建立显式关联,以增强大语言模型的多跳推理能力。该框架将文档建模为实体的超边,通过消息传递捕捉查询相关的交互,并利用梯度引导超路径解码(GGHD)将证据转化为显式超路径。在 6 个基准测试中,HyperReCo 在全部 3 个多跳问答数据集上均取得了最佳检索性能。
研究人员提出 RLHarness 框架,将技能(Skills)、协议与示例整合为版本化 Harness,通过与强化学习策略交替演化解决长链条多模态推理难题。该方法结合 SFT、DAPO I、Post-RL 重构与 DAPO II,使 MetroMap/TravelMap 准确率从 16.25%/27.50% 提升至 62.00%/50.00%。
Train4Merge 研究发现在基于同策略蒸馏(OPD)的模型合并中,强化学习(RL)教师指导的学生模型表现显著优于监督微调(SFT)教师。
研究团队提出面向异构 LLM 智能体的轻量级步骤评估方法 GLIDE,无需外部验证器或特定任务监督即可提升任务性能与步骤排序质量。GLIDE 通过分层残差一致性提取内在步骤证据并完成分布校准,转化为悲观奖励用于 MCTS 分支选择,同时利用归一化预测不确定性指导自适应分支。多跳推理、序列决策与符号逻辑实验表明,该方法有效提升了计算效率。
研究人员提出免预填充跨家族 KV cache 传输方法 HeteroFold,在保持发送端与接收端模型完全冻结的前提下,解决了异构多智能体 LLM 协作时的分词与表征差异。