热点事件持续更新
研究团队发布形式化验证的确定性推理引擎Vosti
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
研究团队提出了大语言模型确定性推理的形式化规范，并构建了经过形式化验证的推理引擎 Vosti。针对现有 vLLM 与 SGLang 确定性模式在部分执行变化下仍会出现 logits 差异的问题，Vosti 结合了 Verus 证明与 Triton 分析器，实现了逐位一致的 logits 输出。在性能方面，在重 decode 负载场景下，Vosti 达到了媲美 vLLM batch-invariant 模式的性能水平。
AI 根据报道生成 · 2 小时前更新
最新进展10月9日 05:11
研究团队发布形式化验证推理引擎 Vosti，实现逐位一致的确定性输出且性能媲美 vLLM。报道时间线
沿着报道，了解事件的不同侧面。
10月9日
- Hacker News · AIVosti：大语言模型确定性推理的形式化规范、实现与验证
研究团队提出了大语言模型确定性推理的形式化规范，并构建了经过形式化验证的推理引擎 Vosti。针对 vLLM 与 SGLang 确定性模式在部分执行变化下仍出现 logits 差异的问题，Vosti 结合 Verus 证明与 Triton 分析器实现了逐位一致的 logits 输出。在重 decode 负载下，Vosti 实现了媲美 vLLM batch-invariant 模式的性能。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。