热点事件持续更新
StartLux开源决策模型推理引擎Prism
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月24日,StartLux正式开源自研决策模型推理引擎Prism。该引擎专门针对无需长文本生成的决策任务重构了计算逻辑,实测在H200上推理速度最高提速5.3倍。技术实现上,Prism通过将输出层计算范围压缩至原先的0.01%、采用多问题复用前缀的森林式计算、int8整数运算以及思考任务混排调度,成功将JevBench测试集的单题平均延迟降至41毫秒。同时,在保证精度几乎无损的前提下,Prism支持在单张32GB显存显卡上部署压缩版本。
AI 根据报道生成 · 2 小时前更新
最新进展10月24日 14:02
StartLux开源自研决策模型推理引擎Prism,实测推理速度最高提升5.3倍。报道时间线
沿着报道,了解事件的不同侧面。
10月24日
- AITNT · AI头条StartLux 开源决策模型推理引擎 Prism,推理速度最高提升 5.3 倍
StartLux 正式开源自研决策模型推理引擎 Prism,针对无需长文本生成的决策任务重构计算逻辑,实测在 H200 上推理速度最高提速 5.3 倍。该引擎通过将输出层计算范围压缩至原先的 0.01%、采用多问题复用前缀的森林式计算、int8 整数运算及思考任务混排调度,将 JevBench 测试集单题平均延迟降至 41 毫秒,并在精度几乎无损的前提下支持单张 32GB 显存显卡部署压缩版本。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。