Skip to content
arXiv 人工智能· Xiuyuan Qi, Pedro Reviriego, Javier Conde, Shanshan Liu·· 9 hours agoAI score40

BlockLock:利用固定批次几何形状实现可复现 LLM 推理

BlockLock: Reproducible LLM Inference with Fixed Batch Geometry

Not yet translated; shown in Chinese.

AI guide

BlockLock 通过固定请求所见的批次几何形状,在保留共享批处理 prefill 的同时实现可复现的大语言模型推理。方案提供 BlockLock-Rows 与 BlockLock-Pack 两种模式,在 Qwen3-8B/14B、Llama-3.1-8B-Instruct 等模型上验证了位级输出一致性。

Source:arXiv 人工智能 · arxiv.org