arXiv 自然语言处理· Ryosuke Suzuki·· 7 小时前AI 评分44
如何让大语言模型评估医疗器械文档的每个阶段具备确定性
Making every stage of medical device document assessment with large language models deterministic
AI 导读
研究测试发现来自 3 家供应商的 7 款大语言模型在 14 种商业部署下均存在评估结果不一致的问题，其中 12 种部署甚至出现了评估标签改变。研究团队构建了一套涵盖 OCR、分块、embedding、检索和推理的全流程确定性管线，在同型号 GPU 机器上重跑时能输出逐字节一致的结果。实验表明输出会随 GPU 型号与推理引擎调度设置变化，相关参数需纳入配置记录以满足监管审计要求。
来源：arXiv 自然语言处理 · arxiv.org