跳到正文
原文
arXiv 自然语言处理· Santhosh Kumar Kasa, Siva Rajesh Kasa, Sumit Negi·· 10 小时前AI 评分46

相同文本不同预测:文本分类器中的服务上下文非确定性

Same Text, Different Prediction: Serving-Context Nondeterminism in Text Classifiers

AI 导读

一项新研究系统评估了 180 个涵盖判别式、伪生成式与完全生成式的文本分类模型在不同服务上下文下的非确定性表现。实验表明,仅改变 batch 形状在 fp32 下不会改变标签,但在 bf16 下会导致高达 56.7 个百分点的预测概率质量漂移,且完全生成式分类器比判别式更容易出现标签变动。研究提出了维持标签稳定性的充分条件与针对性缓解方案。

来源:arXiv 自然语言处理 · arxiv.org