跳到正文
原文
arXiv 自然语言处理· Yida Lin·· 1 天前AI 评分35

PACT:面向单 Token 类型决策的成对锚定校准微调方法

PACT: Pairwise-Anchored Calibrated Tuning for Single-Token Typed Decisions

AI 导读

研究人员提出 PACT 微调方法,通过引入 4 项利用对比数据结构的训练目标与 3 参数上下文温度,优化单 token 类型决策模型的校准与鲁棒性。在 324 项测试集上,PACT 取得最低的位置偏差(答案翻转率降至 9.8%)与更低的序数误差(MAE 0.232),并将 NLL 降低 26%。相关代码、数据集与训练适配器已公开。

来源:arXiv 自然语言处理 · arxiv.org