arXiv 自然语言处理· Kyuyoung Kim, Peiyao Sheng, Ashwin Hebbar, Peiyang Xu, Yunfei Xie, Kevin Wang, Rui Xin, Chen Wei, Zhangyang Wang, Jinwoo Shin, Pramod Viswanath, Sewoong Oh·· 5 小时前AI 评分36
面向大语言模型适配的表征对齐辅助监督方法
Representation-Aligned Auxiliary Supervision for Language Model Adaptation
AI 导读
研究团队提出表征对齐辅助监督方法,利用兼容表征的环境衍生任务改善大语言模型在结构化领域的适配效果。以国际象棋为测试平台,该方法在相同目标数据下持续提升了最优着法预测精度,效果可比肩大幅增加目标任务数据。实验还表明 ASCII 空间格式训练的模型可有效迁移至 FEN 符号评估,并能提升事实性棋局解说的生成能力。
来源:arXiv 自然语言处理 · arxiv.org