arXiv 自然语言处理· Haoran Zheng, Chen Shani·· 6 小时前AI 评分39
Conceptizer：Next-Token Prediction 并非所需全部
Conceptizer: Next-Token Prediction Is Not All You Need
AI 导读
研究人员提出训练框架 Conceptizer，利用约 9K 个概念词表为下一个 token 预测引入语义奖励，无需增加模型参数即可提供概念级训练信号。在 1B-8B 参数规模的 3 个模型族测试中，该方法在概念目标位置取得最低的 NTP 困惑度，并赋予上下文同义词最高概率。此外，它提升了下游知识和情感任务的表现，且常识任务表现持平。
来源：arXiv 自然语言处理 · arxiv.org