arXiv 自然语言处理· Yichuan Chen, Xin Wang·· 5 小时前AI 评分45
大语言模型重复循环何时锁死？截断采样、有界惩罚与 DRY 的盲点分析
When Do Repetition Loops Lock? Truncation Sampling, Bounded Penalties, and a Blind Spot in DRY
AI 导读
研究发现广泛部署的 DRY 采样器因序列中断机制存在惩罚上限盲点，导致 11 个开源模型中 g=6 的锁死单元有 66% 仍无法跳出循环。为此研究团队提出 DRY-C 采样器，通过增加随字面重复次数呈指数增长的惩罚项直至回溯窗口。测试显示 DRY-C 使 720 次结构化输出生成均未循环至长度限制，同时任务完成度保持与 DRY 接近。
来源：arXiv 自然语言处理 · arxiv.org