研究证明预训练Transformer的Prefix-Tuning表达能力

1. 12:00
   arXiv 自然语言处理

   预训练 Transformer 任意输出序列的 Prefix-Tuning 表达能力研究

   研究者证明了在目标输出处于预训练自回归 Transformer 域内的假设下，任意输入输出序列对都存在能诱导生成目标输出的 prefix，且可通过求解多个线性方程组显式计算。当该假设不成立时此类 prefix 可能不存在，从而在理论上完整回答了 prefix 表达能力问题。基于 GPT-2 和 Qwen3-4B 的实验验证了该算法能生成对模型输出具有强控制力的 prefix。

当前热度 9·可比范围峰值 10（10月20日 13:00）·近 24 小时可比范围变化 –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。