预训练 Transformer 任意输出序列的 Prefix-Tuning 表达能力研究

研究者证明了在目标输出处于预训练自回归 Transformer 域内的假设下，任意输入输出序列对都存在能诱导生成目标输出的 prefix，且可通过求解多个线性方程组显式计算。当该假设不成立时此类 prefix 可能不存在，从而在理论上完整回答了 prefix 表达能力问题。基于 GPT-2 和 Qwen3-4B 的实验验证了该算法能生成对模型输出具有强控制力的 prefix。