arXiv 机器学习· Masoud Ataei·· 9 hours agoAI score36
Transformer 注意力机制的锥规划认证
Conic Certification of Transformer Attention
Not yet translated; shown in Chinese.
AI guide
研究提出针对 Transformer 注意力机制的锥规划认证理论，解决了输入扰动下注意力头输出界限松紧度缺乏保证的问题。该方法证明认证难点在于 query 与 key 的双线性交互，并利用指数锥矩松弛实现误差关于扰动半径呈二次方有界的认证。在 GPT-2 上的实验表明，该认证在每个注意力头上均比线性界传播更紧，并达到预测的二阶精度。
Source:arXiv 机器学习 · arxiv.org