arXiv 机器学习· Masoud Ataei·· 8 時間前AI スコア36
Transformer 注意力机制的锥规划认证
Conic Certification of Transformer Attention
未翻訳のため中国語で表示しています。
AI ガイド
研究提出针对 Transformer 注意力机制的锥规划认证理论，解决了输入扰动下注意力头输出界限松紧度缺乏保证的问题。该方法证明认证难点在于 query 与 key 的双线性交互，并利用指数锥矩松弛实现误差关于扰动半径呈二次方有界的认证。在 GPT-2 上的实验表明，该认证在每个注意力头上均比线性界传播更紧，并达到预测的二阶精度。
出典：arXiv 机器学习 · arxiv.org