研究提出Transformer注意力机制锥规划认证理论

1. 13:00
   arXiv 机器学习

   Transformer 注意力机制的锥规划认证

   研究提出针对 Transformer 注意力机制的锥规划认证理论，解决了输入扰动下注意力头输出界限松紧度缺乏保证的问题。该方法证明认证难点在于 query 与 key 的双线性交互，并利用指数锥矩松弛实现误差关于扰动半径呈二次方有界的认证。在 GPT-2 上的实验表明，该认证在每个注意力头上均比线性界传播更紧，并达到预测的二阶精度。

Current heat 5·Comparable peak 9（Nov 3 18:00）·Comparable change, last 24 hours–

Trends compare only the same parties observed continuously, so the scope can be narrower than current heat counts. Move the pointer or tap the chart to see hourly heat; use the left and right arrow keys on a keyboard.