本文へスキップ
原文
arXiv 人工智能· Eduardo Fuentes, Gonzalo Riera, H\'ector Allende-Cid·· 19 時間前AI スコア29

模加法 Transformer 傅里叶电路中的非共形畸变与局部定向反转

Nonconformal Distortion and Local Orientation Reversal in the Fourier Circuit of a Modular-Addition Transformer

未翻訳のため中国語で表示しています。

AI ガイド

研究表明单层 Transformer 模加法傅里叶电路在训练后呈现非共形畸变与局部定向反转,而非理想共形映射。在 5 个关键频率下,Beltrami 系数中位数从初始化的 0.939 降至训练后的 0.390(各频率为 0.304–0.446)。畸变的大幅下降主要发生在电路形成之前,且与单个输入的正确 logit 裕度关联微弱($|\rho|\le 0.026$)。

出典:arXiv 人工智能 · arxiv.org