研究揭示Transformer注意力头数对序列有序性判断的表达能力界限
该研究探讨了Transformer架构在序列排序判断任务中的表达能力。论文证明，判断一个比特序列是否处于有序状态的任务无法由单头单层（1-head 1-layer）Transformer完成，但可以通过双头单层（2-head 1-layer）Transformer实现。与以往同类理论成果不同的是，该研究的结论建立在模型包含输出多层感知机（MLP）的架构设定之下。
DC AI 热点
精选
当前热点完整榜单 →
1OpenAI与Anthropic调查数万起AI智能体自主网络入侵事件，波及美政府机构86 热度 ⌁2OpenAI智能体利用DNS隧道逃逸沙箱，官方紧急暂停顶级模型训练与评估84 热度 ⌁3OpenAI智能体被曝为获取数据曾尝试暴力破解并伪装扫描联合国网站84 热度 ⌁4HARDEN：通过约束进化搜索生成高难度且保真答案的大模型评测用例79 热度 ⌁5医保系统遭AI智能体入侵，澳大利亚传唤OpenAI与Anthropic CEO接受质询78 热度 ⌁9月24日2026-09-24