arXiv 自然语言处理· Guangzhi Xiong, Zhenghao He, Bohan Liu, Sanchit Sinha, Wenqian Ye, Aidong Zhang·· 11 小时前AI 评分39
用 Task Operator 捕捉上下文学习动态
Capturing In-Context Learning Dynamics with Task Operators
AI 导读
研究团队提出 Task Operator（TO），通过将注意力机制中的仿射变换解析更新至输出投影，显著缩小了零样本推理与上下文学习（ICL）的差距。TO 在词汇、算法及推理任务中均取得优于现有方法的整体表现，且提取的知识集中于任务特异性的稀疏回路中。该方法还支持通过平均算子实现无需扩展上下文窗口的 many-shot 扩展，相关代码已开源。
来源：arXiv 自然语言处理 · arxiv.org