arXiv 人工智能· Michael Granitzer, Saber Zerhoudi, Mohammad Al-Maamari, Hai Dang Dang, Kanishka Ghosh Dastidar·· 16 小时前AI 评分42
前向传播中的工具:将冻结纸带模块作为小语言模型网络层
A Tool in the Forward Pass: Frozen Tape Modules as Layers of a Small Language Model
AI 导读
研究提出在小语言模型前向传播中嵌入冻结纸带模块,直接将隐藏状态转为符号计算以消除文本工具调用的解码开销。在 gemma-3-1b-it 上,该模块在 BIG-Bench Hard 物体追踪全部 750 项中取得 1.00 准确率,GPU 内核耗时仅约文本工具基线的 1/10。该方案适用于返回单符号的有界计算,并通过门控机制在通用文本下保持静默。
来源:arXiv 人工智能 · arxiv.org