arXiv 自然语言处理· Xuning He, Kai Fan, Runyu Zhang, Binghuan Wang, Yuxiang Zhang, Xue Jiang, Yihong Dong·· 4 小时前AI 评分37
基于 Agent 软 token 的长程 LLM Agent 模型内上下文压缩
In-Model Context Compression with Agentic Soft Tokens for Long-Horizon LLM Agents
AI 导读
ASTC 是一种面向长程 LLM Agent 的免训练模型内上下文压缩方法。它利用混合 Gated Delta Network（GDN）-attention 将已吸收信息转为 Agent 软 token 传递，减少计算开销并生成可复用的 KV cache。实验显示，ASTC 能达到或超越未压缩 Agent 的准确率，端到端 Attention Pairs 减少达 50.68%。
来源：arXiv 自然语言处理 · arxiv.org