arXiv 自然语言处理· Xuning He, Kai Fan, Runyu Zhang, Binghuan Wang, Yuxiang Zhang, Xue Jiang, Yihong Dong·· 7 時間前AI スコア37
基于 Agent 软 token 的长程 LLM Agent 模型内上下文压缩
In-Model Context Compression with Agentic Soft Tokens for Long-Horizon LLM Agents
未翻訳のため中国語で表示しています。
AI ガイド
ASTC 是一种面向长程 LLM Agent 的免训练模型内上下文压缩方法。它利用混合 Gated Delta Network（GDN）-attention 将已吸收信息转为 Agent 软 token 传递，减少计算开销并生成可复用的 KV cache。实验显示，ASTC 能达到或超越未压缩 Agent 的准确率，端到端 Attention Pairs 减少达 50.68%。
出典：arXiv 自然语言处理 · arxiv.org