arXiv 自然语言处理· Minji Park, Seunghyun Yoon, Hyuk Lim·· 5 小时前AI 评分41
TPBench：面向对话压缩中转折点遗忘的评测基准
TPBench: A Turning-Point Benchmark for Dialogue Compression
AI 导读
TPBench 针对对话压缩易遗忘用户修改（转折点驱逐）的问题，提出了评估初始目标（P1）、修改后当前值（P2）及二者联合（P3）的三项互补评测任务。在 0.30 保留比例下，Llama 与 Mistral 测试显示所有压缩方法性能均低于全上下文，删除包含更新的轮次会导致当前值准确率骤降。
来源：arXiv 自然语言处理 · arxiv.org