arXiv 自然语言处理· Zhanghao Hu, Linhai Zhang, Qian Zhao, Qi Zhu, Yuan Hua, Di Liang, Jiasheng Si, Xin Zhao, Yulan He, Zhumin Chen, Lin Gui·· 14 時間前AI スコア41
GroupAssistBench：超越单纯召回的真实群聊助手记忆评测基准
One Assistant, Many Memories: Benchmarking Real-World Group Assistance When Recall Is Not Enough
未翻訳のため中国語で表示しています。
AI ガイド
研究团队推出首个源自真实对话的群聊助手记忆基准 GroupAssistBench，涵盖 50 个群组的 80,299 条消息，耗资超 $53K。该基准跨单点、分布式及冲突记忆场景，同时评测带参考答案的记忆召回（L1）与无固定答案的记忆使用（L2）。实验显示最强记忆系统在召回上媲美全上下文，但在记忆使用尤其是处理分布式与冲突记忆时显著落后。
出典：arXiv 自然语言处理 · arxiv.org