精选

TWIST：针对对话记忆系统干预质量的新型评测基准

该研究提出了对话记忆评测基准套件 TWIST，旨在评估记忆系统在用户信念发生改变时是否能正确执行干预操作。针对现有长对话基准主要测试召回率和被动知识更新的局限，TWIST 设立了四大评估维度：主动张力检测、依据历史记录审查输出草案、在回答当前信念的同时保留历史变更记录，以及对敏感召回的治理控制。该套件基于 LoCo 进行了扩展，并引入了经人工验证的草案对齐机制。