arXiv 自然语言处理· Peidi Dong, Yunze Xiao, Yu-Lin Tsai, Yichen Zheng, Heyuan Huang, Weihao Xuan, Mark Dredze, Jen-tse Huang·· 7 hours agoAI score41
TASC 基准：评估对话助手的时间敏感安全意识
Before You Continue: Evaluating Time-Sensitive Safety Awareness in Conversational Assistants
Not yet translated; shown in Chinese.
AI guide
研究团队推出 TASC 基准，用于评估大语言模型助手在对话中应用时间相关约束的能力。对 13 个模型的评测显示，助手在行动违规时仅在 30.5% 的情况下考虑了时间约束，且在正确计算耗时后仍有 62.1% 未能应用该约束。即使显式提供时间也仅能解决约半数失败，揭示出模型在时间推理与安全建议应用间的明显脱节。
Source:arXiv 自然语言处理 · arxiv.org