arXiv 自然语言处理· Wang Yang, Xinpeng Li, Yanyan Zhang, Chuang Ma, Shouren Wang, Jianzhe Wei, Liqin Ye, Xiaoran Cai, Mohsen Hariri, Vipin Chaudhary, Xiaotian Han·· 5 小时前AI 评分47
Jev 不能决定什么？探索单次前向传播决策模型的局限
What Can't Jev Decide? Probing the Limits of One-Pass Decision Models
AI 导读
研究发现单次前向传播决策模型 Jev 无法做出需要大语言模型写出中间步骤才能完成的决策。在最多 20k tokens 和 64 个选项的基准测试中，Jev 可无误查找并选择记录，但当答案依赖单个用户的 16 次更新时，因记录干扰准确率会降至 53-80%。对于参考大语言模型单次前向可解决的问题，Jev 准确率达 97.5%，其余情况仅为 74%，且无法察觉因陈旧输入继承的错误。
来源：arXiv 自然语言处理 · arxiv.org