AITNT · AI头条(网页)·· 7 小时前AI 评分59
复旦与腾讯混元等联合发布 ExplorationBench,评测大模型自主探索能力
该如何评测大模型的探索能力?复旦、混元发布新基准ExplorationBench
AI 导读
复旦大学、腾讯混元与清华大学联合发布评测基准 ExplorationBench,构建了 AlienCode 和 AlienLogic 两个规则被修改的沙盒世界,用于评测大模型在未知环境中自主提出假设并摸索规律的能力。实测十个前沿模型显示,环境反馈对探索至关重要,自主设计探针的效果普遍优于固定探针或仅靠内部思考;同时模型即使正确说出规则也不代表能稳定用对,且不同轨迹间表现出极大的波动性。
来源:AITNT · AI头条(网页) · aitntnews.com