跳到正文
原文
arXiv 人工智能· Jose Hernandez-Orallo·· 7 小时前AI 评分52

面向超级智能评估:基于大语言模型的 C-test 归纳推理基准

Artificiality's First Exam: An LLM-Referenced C-test for Supraintelligence

AI 导读

研究团队提出了一种以大语言模型作为表征机器且基于莱文 Kt 复杂度的 C-test 评估基准,专门应对现有评估基准快速饱和及循环校准的问题。该基准将问题形式化为归纳推理反问题,以比特为比例尺度估算难度,在人类或前沿模型能够求解之前即可自动生成并认证超高难度的测试项。团队完成了轻量化生成与认证流程,并在 12 个大语言模型上进行了基准测试与特征曲线分析。

来源:arXiv 人工智能 · arxiv.org