arXiv 人工智能· Feng Chen, Jianguo Huang, Yushan Xiao, Yue Li, Bijun Tang, Xuyu Dong, Xingguo Wang, Feiyang Xie, Jianhui Gu, Dongfeng Cao, Hongda Chen, Yongji Gong, Ruiqi Li, Shuxin Li, Xingji Li, Ruitao Lv, Li Song, Lei Wang, Ye Zhang, Xiaoxu Zhao, Xitao Zheng, Bo An, Zheng Liu·· 5 時間前AI スコア40
FrontierMat：面向前沿材料研发的大语言模型评测基准
FrontierMat: Benchmarking Language Models at the Frontier of Materials R&D
未翻訳のため中国語で表示しています。
AI ガイド
FrontierMat 包含航空航天与半导体等领域的 330 道真实科研难题，用于评测大语言模型在前沿材料研发中的表现。评测显示最强通用模型得分仅 53.7%，130 道跨尺度推理题得分较单尺度低 8.7 分，半数题目至多被一个模型解决。通过元加权持续预训练与尺度模块化自蒸馏，开源模型得分从 36.7% 升至 55.4%，追平最强专有模型。
出典：arXiv 人工智能 · arxiv.org