如何构建真正衡量审美鉴赏力的评测基准 TasteBench

研究人员推出成对好坏评测基准 TasteBench 及对照协议，涵盖视觉、品牌、图书和科技领域，旨在衡量模型对工艺水准的鉴赏力而非应试技巧。首轮 250 对样本的试点测试发现位置偏置、文件名词汇泄漏和难度天花板三项有效性威胁，导致常选 A 策略和文件名线索得分分别虚高至 0.956 和 0.912。团队开源了参考评测框架与位置随机化工具，成功将位置倾斜修正至约 0.5。