arXiv 自然语言处理· Bibin Babu, Ivan P. Yamshchikov, Aleksei Shpilman·· 8 小时前AI 评分42
Quine 测试：大语言模型自我描述能在多大程度上复现其自身？
The Quine Test: How Much of a Model's Self Survives Its Own Description?
AI 导读
研究团队提出 Quine 测试评估 9 家机构的 10 个模型，发现大语言模型的原生自我描述无法在其他模型中复现其偏好行为。在 110 项偏好测试中，自我描述的重建增益单侧 95% 上界低于 +0.01，且阅读自身描述还会让模型偏离基线。直接列出答案则可实现 0.955 至 0.960 的保真度复现；团队已开源评测流水线与 198 份模型自我描述。
来源：arXiv 自然语言处理 · arxiv.org