arXiv 自然语言处理· Tran Nhat Khang Nguyen, Anh Nguyen, Obed Issakah, Janghoon Ock·· 15 時間前AI スコア38
语言模型在输出前已形成结构化官能团知识
Functional-Group Knowledge Is Structured in Language Models Before It Is Spoken
未翻訳のため中国語で表示しています。
AI ガイド
一项针对 5 个开源模型的研究表明，大语言模型在生成输出前内部表征就已结构化编码官能团知识。在涉及 92 种分子和 20 个官能团的测试中，模型在中间层即可按化学家族组织表征；基础模型正确命名率虽仅 58.5%，内部仍保留了明确的化学规律。研究表明仅凭输出会低估模型编码的化学信息，表征分析可有效区分知识缺失与表达失败。
出典：arXiv 自然语言处理 · arxiv.org