arXiv 自然语言处理· Marcus Armstrong, Navid Ayoobi, Pradham Mummaleti, Alexander Chulzhanov, Arjun Mukherjee·· 4 小时前AI 评分49
语言模型中的几何答案选择：正确性是一个方向
Correctness Is a Direction: Geometric Answer Selection in Language Models
AI 导读
研究发现大语言模型的隐藏状态将答案正确性编码为几何方向，无需更新参数即可利用 50 个样本在约 70% 深度提取出评分方向。在 Llama、Qwen、Gemma 的 1B 至 8B 模型中，该方法在 ARC-Challenge 和 MMLU 上较 zero-shot 对数概率最高提升 +32.0 个百分点，TruthfulQA 最高提升 +51.8 个百分点。
来源：arXiv 自然语言处理 · arxiv.org