arXiv 自然语言处理· Sinead Williamson, Jiaxuan Li, Nick Foti, Russ Webb, Masha Fedzechkina·· 5 小时前AI 评分40
大语言模型的口头表达概率与内部概率存在耦合
Verbalized and Internal Probabilities Are Coupled in Large Language Models
AI 导读
研究发现大语言模型(LLM)通过文本或数字表达的口头概率与采样分布中的内部概率存在耦合与对齐,口头表达概率可直接用于探测模型的内部概率分布。通过干预训练与上下文数据中的不确定性来源,研究证实训练数据中的分布不确定性和断言不确定性均会同时影响这两种概率读数。
来源:arXiv 自然语言处理 · arxiv.org