arXiv 自然语言处理· R. I. Cukier·· 11 hours agoAI score25
语言模型响应多样性的条件互信息分析
A Conditional Mutual Information Analysis of Response Variety in Language Models
Not yet translated; shown in Chinese.
AI guide
该研究提出基于条件互信息的定量熵分析方法，用于评估大语言模型在推理生成时的响应多样性。研究定义了涵盖从零到最大互信息的仲裁者（arbiter）、条件独立与中性确定性三种极限行为，并给出了具体示例。该框架可应用于 temperature 分析、语言分析、提示词压缩以及知识图谱等场景。
Source:arXiv 自然语言处理 · arxiv.org