arXiv 自然语言处理· Nelson Jo·· 8 小时前AI 评分34
LLM 的分布对齐及其泛化特性
Distributional Alignment of LLMs and Its Generalization Properties
AI 导读
针对用 LLM 模拟人类行为时的分布对齐需求，最新研究证实 LLM 可实现分布对齐并泛化至同领域的未见问题。在两个大规模 benchmark 上的测试显示，LLM 的跨主题泛化效果取决于不同主题间的关联程度。但对齐后的 LLM 会以意料之外的方式发生能力退化（例如丧失创造力），表明其泛化特性具有内在的不可预测性与不稳定性。
来源：arXiv 自然语言处理 · arxiv.org