开放世界 AI 的三大要求

研究提出开放世界 AI 需具备推理时学习、丰富表征以及预测解耦三大核心要求。在最高 8B 参数的语言模型测试中，满足这些要求的模型能随相关任务数据的积累持续提升性能，而不满足要求的模型则会退化，且单纯依靠扩大规模或交错层类型均无法弥补这一缺陷。研究还指出跨相关任务的长上下文有助于提升表现。