arXiv 机器学习· Peilin Wang, Feng Shiyang, Hongfu Gao, Cencheng Zhao, Di Yuan, Hui Chen, Guiguang Ding·· 5 小时前AI 评分33
递归计算中应当保留什么：局部预测充分性原则
What to Preserve in Recursive Computation: A Local Predictive Sufficiency Principle
AI 导读
研究提出基于局部预测充分性原则的递归计算训练方法，通过控制各接口的预测不足来解决中间状态压缩导致的信息损失问题。该方法度量压缩保留的预测价值以构建半空间约束，仅在预测保留受损时投影宿主优化器的参数更新。在时序图、语言记忆、视觉-语言-动作控制与递归自我提升中，其表现均达到或超越宿主模型，且在更重递归需求下增益更大。
来源：arXiv 机器学习 · arxiv.org