PALM:面向金融语言模型的时间点适应方法
金融回测中的语言模型常面临前视偏差(look-ahead bias),即模型可能在训练中接触到未来数据。目前主流的按时间点(Point-in-Time)模型通常按年严格过滤语料并进行全量重新预训练,导致算力成本极高。该研究探讨了每年全量预训练的必要性,并提出 PALM 方法,旨在证明无需每年重训即可有效实现时间点适应,大幅降低金融语言模型的维护与训练成本。
金融回测中的语言模型常面临前视偏差(look-ahead bias),即模型可能在训练中接触到未来数据。目前主流的按时间点(Point-in-Time)模型通常按年严格过滤语料并进行全量重新预训练,导致算力成本极高。该研究探讨了每年全量预训练的必要性,并提出 PALM 方法,旨在证明无需每年重训即可有效实现时间点适应,大幅降低金融语言模型的维护与训练成本。
针对医院、银行等机构因隐私限制无法汇聚单点原始数据的问题,研究人员提出了首个联邦目标最大似然估计(Federated TMLE)算法。TMLE作为一种兼顾模型灵活性与统计推断效率的经典方法,此前主要依赖中心化计算。该研究将针对任意目标与损失函数的目标优化步骤联邦化,实现了在跨机构联邦学习框架下的高效统计与因果推断。