更深反向传播还是更多更新？不同预算下的循环语言模型训练研究

循环语言模型在不同训练预算下的反向传播深度与更新步数权衡研究表明，最优反向传播窗口的选择会随训练预算增长而改变。实验显示，虽然较短的窗口能降低单步更新成本，但随着预算增加，短窗口相比长窗口的优势会大幅减弱。在更大预算下两者的收益均会下滑，且延长训练带来的收益降幅更为显著。