arXiv 机器学习· Oleksandr Kholodniak, Oleksandr Prokhorov·· 2 小时前AI 评分25
学习长距离依赖时门控初始化与循环 Dropout 及 Zoneout 的对比：基于合成任务的 LSTM 与 GRU 网络受控研究
Gate Initialisation versus Recurrent Dropout and Zoneout in Learning Long Dependencies: A Controlled Study of LSTM and GRU Networks on Synthetic Tasks
AI 导读
研究通过 720 次实验对比了 LSTM 与 GRU 在长依赖任务中的门控初始化与循环正则化效果。在常规初始化难以奏效的长序列下，全部 360 次 chrono 初始化运行均在 5000 次更新内达到验证标准；相比之下，常规初始化收敛缓慢或未达标，且 dropout 通常会延缓训练，zoneout 仅在部分条件下有效。结果表明即使时间跨度设定粗糙，chrono 初始化在长依赖优化上仍具明显优势。
来源：arXiv 机器学习 · arxiv.org