arXiv 机器学习· Peiwang Tang, Cheng HE, Yupeng Ye, Weitai Zhang, Qinghua Sun, Defu Lian·· 5 小时前AI 评分34
TimeHAT：面向时间序列分析的预训练混合注意力 Transformer
Learning from Points and Patches: A Pre-trained Hybrid Attention Transformer for Time Series Analysis
AI 导读
研究人员提出面向时间序列分析的通用预训练框架 TimeHAT，引入统一点-补丁掩码策略（UPPMS）与混合注意力编码器（HAE）。UPPMS 整合点级与补丁级监督以兼顾细粒度变化和宏观模式，HAE 则结合浅层双向注意力与深层有向混合注意力以缓解秩退化。该模型在分类、长期预测、插补和异常检测任务中表现优异，代码已开源。
来源：arXiv 机器学习 · arxiv.org