arXiv 机器学习· Muhammad Sabbir Alam, Harindra Sandun Mavikumbure, Victor Cobilean, Milos Manic, Jayasimha Atulasimha·· 3 小时前AI 评分32
用于电力负荷预测的极低状态量化 Transformer
Extreme Low-State Quantized Transformer for Electricity-Load Forecasting
AI 导读
研究人员针对电力负荷预测探索了 3、5、7 和 16 状态权重量化的 Transformer 架构，涵盖未来 1 小时与 24 小时预测任务。直接采用 PTQ 会使两个数据集的平均 NRMSE 相对全精度增加 6.25 和 7.04 个百分点，而 QAT-FT 挽回了约 90.2% 和 94.5% 的性能损失，Scratch-QAT 同样表现优异。
来源：arXiv 机器学习 · arxiv.org