arXiv 机器学习· Jiayi Li, Guancheng Zhou, Yisi Luo, Ruihua Chen, Penghao Jiang, Deyu Meng, Flora D. Salim, Piotr Koniusz·· 8 小时前AI 评分34
HotPOT：面向大规模 PDE 预训练的异构物理专家算子 Transformer
HotPOT: Operator Transformer with Heterogeneous Physics Experts for Large-Scale PDE Pre-training
AI 导读
HotPOT 提出结合共享编码器与固定数值更新专家的算子 Transformer，用于大规模 PDE 预训练。在 5 个 PDE 族和 6 种设定下，HotPOT 在微调前后的全部 24 项同规模对比中均优于 MoE-POT，rollout 误差平均降低 50.7%。其 17M 模型超越更大规模的 MoE-POT，并拓展至未见物理条件的 zero-shot 预测，代码已开源。
来源：arXiv 机器学习 · arxiv.org