在 GPU 上运行 GPT-2

开发者通过约 250 行的 tinymlir/gpu.py 模块，将自研张量编译器扩展至 NVIDIA GPU，实现了 GPT-2 模型的编译与运行。该流程利用 MLIR pass 将并行循环转化为 GPU 核函数，并为矩阵乘法引入共享内存切片调度以生成 PTX 代码。该方案最低仅需 Tesla T4 等 sm_75 架构显卡即可运行完整的前向传播。