NVIDIA Developer Blog· Tanya Lenz·· 4 小时前AI 评分41
利用 NVIDIA CUDA Tile 高性能前向算子加速 Mamba-2
Accelerating Mamba-2 with High-Performance Forward Pass Kernels in NVIDIA CUDA Tile
AI 导读
NVIDIA 推出基于 Python 的领域特定语言(DSL)与并行编程模型 CUDA Tile(cuTile),旨在利用硬件能力为 GPU 分块级编程提供峰值性能,以加速 Mamba-2 的高性能前向算子。cuTile 将线程与 warp 级调度抽象为以 tile 为核心的高层原语,支持开发者直接使用 Python 编写 GPU 算子,并由编译器自动执行优化。
来源:NVIDIA Developer Blog · developer.nvidia.com