DanLing NestedTensor：面向深度学习的可组合多维不规则张量抽象
针对深度学习中变长输入导致的大量 Padding 计算与显存浪费问题，论文提出了 DanLing NestedTensor。作为一种 PyTorch 张量抽象，它将多维不规则（Multi-Ragged）结构作为张量本身的固有属性。通过让打包后的数据自带基于张量的分区与逻辑维度信息，既消除了传统稠密批处理中对 Padding 区域的无效计算开销，又解决了扁平化缓冲区丢失逻辑轴与样本边界的问题，支持更高效的可组合算子操作。
推荐理由提出了一种优化变长张量计算与显存开销的 PyTorch 新抽象，对模型训练与推理基础设施优化具有一定参考价值。
原标题：DanLing NestedTensor: Composable Multi-Ragged Tensors for Deep Learning
阅读 arXiv 机器学习 原文 ↗