PyTorch TorchInductor интегрирован с CuteDSL в качестве бэкенда для автоматической оптимизации матричного умножения

МЕ Новости, 7 апреля (UTC+8), официальная команда PyTorch недавно объявила, что CuteDSL был интегрирован в TorchInductor как четвертая автоматическая оптимизация матричного умножения backend. Выбор этого backend основан на трех критериях: не увеличивать чрезмерную нагрузку по обслуживанию, не замедлять время компиляции или бенчмаркинга, а также обеспечивать лучшую производительность на целевых рабочих нагрузках. CuteDSL активно разрабатывается NVIDIA, предоставляет оптимизированные шаблоны ядер, время компиляции сопоставимо с существующими backend и значительно превосходит путь CUTLASS C++, требующий полной компиляции \nvcc. Этот backend построен на той же абстракции, что и CUTLASS C++, написан на Python, компилируется быстрее, проще в обслуживании и уже доказал свою мощную производительность в области FP8 GEMM и объединения Epilogue. Команда сосредоточена на оптимизации GEMM (матричного умножения), поскольку оно занимает основную часть вычислительных затрат в моделях Transformer. CuteDSL генерирует низкоуровневый код, предоставляя вручную оптимизированные шаблоны, избегая сложности написания ядер с нуля, полностью раскрывает потоки и иерархию памяти, поддерживая архитектурно-специфические функции. (Источник: InFoQ)