DeepGEMM
DeepGEMM - это библиотека, предназначенная для чистых и эффективных общих матричных умножений FP8 (GEMMs) с тонкой настройкой, написанная на CUDA.
Перечислено в категориях:
GitHubИскусственный интеллектОткрытый исходный код
Описание
DeepGEMM - это библиотека, разработанная для чистых и эффективных FP8 общих матричных умножений (GEMM) с тонкой настройкой масштабирования, как предложено в DeepSeekV3. Она поддерживает как обычные, так и сгруппированные GEMM с использованием Mix-of-Experts (MoE). Написанная на CUDA, библиотека компилирует все ядра во время выполнения с использованием легковесного модуля Just-In-Time (JIT), не требуя компиляции во время установки. DeepGEMM исключительно поддерживает тензорные ядра NVIDIA Hopper и использует двухуровневую активацию накопления CUDA для решения проблемы неточной активации накопления тензорных ядер FP8. Несмотря на легковесный дизайн, производительность DeepGEMM соответствует или превосходит производительность библиотек, настроенных экспертами, для различных форм матриц.
Как использовать DeepGEMM?
Чтобы использовать DeepGEMM, установите библиотеку через Python с помощью 'python setup.py install'. Импортируйте 'deepgemm' в ваш проект на Python и вызывайте соответствующие функции GEMM для ваших матричных операций. Убедитесь, что ваша среда соответствует требованиям для версий CUDA и PyTorch.
Основные функции DeepGEMM:
1️⃣
Поддерживает обычные и сгруппированные GEMM с использованием Mix-of-Experts (MoE)
2️⃣
Написана на CUDA с компиляцией ядра во время выполнения
3️⃣
Оптимизирована для тензорных ядер NVIDIA Hopper
4️⃣
Использует двухуровневую активацию накопления для FP8
5️⃣
Легковесный дизайн с одной функцией ядра
Почему использовать DeepGEMM?
| # | Сценарий использования | Статус | |
|---|---|---|---|
| # 1 | Эффективное умножение матриц для моделей глубокого обучения | ✅ | |
| # 2 | Оптимизация производительности в задачах вывода | ✅ | |
| # 3 | Использование точности FP8 для экономии памяти при вычислениях | ✅ | |
Разработано DeepGEMM?
DeepGEMM разработан командой, в которую входят Чэнганг Чжао, Лян Чжао, Цзияши Ли и Чжэан Сюй, которые сосредоточены на предоставлении эффективных решений для умножения матриц в приложениях глубокого обучения.