DeepGEMM
DeepGEMM là một thư viện được thiết kế cho phép nhân ma trận tổng quát FP8 (GEMMs) sạch và hiệu quả với quy mô tinh vi, được viết bằng CUDA.
Liệt kê trong các danh mục:
GitHubTrí tuệ nhân tạoMã nguồn mở
Mô tả
DeepGEMM là một thư viện được thiết kế cho các phép nhân ma trận tổng quát FP8 (GEMMs) sạch và hiệu quả với việc điều chỉnh tỉ lệ tinh vi, như đã đề xuất trong DeepSeekV3. Nó hỗ trợ cả GEMMs nhóm bình thường và Mix-of-Experts (MoE). Được viết bằng CUDA, thư viện biên dịch tất cả các kernel tại thời gian chạy bằng cách sử dụng một mô-đun Just-In-Time (JIT) nhẹ, không yêu cầu biên dịch trong quá trình cài đặt. DeepGEMM chỉ hỗ trợ các lõi tensor NVIDIA Hopper và sử dụng việc nâng cao tích lũy hai cấp độ của lõi CUDA để giải quyết vấn đề tích lũy không chính xác của lõi tensor FP8. Mặc dù có thiết kế nhẹ, hiệu suất của DeepGEMM tương đương hoặc vượt qua các thư viện được tinh chỉnh bởi chuyên gia trên nhiều hình dạng ma trận khác nhau.
Cách sử dụng DeepGEMM?
Để sử dụng DeepGEMM, hãy cài đặt thư viện qua Python với 'python setup.py install'. Nhập 'deepgemm' vào dự án Python của bạn và gọi các chức năng GEMM phù hợp cho các phép toán ma trận của bạn. Đảm bảo môi trường của bạn đáp ứng các yêu cầu về phiên bản CUDA và PyTorch.
Tính năng chính của DeepGEMM:
1️⃣
Hỗ trợ GEMMs nhóm bình thường và Mix-of-Experts (MoE)
2️⃣
Viết bằng CUDA với biên dịch kernel tại thời gian chạy
3️⃣
Tối ưu hóa cho các lõi tensor NVIDIA Hopper
4️⃣
Sử dụng nâng cao tích lũy hai cấp độ cho FP8
5️⃣
Thiết kế nhẹ với một chức năng kernel chính
Tại sao nên sử dụng DeepGEMM?
| # | Trường hợp sử dụng | Trạng thái | |
|---|---|---|---|
| # 1 | Nhân ma trận hiệu quả cho các mô hình học sâu | ✅ | |
| # 2 | Tối ưu hóa hiệu suất trong các tác vụ suy diễn | ✅ | |
| # 3 | Sử dụng độ chính xác FP8 cho các phép toán tiết kiệm bộ nhớ | ✅ | |
Do ai phát triển DeepGEMM?
DeepGEMM được phát triển bởi một nhóm bao gồm Chenggang Zhao, Liang Zhao, Jiashi Li và Zhean Xu, những người tập trung vào việc cung cấp các giải pháp hiệu quả cho phép nhân ma trận trong các ứng dụng học sâu.