DeepEP
DeepEP é uma biblioteca de comunicação projetada para Mixture-of-Experts (MoE) e Expert Parallelism (EP). Ela fornece núcleos GPU de baixa latência e alta capacidade para processamento de dados.
Listado em categorias:
GitHubCódigo abertoInteligência artificial
Descrição
DeepEP é uma biblioteca de comunicação projetada especificamente para Mistura de Especialistas (MoE) e paralelismo de especialistas (EP). Ela fornece núcleos GPU de alta taxa de transferência e baixa latência, otimizados para tarefas de treinamento e inferência. A biblioteca suporta operações de baixa precisão, incluindo FP8, e apresenta núcleos otimizados para encaminhamento de largura de banda de domínio assimétrico, tornando-a adequada para várias arquiteturas de GPU e configurações de rede.
Como usar DeepEP?
Para usar o DeepEP, instale as dependências necessárias, incluindo NVSHMEM, e importe a biblioteca em seu projeto Python. Configure os buffers de comunicação e defina o número de multiprocessadores de streaming (SMs) a serem utilizados. Utilize as funções fornecidas para despachar e combinar operações durante o treinamento ou inferência do modelo.
Recursos principais de DeepEP:
1️⃣
Núcleos GPU de alta taxa de transferência e baixa latência para MoE e EP
2️⃣
Suporte para operações de baixa precisão, incluindo FP8
3️⃣
Otimizados para encaminhamento de largura de banda de domínio assimétrico
4️⃣
Núcleos de baixa latência para decodificação de inferência
5️⃣
Método de sobreposição de comunicação-computação baseado em hook
Por que usar DeepEP?
| # | Caso de uso | Status | |
|---|---|---|---|
| # 1 | Treinamento de modelo usando núcleos normais | ✅ | |
| # 2 | Fase de pré-preenchimento de inferência | ✅ | |
| # 3 | Decodificação de inferência sensível à latência | ✅ | |
Desenvolvido por DeepEP?
DeepEP é desenvolvido por uma equipe de pesquisadores e engenheiros, incluindo Chenggang Zhao, Shangyan Zhou, Liyue Zhang e outros, que estão focados em avançar bibliotecas de comunicação para processamento eficiente em paralelo de especialistas em aplicações de aprendizado profundo.