Primeiro envio usando a GPU NVIDIA Blackwell oferece até quatro vezes mais desempenho no Llama 2 70B e a arquitetura NVIDIA Hopper gera grandes ganhos em benchmarks de IA do setor
À medida que as empresas correm para adotar a IA generativa e lançar novos serviços no mercado, as demandas por infraestrutura de data center nunca foram tão grandes. O treinamento de grandes modelos de linguagem (LLM) é um desafio, mas o fornecimento de serviços em tempo real alimentados por LLM é outro.
Na última rodada de benchmarks do setor MLPerf, a Inference v4.1, as plataformas NVIDIA apresentaram desempenho líder em todos os testes de data center. O primeiro envio da futura plataforma NVIDIA Blackwell revelou até 4 vezes mais desempenho do que a GPU NVIDIA H100 Tensor Core na maior carga de trabalho LLM do MLPerf, Llama 2 70B, graças ao uso de um Transformer Engine de segunda geração e FP4 Tensor Cores.
A GPU NVIDIA H200 Tensor Core apresentou excelentes resultados em todos os benchmarks da categoria de data center, incluindo a mais recente adição ao benchmark, o LLM Mixtral 8x7B mix of experts (MoE), que apresenta um total de 46,7 bilhões de parâmetros, com 12,9 bilhões de parâmetros ativos por token.
Os modelos MoE ganharam popularidade como uma forma de trazer mais versatilidade às implantações de LLM, pois são capazes de responder a uma ampla variedade de perguntas e executar tarefas mais diversas em uma única implantação. Eles também são mais eficientes, pois ativam apenas alguns especialistas por inferência, o que significa que fornecem resultados muito mais rapidamente do que os modelos densos de tamanho semelhante.
O crescimento contínuo dos LLMs está gerando a necessidade de mais computação para processar solicitações de inferência. Para atender aos requisitos de latência em tempo real para atender aos LLMs atuais, e fazê-lo para o maior número possível de usuários, a computação multi-GPU é uma necessidade. O NVIDIA NVLink e o NVSwitch fornecem comunicação de alta largura de banda entre GPUs com base na arquitetura NVIDIA Hopper e proporcionam benefícios significativos para a inferência de modelos grandes em tempo real e econômica. A plataforma Blackwell ampliará ainda mais os recursos do NVLink Switch com domínios NVLink maiores com 72 GPUs.
Além dos envios da NVIDIA, 10 parceiros da NVIDIA - ASUSTek, Cisco, Dell Technologies, Fujitsu, Giga Computing, Hewlett Packard Enterprise (HPE), Juniper Networks, Lenovo, Quanta Cloud Technology e Supermicro - todos fizeram envios sólidos de inferência MLPerf, ressaltando a ampla disponibilidade das plataformas NVIDIA.
"Estamos extremamente felizes por alcançar esse resultado notável no MLPerf, isso demonstra que as plataformas da NVIDIA apresentam um desempenho líder em todos os setores de data center. Isso contribui significativamente para fortalecer ainda mais nossa posição neste cenário além de tornar o trabalho mais eficiente para as empresas", comemora Marcio Aguiar, diretor da divisão Enterprise da NVIDIA para América Latina.
Inovação implacável de software
As plataformas NVIDIA passam por um desenvolvimento contínuo de software, acumulando melhorias de desempenho e de recursos mensalmente. Na rodada de inferência mais recente, as ofertas da NVIDIA, incluindo a arquitetura NVIDIA Hopper, a plataforma NVIDIA Jetson e o servidor de inferência NVIDIA Triton, tiveram um grande aumento no desempenho.
A GPU NVIDIA H200 forneceu até 27% mais desempenho de inferência de IA generativa em relação à rodada anterior, ressaltando o valor agregado que os clientes obtêm ao longo do tempo com seu investimento na plataforma NVIDIA.
O Servidor de Inferência Triton, parte da plataforma NVIDIA AI e disponível com o software NVIDIA AI Enterprise, é um servidor de inferência de código aberto completo que ajuda as organizações a consolidar servidores de inferência específicos do framework em uma plataforma única e unificada. Isso ajuda a reduzir o custo total de propriedade de servir modelos de IA na produção e reduz o tempo de implantação do modelo de meses para minutos.
Nesta rodada do MLPerf, o servidor de inferência Triton apresentou desempenho quase igual ao dos envios bare-metal da NVIDIA, mostrando que as organizações não precisam mais escolher entre usar um servidor de inferência de IA de nível de produção rico em recursos e obter desempenho de rendimento máximo.
Indo para o edge
Implantados no edge, os modelos de IA generativa podem transformar dados de sensores, como imagens e vídeos, em insights acionáveis em tempo real com forte consciência contextual. A plataforma NVIDIA Jetson para IA e robótica no edge é capaz de executar qualquer tipo de modelo localmente, incluindo LLMs, transformadores de visão e difusão estável.
Nesta rodada de benchmarks MLPerf, os módulos do sistema NVIDIA Jetson AGX Orin alcançaram mais de 6,2 vezes de melhoria na taxa de transferência e 2,4 vezes de melhoria na latência em relação à rodada anterior na carga de trabalho GPT-J LLM. Em vez de desenvolver para um caso de uso específico, os desenvolvedores agora podem usar esse modelo de 6 bilhões de parâmetros de uso geral para interagir perfeitamente com a linguagem humana, transformando a IA generativa no edge.
Liderança de desempenho em todos os aspectos
Esta rodada do MLPerf Inference mostrou a versatilidade e o desempenho líder das plataformas NVIDIA - que se estendem do data center ao edge - em todas as cargas de trabalho do benchmark, sobrecarregando os aplicações e serviços mais inovadores com tecnologia de IA. Para saber mais sobre esses resultados, consulte nosso blog técnico.
Os sistemas H200 equipados com GPU estão disponíveis hoje na CoreWeave - o primeiro provedor de serviços em nuvem a anunciar a disponibilidade geral - e nos fabricantes de servidores ASUS, Dell Technologies, HPE, QTC e Supermicro.
Consulte o aviso sobre as informações do produto de software.
Sobre a NVIDIA
Desde sua fundação em 1993, a NVIDIA (NASDAQ: NVDA) tem sido pioneira em computação acelerada. A invenção da GPU pela empresa em 1999 estimulou o crescimento do mercado de games para PC, redefiniu a computação gráfica, iniciou a era da IA moderna e tem ajudado a digitalização industrial em todos os mercados. A NVIDIA agora é uma empresa de infraestrutura de computação full-stack com soluções em escala de data center que estão revolucionando o setor. Mais informações em: https://www.nvidia.com/pt-br/.
Acesse também:
Facebook: @NVIDIABrasil
Twitter: @NVIDIABrasil
YouTube: NVIDIA Latinoamérica
Instagram: @NVIDIABrasil
Informações para a imprensa:
Sing Comunicação de Resultados
28/08/2024
