Amazon aumenta significativamente a velocidade de inferência para novos recursos de IA, empregando a combinação de NVIDIA TensorRT-LLM e GPUs
É difícil imaginar uma indústria mais competitiva — ou acelerada — do que o varejo online. Os vendedores precisam criar listagens de produtos atraentes e informativas que devem ser envolventes, capturar a atenção e gerar confiança. A Amazon, uma das líderes do setor, utiliza contêineres otimizados na Amazon Elastic Compute Cloud (Amazon EC2) com GPUs NVIDIA Tensor Core para alimentar uma ferramenta de IA generativa que encontra esse equilíbrio na velocidade do varejo moderno.
As novas capacidades de IA generativa da Amazon ajudam os vendedores a criar de forma contínua títulos, descrições e atributos de produtos. Para começar, a Amazon identifica listagens onde o conteúdo poderia ser melhorado e alavanca a IA generativa para gerar automaticamente conteúdo de alta qualidade. Os vendedores revisam o conteúdo gerado e podem fornecer feedback, se desejarem, ou aceitar as alterações de conteúdo para o catálogo da Amazon.
Anteriormente, criar listagens de produtos detalhadas exigia tempo e esforço significativos para os vendedores, mas esse processo simplificado dá mais tempo para se concentrarem em outras tarefas. O software NVIDIA TensorRT-LLM está disponível hoje no GitHub e pode ser acessado por meio do NVIDIA AI Enterprise, que oferece segurança, suporte e confiabilidade de nível empresarial para IA em produção.
O software de código aberto TensorRT-LLM torna a inferência de IA mais rápida e inteligente. Ele funciona com grandes modelos de linguagem (LLMs), como os modelos da Amazon para as capacidades acima, que são treinados em grandes quantidades de texto. Nas GPUs NVIDIA H100 Tensor Core, o TensorRT-LLM permite um aumento de até 8x na velocidade em LLMs fundamentais como Llama 1 e 2, Falcon, Mistral, MPT, ChatGLM, Starcoder e mais.
Ele também suporta inferência multi-GPU e multi-nó, , atenção paginada e Hopper Transformer Engine com precisão FP8; tudo isso melhora as latências e a eficiência para a experiência do vendedor. Ao utilizar o TensorRT-LLM e as GPUs NVIDIA, a Amazon melhorou a eficiência da inferência de sua ferramenta de IA generativa em termos de custo ou GPUs necessários em 2x, e reduziu a latência de inferência em 3x, em comparação com uma implementação anterior sem o TensorRT-LLM.
Os ganhos de eficiência tornam o processo mais ecologicamente correto, e a melhoria de latência em 3x torna as capacidades generativas do catálogo da Amazon mais responsivas.
"As capacidades de IA generativa podem economizar tempo para os vendedores e fornecer informações mais ricas com menos esforço. Por exemplo, pode enriquecer uma listagem de um mouse sem fio com um design ergonômico, longa vida útil da bateria, configurações ajustáveis de cursor e compatibilidade com vários dispositivos. Ele também pode gerar atributos do produto, como cor, tamanho, peso e material. Esses detalhes podem ajudar os clientes a tomar decisões informadas e reduzir devoluções", complementa Marcio Aguiar, diretor da divisão Enterprise da NVIDIA para América Latina.
Com a IA generativa, os vendedores da Amazon podem criar rapidamente listagens mais envolventes e serem mais eficientes em termos energéticos, possibilitando alcançar mais clientes e expandir seus negócios rapidamente.
Os desenvolvedores podem começar com o TensorRT-LLM, com suporte empresarial disponível por meio do NVIDIA AI Enterprise.
Sobre a NVIDIA
Desde sua fundação em 1993, a NVIDIA (NASDAQ: NVDA) tem sido pioneira em computação acelerada. A invenção da GPU pela empresa em 1999 estimulou o crescimento do mercado de games para PC, redefiniu a computação gráfica, iniciou a era da IA moderna e tem ajudado a digitalização industrial em todos os mercados. A NVIDIA agora é uma empresa de infraestrutura de computação full-stack com soluções em escala de data center que estão revolucionando o setor. Mais informações em: https://www.nvidia.com/pt-br/.
Acesse também:
Facebook: @NVIDIABrasil
Twitter: @NVIDIABrasil
YouTube: NVIDIA Latinoamérica
Instagram: @NVIDIABrasil
Informações para a imprensa:
Sing Comunicação de Resultados
07/02/2024
