Modelos de Linguagem
Quantização FP8 em GPUs Nvidia Ada Lovelace e Hopper: ganhos reais de vazão em produção
Entenda os ganhos reais de vazão e economia de VRAM com quantização FP8 em GPUs Nvidia Ada Lovelace…
Hardware
Assuntos relacionados
4 matérias
Modelos de Linguagem
Quantização EXL2 para modelos de 70B em estações de trabalho: balanceamento entre VRAM e tokens
Entenda o formato EXL2 (ExLlamaV2) com precisão variável por camada para rodar modelos de 70 bilhões de parâmetros…
Modelos de Linguagem
Quantização AWQ e GPTQ para modelos de 70B: como rodar IA local com duas GPUs RTX 4090
Aprenda a hospedar modelos abertos de 70 bilhões de parâmetros localmente com quantização AWQ e GPTQ de 4…
Modelos de Linguagem
Quantização FP4 e NVFP4 em GPUs Blackwell: limites e precisão na inferência de IA
Entenda o suporte nativo a NVFP4 na arquitetura Nvidia Blackwell, os ganhos reais de vazão e as técnicas…