Modelos de Linguagem
Continuous Batching e PagedAttention no vLLM
Entenda como continuous batching e PagedAttention organizam tarefas e KV cache no vLLM. Ajuste concorrência, contexto e memória…
KV-cache
Assuntos relacionados
3 matérias
Modelos de Linguagem
Prefix caching no vLLM: reduza o processamento repetido
Aprenda a configurar prefix caching no vLLM, organizar prompts repetidos e medir latência, acertos e custo real da…
Modelos de Linguagem
Mecanismos de atenção em IA: MHA, GQA e MQA explicados na prática
Entenda como Multi-Head Attention (MHA), Grouped-Query Attention (GQA) e Multi-Query Attention (MQA) funcionam e por que impactam a…