- Agente (modo)
- Modo Codegen onde o modelo possui ferramentas (ler, escrever, executar) e pode testar e depois corrigir seu jogo em diversas rodadas.
- BF16
- Formato digital de 16 bits (bfloat16), precisão de referência dos pesos do modelo; serve de base de comparação para as versões quantificadas.
- Concorrência
- Número de solicitações enviadas ao mesmo tempo ao servidor; simula tantos usuários simultâneos.
- Controle humano
- Verificação que uma pessoa deve fazer (assistir, ouvir, jogar) porque o número automático não é suficiente para concluir.
- DCGM
- Ferramenta de diagnóstico de GPU NVIDIA (Data Center GPU Manager); o nível 2 inicia testes de cálculo e memória.
- Decodificar
- Fase onde o modelo gera os tokens de resposta um por um; limitado pela largura de banda da memória.
- Qualidade delta
- Diferença em pontos entre a pontuação de um modelo quantificado e a de sua referência BF16. Alerta além de 2 pontos.
- DER
- Taxa de erro de diarização: parcela do tempo de conversação alocada incorretamente (perdida, alarme falso ou locutor errado). Menor é melhor.
- Incorporação
- Vetor digital representando o significado de um texto, utilizado para busca semântica e RAG.
- FP8
- Quantização de ponto flutuante de 8 bits: cerca de metade da memória do BF16, geralmente mais rápida, geralmente com perda de qualidade baixa.
- GGUF
- Formato de arquivo llama.cpp e Ollama, que inclui pesos quantificados (Q8_0, Q4_K_M…) e metadados.
- Goodput
- Taxa de transferência útil: a parcela de tráfego atendida respeitando os objetivos de latência (SLO).
- HBM
- Memória de alta largura de banda soldada à GPU (256 GB no GB300).
- ITL
- Latência entre tokens: tempo entre dois tokens consecutivos de uma resposta.
- Juiz LLM
- Modelo de linguagem que anota um resultado (aqui os jogos gerados) de acordo com uma grade; prático, mas não perfeitamente reproduzível.
- Cache KV
- Memória onde o servidor guarda o estado de cada conversação em curso; seu tamanho limita a simultaneidade e o comprimento do contexto.
- lm-avaliação
- lm-evaluation-harness: bancada de avaliação padrão para a precisão de LLMs em conjuntos de questões.
- MTEB
- Massive Text Embedding Benchmark: bateria de tarefas que mede a qualidade dos embeddings.
- MTP
- Predição Multi-Token: decodificação especulativa onde o modelo oferece vários tokens ao mesmo tempo e depois é verificado; acelera a geração.
- NVFP4
- Quantização NVIDIA de 4 bits específica para GPUs Blackwell: quatro vezes menos memória que BF16.
- p50/p99
- Mediana/percentil 99: p99 é o valor que 99% das solicitações não ultrapassam, ou seja, o caso desfavorável vivido por 1 usuário em 100.
- Pré-preenchimento
- Fase onde o modelo lê todo o prompt antes do primeiro token; limitado pelo poder de computação. Domina o TTFT.
- Prefixo de cache
- Reutilização do cálculo de um prompt start visto anteriormente; desabilitado durante as medições para não embelezar os resultados.
- Perfil de carregamento
- Par comprimento de entrada / comprimento de saída (cat 1024/1024, pano 8192/1024, longo 32768/1024, agente 4096/2048, etc.).
- Quantificação
- Redução da precisão do peso (FP8, NVFP4, GGUF Q8/Q4) para ganho de memória e velocidade ao custo de uma possível perda de qualidade.
- RAG
- Geração Aumentada de Recuperação: o modelo responde a partir de documentos encontrados por busca semântica.
- RTF/RTFx
- Fator de tempo real. RTF = tempo de cálculo / duração do áudio (tempo real se < 1); RTFx = o oposto (segundos de áudio processados por segundo, quanto maior, melhor).
- Habilidades (moda)
- Modo codegen de resposta única, com instruções de práticas recomendadas idênticas para todos os modelos no prompt do sistema.
- SLO
- Objetivo de Nível de Serviço: objetivo de latência a ser respeitado (aqui TTFT p99 ≤ 500 ms e ITL p99 ≤ 25 ms por padrão).
- tok/s
- Tokens por segundo. Agregado: todos os usuários combinados (capacidade). Por usuário: velocidade de leitura percebida.
- Símbolo
- Unidade de texto manipulada pelo modelo (em média ¾ de palavra em inglês, um pouco menos em francês).
- TPOT
- Time Per Output Token: tempo médio por token gerado após o primeiro; 1000 / TPOT = tok/s visto por um usuário.
- TTFT
- Time To First Token: atraso entre o envio da solicitação e o primeiro token recebido; é a capacidade de resposta percebida.
- Telemetria
- Leitura segundo a segundo da potência da GPU (e CPU), temperaturas, clocks e memória durante uma medição.
- VLM
- Modelo Visão-Linguagem: modelo que aceita imagens (ou vídeos) como entrada além de texto.
- WER
- Taxa de erros de palavras: parcela de palavras transcritas incorretamente (substituídas, esquecidas, acrescentadas). Menor é melhor.
