- Agente (modo)
- Modo Codegen donde el modelo tiene herramientas (lectura, escritura, ejecución) y puede probar y luego corregir su juego en varias rondas.
- BF16
- Formato digital de 16 bits (bfloat16), precisión de referencia de los pesos del modelo; sirve como base de comparación para las versiones cuantificadas.
- Concurrencia
- Número de solicitudes enviadas al mismo tiempo al servidor; simula esa cantidad de usuarios simultáneos.
- control humano
- Verificación que una persona debe hacer (ver, escuchar, jugar) porque el número automático no es suficiente para concluir.
- DCGM
- Herramienta de diagnóstico de GPU NVIDIA (Administrador de GPU del centro de datos); El nivel 2 inicia pruebas de cálculo y memoria.
- decodificar
- Fase donde el modelo genera los tokens de respuesta uno por uno; limitado por el ancho de banda de la memoria.
- calidad delta
- Diferencia en puntos entre la puntuación de un modelo cuantificado y la de su referencia BF16. Alerta más allá de 2 puntos.
- DER
- Tasa de errores de diarización: porción del tiempo de uso de la palabra asignada incorrectamente (perdida, falsa alarma o orador equivocado). Más bajo es mejor.
- incrustar
- Vector digital que representa el significado de un texto, utilizado para búsqueda semántica y RAG.
- FP8
- Cuantización de punto flotante de 8 bits: aproximadamente la mitad de la memoria del BF16, a menudo más rápido, generalmente con baja pérdida de calidad.
- GGUF
- Formato de archivo de llama.cpp y Ollama, que incluye pesos cuantificados (Q8_0, Q4_K_M…) y metadatos.
- Goodput
- Rendimiento útil: la proporción de tráfico servido respetando los objetivos de latencia (SLO).
- HBM
- Memoria de alto ancho de banda soldada a la GPU (256 GB en el GB300).
- ITL
- Latencia entre tokens: tiempo entre dos tokens consecutivos de una respuesta.
- Juez de LLM
- Modelo de lenguaje que anota un resultado (aquí los juegos generados) según una cuadrícula; práctico pero no perfectamente reproducible.
- caché KV
- Memoria donde el servidor guarda el estado de cada conversación en curso; su tamaño limita la concurrencia y la longitud del contexto.
- evaluación lm
- lm-evaluación-arnés: banco de evaluación estándar para la precisión de los LLM en conjuntos de preguntas.
- MTEB
- Massive Text Embedding Benchmark: batería de tareas que mide la calidad de las incrustaciones.
- MTP
- Predicción de tokens múltiples: decodificación especulativa donde el modelo ofrece varios tokens a la vez y luego se verifica; acelera la generación.
- NVFP4
- Cuantización NVIDIA de 4 bits específica de las GPU Blackwell: cuatro veces menos memoria que BF16.
- p50 / p99
- Mediana / percentil 99: p99 es el valor que el 99% de las solicitudes no supera, es decir, el caso desfavorable que experimenta 1 usuario de cada 100.
- Precarga
- Fase en la que el modelo lee el mensaje completo antes del primer token; limitado por la potencia de cálculo. Domina el TTFT.
- Prefijo de caché
- Reutilización del cálculo de un inicio rápido visto anteriormente; desactivado durante las mediciones para no adular los resultados.
- Perfil de carga
- Par largo de entrada/largo de salida (cat 1024/1024, trapo 8192/1024, largo 32768/1024, agente 4096/2048, etc.).
- Cuantificación
- Reducción de precisión de peso (FP8, NVFP4, GGUF Q8/Q4) para ganar memoria y velocidad a costa de una posible pérdida de calidad.
- RAG
- Recuperación-Generación Aumentada: el modelo responde a partir de documentos encontrados mediante búsqueda semántica.
- RTF/RTFx
- Factor de tiempo real. RTF = tiempo de cálculo / duración del audio (tiempo real si < 1); RTFx = lo contrario (segundos de audio procesados por segundo, cuanto más alto, mejor).
- Habilidades (moda)
- Modo codegen de respuesta única, con instrucciones idénticas de mejores prácticas para todos los modelos en el indicador del sistema.
- SLO
- Objetivo de nivel de servicio: objetivo de latencia a respetar (aquí TTFT p99 ≤ 500 ms e ITL p99 ≤ 25 ms por defecto).
- tok/s
- Fichas por segundo. Agregado: todos los usuarios combinados (capacidad). Por usuario: velocidad de lectura percibida.
- ficha
- Unidad de texto manipulada por el modelo (en promedio ¾ de palabra en inglés, un poco menos en francés).
- TPOT
- Tiempo por token de salida: tiempo promedio por token generado después del primero; 1000 / TPOT = tok/s visto por un usuario.
- TTFT
- Time To First Token: retraso entre el envío de la solicitud y la recepción del primer token; es capacidad de respuesta percibida.
- Telemetría
- Lectura segundo a segundo de la potencia, temperaturas, relojes y memoria de la GPU (y CPU) durante una medición.
- VLM
- Modelo Visión-Lenguaje: modelo que acepta imágenes (o vídeos) como entrada además de texto.
- WER
- Tasa de error de palabras: proporción de palabras transcritas incorrectamente (sustituidas, olvidadas, agregadas). Más bajo es mejor.
