BenchZgxFury

Los mejores valores observados entre las mediciones seleccionadas. Un mayor rendimiento (tok/s) es mejor; una latencia más baja (TTFT = retraso antes del primer token, TPOT = retraso entre dos tokens) es mejor.

Un resumen escrito automáticamente a partir de las medidas mostradas (sigue los filtros): qué recordar, familia por familia.

Un servidor LLM atiende a varios usuarios al mismo tiempo: el competencia es el número de solicitudes simultáneas. el flujo agregado (tokens generados por segundo, todas las solicitudes combinadas) aumenta con la concurrencia, mientras que la latencia por usuario se deteriora. el TTFT es el tiempo de espera antes de la primera palabra, el TPOT el tiempo entre dos palabras (p50 = valor medio, p99 = caso desfavorable experimentado por el 1% de las solicitudes). Cada punto es la mediana de varias repeticiones. Las líneas de puntos grises son figuras publicadas (referencia) para el mismo modelo y mismo perfil.

el bien puesto es la cantidad de trabajo útil realizado respetando un objetivo de calidad de servicio (SLO): aquí TTFT p99 ≤ ms y latencia entre tokens p99 ≤ sra. La barra indica cuántos usuarios simultáneos admite la máquina sin superar estos umbrales; la curva muestra la proporción de solicitudes conformes (“logro”) a medida que aumenta la carga.

Micro-benchmark llama.cpp sin servidor: pp = procesamiento rápido (precarga, tokens/s), tg = generación de texto (tokens/s). el sufijo _d4096 significa que el contexto ya contiene 4096 tokens, lo que ralentiza ambas fases.

Puntuación (%) en tareas estándar: razonamiento matemático (GSM8K), conocimiento y razonamiento (MMLU-Pro), ciencias, codificación, comprensión de imágenes. Un modelo cuantificado (NVFP4, FP8, GGUF, etc.) es más rápido y compacto pero puede perder precisión: cuando se evalúa también su versión BF16, la diferencia (“delta”) más allá puntos se informa como una alerta.

el RTFx (factor de tiempo real) indica cuántos segundos de audio se transcriben por segundo: 1000× significa que una hora de audio se procesa en 3,6 s. el WER (tasa de error de palabras, %) mide la precisión: menor = mejor.

Los modelos de incrustación transforman el texto en un vector para búsqueda semántica (RAG). Medimos el número de solicitudes por segundo según la longitud del texto (256, 512 o 2048 tokens) y la concurrencia, la latencia p99 y la calidad de la búsqueda (puntaje MTEB promedio, mayor = mejor).

Los mismos indicadores que para los LLM, pero las solicitudes contienen una imagen (512 px o 1024 px) o un video. El procesamiento de imágenes alarga especialmente el TTFT.

Número de cuadros de 1024x1024 (30 pasos) producidos por segundo según el tamaño del lote, la latencia por cuadro, la memoria de la GPU en su punto máximo y la duración por clip para la generación de video.

Latencia antes de la primera respuesta de audio según el número de conversaciones simultáneas (trabajadores). Si el servidor no pudo iniciarse (lo que se espera en la arquitectura aarch64 para ciertas dependencias), la tabla de ir/no ir indica el paso de bloqueo.

Matrix-Game 4.0 (Skywork) reemplaza la representación gráfica de un juego real por una plantilla de transmisión de video : el juego nativo se ejecuta en low-poly y la GPU "repinta" cada cuadro en tiempo real desde esta vista y los controles del jugador. Se miden dos escenas: Doom (antiguo Egipto, disparos en primera persona) y kart (carrera, carrera). Tres velocidades de fotogramas por segundo: modelo FPS = imágenes producidas solo por el modelo, FPS en línea = imágenes realmente entregadas al cliente durante la sesión (lo que ve el jugador), FPS codificado = imágenes emitidas desde el codificador de vídeo H.264. También notamos el retraso antes de la primera imagen, el inicio del servidor, la latencia por bloque de imagen (fragmento) y la VRAM en su punto máximo. EL clip muestra vista dual baja poli | prestado juzgar a simple vista. Se informa una representación de software OpenGL (sin NVIDIA EGL): sus FPS no son representativos.

Cada modelo recibe las mismas instrucciones y debe producir, a temperatura 0, siete juegos HTML5 completos en un solo archivo (snake, breakout, flappy, invaders, tetris, doom, kart), según varios modas : habilidades (una respuesta única, con hojas de mejores prácticas idénticas para todos los modelos), agente (el agente pi escribe el archivo, lo prueba él mismo y lo corrige, con las mismas habilidades) y posiblemente un trago (solo depósito). Los subtítulos dicen "modelo · moda". El archivo generado se carga en un Chromium sin pantalla durante 15 s con claves inyectadas: comprobamos que se hace cargo, comienza y corre sin chocar, contamos las imágenes renderizadas y los errores de la consola. Luego, un modelo de juez local califica el código sobre 10 (integridad en relación con las instrucciones, jugabilidad, calidad del código); la puntuación general es la media. La mención “autoevaluación” indica que el juez es el modelo evaluado, lo que puede sesgar la puntuación. Haga clic en una miniatura para jugar al juego generado y comparar los modelos a mano.

La diarización divide una grabación en turnos de habla asignados a cada orador. EL DER (tasa de error de registro, %) es la porción de tiempo mal atribuida: menor = mejor. Se divide en palabras perdido, falsa alarma (habla detectada erróneamente) y confusión entre hablantes. el RTFx indica cuántos segundos de audio se procesan por segundo; en la moda transmisión, también medimos la latencia de procesamiento de cada fragmento de audio.

La potencia, la temperatura y el reloj de la GPU se registran cada segundo durante una medición (nvidia-smi dmon), luego, cuando se registra, la actividad del procesador y la memoria de la estación cada 2 s (CPU total, núcleos ocupados, contenedores de servidor y cliente, memoria utilizada). El diagrama de dispersión relaciona la potencia promedio y el rendimiento para estimar la eficiencia energética (tokens por segundo y por vatio).

Cada línea es un registro JSON. Haga clic en un encabezado para ordenar, toque para filtrar y exporte a CSV. Las mediciones fallidas muestran su mensaje de error al pasar el mouse.