BenchZgxFury

I migliori valori osservati tra le misurazioni selezionate. Un throughput più elevato (tok/s) è migliore; è preferibile una latenza inferiore (TTFT = ritardo prima del primo token, TPOT = ritardo tra due token).

Un riepilogo scritto automaticamente dalle misure visualizzate (segue i filtri): cosa ricordare, famiglia per famiglia.

Un server LLM serve più utenti contemporaneamente: il concorrenza è il numero di richieste simultanee. Il flusso aggregato (token generati al secondo, tutte le richieste combinate) aumenta con la concorrenza, mentre la latenza per utente peggiora. Il TTFT è il tempo di attesa prima della prima parola, the TPOT il tempo tra due parole (p50 = valore medio, p99 = caso sfavorevole riscontrato dall'1% delle richieste). Ogni punto è la mediana di diverse ripetizioni. Le linee tratteggiate grigie sono figure pubblicate (riferimento) per lo stesso modello e lo stesso profilo.

Il buongiorno è la quantità di lavoro utile servito rispettando un obiettivo di qualità del servizio (SLO): qui TTFT p99 ≤ ms e latenza inter-token p99 ≤ signorina. La barra indica quanti utenti contemporanei supporta la macchina senza superare queste soglie; la curva mostra la quota di richieste conformi (“conseguimento”) all'aumentare del carico.

Micro-benchmark serverless llama.cpp: pp = elaborazione immediata (precompilazione, gettoni/i), tg = generazione del testo (token/i). Il suffisso _d4096 significa che il contesto contiene già 4096 token, il che rallenta entrambe le fasi.

Punteggio (%) su compiti standard: ragionamento matematico (GSM8K), conoscenza e ragionamento (MMLU-Pro), scienze, codifica, comprensione di immagini. Un modello quantificato (NVFP4, FP8, GGUF, ecc.) è più veloce e compatto ma può perdere in precisione: quando viene valutata anche la sua versione BF16, la differenza (“delta”) oltre punti viene segnalato come avviso.

Il RTFx (fattore tempo reale) indica quanti secondi di audio vengono trascritti al secondo: 1000× significa che un'ora di audio viene elaborata in 3,6 s. Il WER (tasso di errore delle parole,%) misura la precisione: inferiore = migliore.

I modelli di incorporamento trasformano il testo in un vettore per la ricerca semantica (RAG). Misuriamo il numero di richieste al secondo in base alla lunghezza del testo (256, 512 o 2048 token) e alla concorrenza, alla latenza p99 e alla qualità della ricerca (punteggio MTEB medio, più alto = migliore).

Stessi indicatori dei LLM, ma le richieste contengono un'immagine (512 px o 1024 px) o un video. L'elaborazione delle immagini allunga particolarmente il TTFT.

Numero di fotogrammi 1024x1024 (30 passaggi) prodotti al secondo in base alle dimensioni del batch, alla latenza per fotogramma, alla memoria GPU al picco e alla durata per clip per la generazione di video.

Latenza prima della prima risposta audio in base al numero di conversazioni simultanee (lavoratori). Se il server non può avviarsi (previsto sull'architettura aarch64 per alcune dipendenze), la tabella go/no-go indica il passaggio di blocco.

Matrix-Game 4.0 (Skywork) sostituisce la resa grafica di un gioco reale con una modello di streaming video : il gioco nativo gira in low-poly e la GPU “ridipinge” ogni fotogramma in tempo reale da questa visuale e dai controlli del giocatore. Vengono misurate due scene: Doom (Antico Egitto, riprese in prima persona) e kart (corsa, corsa). Tre frame rate al secondo: Modello FPS = immagini prodotte dal solo modello, Sparatutto in linea = immagini effettivamente servite al cliente durante la sessione (ciò che vede il giocatore), FPS codificati = immagini in uscita dal codificatore video H.264. Notiamo anche il ritardo prima della prima immagine, l'avvio del server, la latenza per blocco immagine (chunk) e la VRAM al massimo. IL clip mostra la doppia visualizzazione basso numero di poligoni | reso giudicare a occhio. Viene riportato un rendering software OpenGL (senza NVIDIA EGL): i suoi FPS non sono rappresentativi.

Ogni modello riceve le stesse istruzioni e deve produrre, a temperatura 0, sette giochi HTML5 completi in un unico file (snake, breakout, flappy, invaders, tetris, doom, kart), secondo diverse mode : abilità (una risposta unica, con schede di buone pratiche identiche per tutti i modelli), agente (l'agente pi scrive il file, lo testa lui stesso e lo corregge, con le stesse competenze) ed eventualmente oneshot (solo deposito). Le didascalie recitano "modello · moda". Il file generato viene caricato in un Chromium senza schermo per 15 s con chiavi iniettate: controlliamo che sia prende il comando, inizia e funziona senza bloccarsi, contiamo le immagini renderizzate e gli errori della console. Un modello di giudice locale valuta quindi il codice su 10 (completezza in relazione alle istruzioni, giocabilità, qualità del codice); il punteggio complessivo è la media. La menzione “autovalutazione” indica che il giudice è il modello valutato, il che può influenzare il punteggio. Fare clic su una miniatura per riprodurre al gioco generato e confronta i modelli manualmente.

La diarizzazione divide una registrazione in turni di parola assegnati a ciascun oratore. IL DER (tasso di errore di diarizzazione,%) è la porzione di tempo attribuita erroneamente: inferiore = migliore. Si scompone in parole mancato, falso allarme (discorso rilevato erroneamente) e confusione tra gli altoparlanti. Il RTFx indica quanti secondi di audio vengono elaborati al secondo; nella moda streaming, misuriamo anche la latenza di elaborazione di ciascun blocco audio.

Potenza, temperatura e orologio della GPU registrati ogni secondo durante una misurazione (nvidia-smi dmon), quindi, una volta registrata, l'attività del processore e della memoria della Stazione ogni 2 s (CPU totale, core occupati, contenitori server e client, memoria utilizzata). Il grafico a dispersione mette in relazione la potenza media e il throughput per stimare l'efficienza energetica (token al secondo e per watt).

Ogni riga è un record JSON. Fai clic su un'intestazione per ordinare, tocca per filtrare, esporta in CSV. Le misurazioni non riuscite visualizzano il messaggio di errore al passaggio del mouse.