BenchZgxFury

Ile tokenów na sekundę produkuje maszyna i jakie opóźnienie widzi każdy użytkownik, gdy obciążenie wzrasta?

Co się mierzy

Czas do pierwszego tokenu (TTFT), czas na token (TPOT), opóźnienie między tokenami (ITL), łączna przepustowość i na użytkownika, od 1 do 128, dla każdego profilu obciążenia.

Protokół

ławka vllm obsługuje serwer OpenAI silnika (vLLM, SGLang, llama.cpp, Ollama), stałe długości wejściowe i wyjściowe, --ignore-eos, temperatura 0, wyłączona pamięć podręczna prefiksów, 4 × zapytania współbieżności, 3 powtórzenia, mediana.

Metryki

• łączna przepustowość (tok/s) ↑ wyżej = lepiej
• przepustowość na użytkownika (tok/s) ↑ wyżej = lepiej
• TTFT (ms) ↓ niżej = lepiej
• TPOT (ms) ↓ niżej = lepiej

Zainteresowanie w porównaniu do innych testów

Jest to miara surowej wydajności: mówi, ile maszyna może wyprodukować. Nie mówi, czy ta przepustowość jest użyteczna (jest to rola goodput, która dodaje cele w zakresie opóźnień), ani czy odpowiedzi są prawidłowe (jest to rola lm-eval). W przeciwieństwie do llama-bench, przechodzi przez prawdziwy serwer HTTP z jednoczesnymi żądaniami: tego właśnie doświadczy aplikacja.

Jak czytać

Łączny przepustowość wzrasta wraz z konkurencją, a następnie osiąga plateau: pułap to pojemność maszyny dla tego modelu. Spada przepustowość na użytkownika: poniżej około 20 tok/s odczyt na żywo staje się bolesny. Porównanie FP8 i BF16 tego samego modelu daje korzyści ilościowe.

Ograniczenia

Zapytaniom syntetycznym o stałej długości brakuje różnorodności rzeczywistego ruchu; prefiks pamięci podręcznej, który bardzo pomaga w produkcji (RAG, agenci), został celowo dezaktywowany.

Pokrycie

854 mesures valides, 5 en échec · Apertus-v1.5-70B bf16, Apertus-v1.5-8B bf16, DFM-Mimir-v1.5-GGUF gguf-bf16, gpt-oss-120b mxfp4, normistral-11b-long bf16, normistral-11b-thinking bf16, Ornith-1.5-35B-A3B bf16, Ornith-1.5-35B-A3B-FP8 fp8, Qwen3-Coder-Next bf16, Qwen3-Coder-Next-FP8 fp8, Qwen3.8-27B bf16, Qwen3.8-27B-FP8 fp8, Qwen3.8-27B-GGUF gguf-q8_0, VeriLoop-E2 bf16, VeriLoop-E2-GGUF gguf-bf16

Ilu jednoczesnych użytkowników obsługuje maszyna, przestrzegając celów związanych z opóźnieniami?

Co się mierzy

Maksymalna współbieżność, dla której 99% żądań uwzględnia TTFT ≤ 500 ms i ITL ≤ 25 ms (domyślnie) oraz odpowiadająca użyteczna przepustowość.

Protokół

GuideLLM, zamiatanie ładunku (zamiatanie), a następnie profil goodput z SLO; powrót do przemiatania (p99 ≤ SLO), jeśli profil ulegnie awarii.

Metryki

• maksymalna współbieżność w ramach SLO ↑ wyżej = lepiej
• użyteczna przepustowość (tok/s) ↑ wyżej = lepiej

Zainteresowanie w porównaniu do innych testów

Tam, gdzie llm_serve daje maksymalny przepustowość, goodput daje przepustowość, który można sprzedać: silnik, który produkuje dużo, ale z p99 wynoszącym 3 s, nikomu nie służy właściwie. Jest to liczba, o której należy pamiętać przy ustalaniu rozmiaru usługi.

Jak czytać

Współbieżność w ramach SLO wynosząca 0 oznacza, że nawet pojedynczy użytkownik przekracza cel (często TTFT długiego kontekstu).

Ograniczenia

Wynik zależy całkowicie od wybranych SLO; zmiana 25 ms na 50 ms może podwoić wydajność.

Pokrycie

3 mesures valides, 3 en échec · Ornith-1.5-35B-A3B-FP8 fp8, Qwen3-Coder-Next-FP8 fp8, Qwen3.8-27B-FP8 fp8

Jaka jest surowa przepustowość pliku llama.cpp dla pliku GGUF bez serwera lub sieci?

Co się mierzy

Przepustowość wstępnego wypełniania (pp, tok/s) i generowania (tg, tok/s) na wielu głębokościach kontekstu.

Protokół

oficjalny plik binarny Lama-bench, jedno zapytanie na raz, wszystkie warstwy na GPU.

Metryki

• tok/s ↑ wyżej = lepiej

Zainteresowanie w porównaniu do innych testów

Izoluje silnik llama.cpp i format GGUF od efektów serwera HTTP. Używane do wzajemnego porównywania kwantyfikacji GGUF (Q8, Q4, BF16) i identyfikowania strat spowodowanych przez serwer (różnica z llm_serve w konkursie 1).

Ograniczenia

Pojedynczy przepływ, brak konkurencji: nie przewiduje wydajności dla wielu użytkowników.

Pokrycie

24 mesures valides, 1 en échec · DFM-Mimir-v1.5-GGUF gguf-bf16, Qwen3.8-27B-GGUF gguf-q8_0, VeriLoop-E2-GGUF gguf-bf16

Czy kwantyfikacja powoduje utratę dokładności w porównaniu z modelem referencyjnym BF16?

Co się mierzy

Wynik (%) w gsm8k (wnioskowanie matematyczne), gpqa_diamond (pytania eksperckie), mmlu_pro (wiedza, 1000 przykładów), humaneval (kod) i różnica punktów z odniesieniem BF16.

Protokół

lm-eval-harness na punkcie końcowym OpenAI serwera nadal gorący, temperatura 0, tylko zadania generatywne; odniesienie BF16 jest oceniane w tym samym przebiegu.

Metryki

• wynik na zadanie (%) ↑ wyżej = lepiej
• różnica vs BF16 (punkty) ↑ wyżej = lepiej

Zainteresowanie w porównaniu do innych testów

Przeciwwaga testów prędkości: FP8 dwukrotnie szybszy jest interesujący tylko wtedy, gdy jego odchylenie mieści się w tolerancji (2 punkty). Nie jest to absolutna klasyfikacja modeli pomiędzy sobą (zadania są krótkie i wyrywkowe), jest to zabezpieczenie dla kwantyfikacji.

Jak czytać

Ujemne odchylenie powyżej 2 punktów stanowi ostrzeżenie; kilka dziesiątych w jedną lub drugą stronę to hałas.

Ograniczenia

Podzbiory przykładów, brak logarytmu prawdopodobieństwa; Różnice w formacie odpowiedzi mogą skutkować utratą punktów bez błędów merytorycznych.

Sprawdź to sam

W przypadku alertu odczytaj fałszywe odpowiedzi z nieprzetworzonych wyników (źle wyodrębniony format odpowiedzi lub prawdziwy błąd?).

Pokrycie

4 mesures valides, 5 en échec · Apertus-v1.5-70B bf16, Apertus-v1.5-8B bf16, normistral-11b-thinking bf16, Qwen3.8-27B-FP8 fp8

Czy szablon poprawnie rozpoznaje obrazy i filmy?

Co się mierzy

Wynik (%) w MMMU (pytania uniwersyteckie ze zdjęciem) i Video-MME (pytania wideo).

Protokół

lmms-eval na obsługiwanym punkcie końcowym, zarejestrowane odpowiedzi (--log_samples).

Metryki

• wynik na zadanie (%) ↑ wyżej = lepiej

Zainteresowanie w porównaniu do innych testów

Wykonuje test vlm, który mierzy przepustowość wyłącznie przy użyciu obrazów syntetycznych, bez oceniania odpowiedzi.

Ograniczenia

Podzespoły; Wyniki wrażliwe na format odpowiedzi.

Pokrycie

2 mesures valides · Qwen3.8-27B bf16, Qwen3.8-27B-FP8 fp8

Czy model pisze samodzielnie lub jako agent kompletny program, który działa?

Co się mierzy

Siedem gier HTML5 (wąż, łamacz cegieł, flappy, najeźdźcy, tetris, Doom-like, kart) według modelu i trybu (umiejętności, agent). Automatyczne dowody: ładowanie, pętla animacji, obrazy renderowane w 15 s, wyjątki, błędy konsoli. Ocena od sędziego LLM (kompletność, grywalność, jakość kodu, na 10). Koszt: czas trwania, żetony, tury agentów.

Protokół

Ta sama specyfikacja i monit dla wszystkich, temperatura 0; działający w Chromium bez ekranu (dramaturg); ten sam sędzia dla wszystkich modeli w serii.

Metryki

• ocena sędziowska (/10) ↑ wyżej = lepiej
• kompletne wykonanie ↑ wyżej = lepiej
• czas generacji ↓ niżej = lepiej

Zainteresowanie w porównaniu do innych testów

Jedyny test, który ocenia zadanie od początku do końca, a nie krótką odpowiedź: humaneval sprawdza funkcję, codegen sprawdza działający program. Tryb agenta dodatkowo mierzy umiejętność korzystania z narzędzi i samokorekty, kosztem większej ilości czasu i żetonów (wyświetlanych w „Koszcie gry według trybu”).

Jak czytać

Wysoka ocena z „nieudaną realizacją” jest podejrzana. Wynik uzyskany przez oceniający się model jest oznaczony jako „samoocena”.

Ograniczenia

Sędzia LLM nie jest całkowicie powtarzalny i może preferować swój własny styl; „działa przez 15 sekund bez błędu” nie oznacza „zabawnego” lub „zgodnego”.

Sprawdź to sam

Graj w gry z poziomu panelu kontrolnego (kafelek „graj”, natychmiastowa zmiana modelu) i potwierdź, że ocena sędziego odpowiada rzeczywistej grywalności, szczególnie w przypadku graczy znajdujących się na czołowych miejscach rankingów.

Pokrycie

50 mesures valides, 5 en échec · Apertus-v1.5-70B bf16, Apertus-v1.5-8B bf16, Qwen3-Coder-Next-FP8 fp8, Qwen3.8-27B-FP8 fp8

Z jaką szybkością model obsługuje żądania czatu zawierające obrazy?

Co się mierzy

TTFT, TPOT, zagregowany bitrate zgodny z konkurencją, z obrazami syntetycznymi o stałym rozmiarze (opcja wideo).

Protokół

AIperf, wygenerowane obrazy, stałe długości wyjściowe.

Metryki

• łączna przepustowość (tok/s) ↑ wyżej = lepiej
• TTFT (ms) ↓ niżej = lepiej

Zainteresowanie w porównaniu do innych testów

Pokazuje koszt obrazu: w porównaniu do llm_serve w tym samym modelu, odchylenie TTFT to czas kodowania wizualnego. Dokładność odpowiedzi mierzy się oddzielnie za pomocą lmms-eval.

Ograniczenia

Obrazy syntetyczne bez treści; odpowiedzi nie są oceniane.

Pokrycie

20 mesures valides · Qwen3.8-27B bf16, Qwen3.8-27B-FP8 fp8

Ile dźwięku jest transkrybowanego na sekundę i z iloma błędami?

Co się mierzy

RTFx (sekundy dźwięku na sekundę obliczeń), TTFT i opóźnienie współbieżności; WER na LibriSpeech test-clean (angielski) i FLEURS (francuski).

Protokół

skrypt asr_bench (opóźnienie, przepustowość, RTFx) i asr_wer względem punktu końcowego audio serwera; znormalizowany tekst przed obliczeniem WER.

Metryki

• RTFx ↑ wyżej = lepiej
• WER (%) ↓ niżej = lepiej

Zainteresowanie w porównaniu do innych testów

Szybkość i dokładność mierzone są na tych samych modelach: możemy bezpośrednio zobaczyć, czy szybszy model „turbo” traci WER. FLOWERS w języku francuskim służy do identyfikacji modeli, które są ważne tylko w języku angielskim.

Jak czytać

~2,7% WER w LibriSpeech to opublikowany benchmark dla Whisper Large-v3; Francuski jest zawsze wyższy.

Ograniczenia

WER zależy od standaryzacji tekstu (interpunkcja, cyfry, akcenty).

Sprawdź to sam

Przeczytaj kilka francuskich transkrypcji: część WER może pochodzić z normalizacji (liczby, elizje), a nie z rzeczywistych błędów.

Pokrycie

36 mesures valides · Qwen3-ASR-1.7B bf16, whisper-large-v3 fp16, whisper-large-v3-turbo fp16

Czy model prawidłowo i wystarczająco szybko przypisuje każdy fragment właściwemu mówcy?

Co się mierzy

DER (wskaźnik błędów diaryzacji) z podziałem na nieodebraną mowę, fałszywy alarm i dezorientację mówiącego; Offline RTFx (partie 1 i 8); opóźnienie na segment w transmisji strumieniowej.

Protokół

Nemotron-3-Diaryzacja poprzez NeMo na teście VoxConverse (50 plików), pyannote.metrics, kołnierz 0,25 s, w tym zakładki.

Metryki

• DER (%) ↓ niżej = lepiej
• RTFx ↑ wyżej = lepiej

Zainteresowanie w porównaniu do innych testów

Wypełnia ASR dotyczący spotkań i wywiadów: transkrypcja mówi co, diaryzacja mówi kto.

Ograniczenia

VoxConverse jest w języku angielskim i pochodzi z debat telewizyjnych; inny typ rekordu może dać zupełnie inny DER.

Pokrycie

0 mesure valide, 2 en échec

Czy możemy prowadzić rozmowę głosową w czasie rzeczywistym i z iloma użytkownikami?

Co się mierzy

Go/no-go aarch64, opóźnienie pierwszego dźwięku, liczba jednoczesnych strumieni, współczynnik czasu rzeczywistego (RTF) dla Moshi (głos na głos), STT i TTS.

Protokół

Oficjalne serwery Kyutai, klienci syntetyczni równolegle.

Metryki

• pierwszy dźwięk (ms) ↓ niżej = lepiej
• RTF ↓ niżej = lepiej

Zainteresowanie w porównaniu do innych testów

Jedyny interaktywny test dźwięku w czasie rzeczywistym: nie chodzi już o natężenie przepływu, ale o utrzymanie rytmu mowy (RTF < 1).

Ograniczenia

Nie oceniaj naturalności głosu ani trafności reakcji.

Sprawdź to sam

Słuchaj wymiany zdań (naturalność głosu, cięcia, odczuwalne opóźnienie); RTF < 1 nie oznacza przyjemnej rozmowy.

Pokrycie

2 mesures valides, 5 en échec · stt-1b-en_fr bf16, tts-1.6b-en_fr bf16

Ile tekstów wektoryzuje się na sekundę i czy wyszukiwanie pozwala znaleźć odpowiednie dokumenty?

Co się mierzy

Żądania/s, tokeny/s, opóźnienie p50/p99 w /v1/osadzaniach przy wielu rozmiarach wejściowych; Średni wynik MTEB w podzbiorze zadań wyszukiwania FR/EN.

Protokół

AIPerf dla szybkości, skrypt mteb_eval na obsługiwanym punkcie końcowym dla jakości.

Metryki

• żądania/y ↑ wyżej = lepiej
• Średni MTEB ↑ wyżej = lepiej

Zainteresowanie w porównaniu do innych testów

Wymiary indeksowania RAG (prędkość) i wybór modelu (jakość); mały, bardzo szybki model jest użyteczny tylko wtedy, gdy jego MTEB pozostaje blisko.

Ograniczenia

podzbiór MTEB; nie zastępuje wyceny na własnych dokumentach.

Pokrycie

24 mesures valides, 4 en échec · bge-m3 fp16, Qwen3-Embedding-8B bf16

Ile obrazów (lub klipów) generuje maszyna na sekundę?

Co się mierzy

Klatki/s według rozmiaru partii i rozdzielczości (SDXL, Qwen-Image), sekundy na klip (Wan 2.2), opóźnienie, pamięć GPU.

Protokół

Potoki Diffusion, stała liczba kroków, stałe podpowiedzi.

Metryki

• klatek/sek ↑ wyżej = lepiej
• s za klip ↓ niżej = lepiej

Zainteresowanie w porównaniu do innych testów

Tylko pomiar pojemności na modelach obrazu: porównuje modele z równą liczbą kroków, a nie z równą jakością.

Ograniczenia

Jakość obrazów nie jest mierzona (ani automatyczna punktacja, ani systematyczne przechowywanie obrazów).

Sprawdź to sam

Generuj i przeglądaj przykładowe obrazy dla każdego modelu z tymi samymi podpowiedziami przed porównaniem szybkości transmisji; szybszy model może generować bezużyteczne obrazy.

Pokrycie

6 mesures valides · Qwen-Image bf16, stable-diffusion-xl-base-1.0 fp16

Czy model strumieniowego przesyłania wideo może zastąpić renderowanie gier w czasie rzeczywistym na tym komputerze?

Co się mierzy

Zdjęcia samego modelu, udostępnione online i zakodowane; opóźnienie przed pierwszym obrazem; opóźnienie na blok (p50/p90/p99); VRAM w szczycie; utracone obrazy. 20-sekundowy klip w podwójnym widoku.

Protokół

Oficjalny serwer repozytorium, klient syntetyczny odtwarzający akcje 60-sekundowe na scenę (Egipt, wyścig) i ustawienia wstępne (czas rzeczywisty, jakość).

Metryki

• klatek/s online ↑ wyżej = lepiej
• pierwsze obrazy ↓ niżej = lepiej

Zainteresowanie w porównaniu do innych testów

Mierzy nowe obciążenie (interaktywny świat generatywny), gdzie liczy się tylko utrzymanie kadencji; żaden inny test tego nie obejmuje.

Jak czytać

Około 24 klatek/s renderowanie wydaje się płynne; poniżej 15 klatek/s jest szarpany. Sesja „renderowania programowego” nie jest reprezentatywna.

Ograniczenia

Akcja → opóźnienie obrazu widoczne w przeglądarce nie jest mierzone; nie obserwuje się spójności wizualnej.

Sprawdź to sam

Oglądaj klipy w podwójnym widoku (low-poly | renderowane) i graj na żywo („benchzgx play”), aby ocenić spójność i szybkość reakcji.

Pokrycie

2 mesures valides · Matrix-Game-4.0 bf16

Na jakiej maszynie, na jakim procesorze graficznym, jakim sterowniku i w jakich wersjach wykonano pomiary?

Co się mierzy

Nazwa hosta, procesor graficzny i pamięć, pojemność obliczeniowa, sterownik i CUDA, limit mocy, procesor, pamięć RAM, system operacyjny, jądro, doker.

Protokół

Odczyt nvidia-smi, /proc i wersji dokera na początku każdego uruchomienia; wynik jest dołączony do przebiegu.

Zainteresowanie w porównaniu do innych testów

Samo w sobie niczego nie porównuje: sprawia, że pozostałe dane są porównywalne w dwóch kampaniach (ten sam kierowca, ten sam limit mocy). Nie należy mieszać dwóch serii z różnymi zapasami bez zgłoszenia tego.

Ograniczenia

Nie sprawdza temperatury chłodzenia ani otoczenia.

Pokrycie

2 mesures valides

Czy procesor graficzny jest w stanie generować wiarygodne pomiary?

Co się mierzy

Diagnostyka DCGM (poziom 2), nienaprawione błędy ECC, ostatnie błędy XID, wolny dysk, przepustowość hosta ↔ GPU (nvbandwidth).

Protokół

dcgmi diag -r 2, nvidia-smi -q, dziennik jądra, nvprzepustowość; przed kampanią.

Metryki

• szachy DCGM ↓ niżej = lepiej
• nieskorygowane błędy ECC ↓ niżej = lepiej
• Błędy XID ↓ niżej = lepiej

Zainteresowanie w porównaniu do innych testów

Wadliwy procesor graficzny powoduje niską przepustowość bez komunikatów o błędach. Ten test oddziela „model jest powolny” od „maszyna jest chora”. Należy sprawdzić przed dokonaniem jakichkolwiek wniosków dotyczących wydajności.

Ograniczenia

Krótka diagnostyka nie wykrywa dławienia termicznego, które pojawia się dopiero po godzinie ładowania (patrz telemetria).

Sprawdź to sam

Sprawdź listę kontrolną przed kampanią (temperatura spoczynkowa, aktywne chłodzenie cieczą, brak innych procesów GPU).

Pokrycie

1 mesure valide