BenchZgxFury

Najlepsze wartości zaobserwowane spośród wybranych pomiarów. Wyższa przepustowość (tok/s) jest lepsza; mniejsze opóźnienie (TTFT = opóźnienie przed pierwszym tokenem, TPOT = opóźnienie między dwoma tokenami) jest lepsze.

Podsumowanie automatycznie pisane z wyświetlonych miar (podąża za filtrami): o czym należy pamiętać, rodzina po rodzinie.

Serwer LLM obsługuje jednocześnie kilku użytkowników: konkurencja to liczba jednoczesnych żądań. The przepustowość zbiorczy (tokeny generowane na sekundę, wszystkie żądania łącznie) wzrasta wraz ze współbieżnością, podczas gdy opóźnienie na użytkownika maleje. The TTFT to czas oczekiwania przed pierwszym słowem, the TPOT czas pomiędzy dwoma słowami (p50 = wartość mediana, p99 = niekorzystny przypadek, którego doświadczyła 1% żądań). Każdy punkt jest medianą kilku powtórzeń. Szare przerywane linie oznaczają opublikowane dane (odniesienie) dla tego samego modelu i tego samego profilu.

The dobra opinia to ilość użytecznej pracy wykonanej przy zachowaniu celu jakości usług (SLO): tutaj TTFT p99 ≤ ms i opóźnienie między tokenami p99 ≤ pani Pasek wskazuje, ilu jednoczesnych użytkowników obsługuje urządzenie, nie przekraczając tych progów; krzywa pokazuje udział zgodnych żądań („osiągnięcie”) wraz ze wzrostem obciążenia.

Mikrotest porównawczy bezserwerowego llama.cpp: pp = szybkie przetwarzanie (wstępne wypełnienie, tokeny), tg = generowanie tekstu (tokeny/s). Sufiks _d4096 oznacza, że kontekst zawiera już 4096 tokenów, co spowalnia obie fazy.

Wynik (%) w standardowych zadaniach: rozumowanie matematyczne (GSM8K), wiedza i rozumowanie (MMLU-Pro), nauki ścisłe, kodowanie, rozumienie obrazu. Model ilościowy (NVFP4, FP8, GGUF itp.) jest szybszy i bardziej zwarty, ale może stracić precyzję: gdy oceniana jest również jego wersja BF16, różnica („delta”) poza punktów jest zgłaszane jako alert.

The RTFx (współczynnik czasu rzeczywistego) wskazuje, ile sekund dźwięku jest transkrybowanych na sekundę: 1000× oznacza, że godzina dźwięku jest przetwarzana w ciągu 3,6 s. The WER (stopień błędu słowa, %) mierzy precyzję: niżej = lepiej.

Osadzanie modeli przekształca tekst w wektor do wyszukiwania semantycznego (RAG). Mierzymy liczbę żądań na sekundę w zależności od długości tekstu (256, 512 lub 2048 tokenów) oraz współbieżności, opóźnienia p99 i jakości wyszukiwania (średni wynik MTEB, wyższy = lepszy).

Te same wskaźniki, co w przypadku LLM, ale żądania zawierają obraz (512 px lub 1024 px) lub wideo. Przetwarzanie obrazu szczególnie wydłuża TTFT.

Liczba klatek 1024 x 1024 (30 kroków) produkowanych na sekundę na podstawie rozmiaru partii, opóźnienia na klatkę, pamięci GPU w szczycie i czasu trwania klipu do generowania wideo.

Opóźnienie przed pierwszą odpowiedzią audio w zależności od liczby jednoczesnych rozmów (pracownicy). Jeśli serwer nie mógł się uruchomić (oczekiwano tego w architekturze aarch64 dla pewnych zależności), tabela go/no-go wskazuje krok blokowania.

Matrix-Game 4.0 (Skywork) zastępuje renderowanie grafiki prawdziwej gry szablon strumieniowego przesyłania wideo : natywna gra działa w trybie low-poly, a procesor graficzny „odmalowuje” każdą klatkę w czasie rzeczywistym z tego widoku i elementów sterujących gracza. Mierzone są dwie sceny: Doom (starożytny Egipt, strzelanka z perspektywy pierwszej osoby) i kart (wyścigi, wyścig). Trzy szybkości klatek na sekundę: Model FPS-a = zdjęcia wykonane wyłącznie przez modelkę, Internetowy FPS = obrazy faktycznie podawane klientowi podczas sesji (co widzi gracz), Zakodowany FPS = obrazy wyjściowe z kodera wideo H.264. Zauważamy również opóźnienie przed pierwszym obrazem, uruchomieniem serwera, opóźnienie na blok obrazu (fragment) i wartość szczytową pamięci VRAM. TO klip pokazuje widok podwójny low-poly | renderowane oceniać na oko. Zgłoszono renderowanie oprogramowania OpenGL (bez NVIDIA EGL): jego liczba klatek na sekundę nie jest reprezentatywna.

Każdy model otrzymuje te same instrukcje i musi w temperaturze 0 wyprodukować siedem kompletnych gier HTML5 w jednym pliku (snake, breakout, flappy, invaders, tetris, doom, kart), zgodnie z kilkoma mody : umiejętności (jedna odpowiedź z identycznymi arkuszami najlepszych praktyk dla wszystkich modeli), agent (agent pi zapisuje plik, sam go testuje i poprawia z tymi samymi umiejętnościami) i ewentualnie jednorazowy strzał (tylko depozyt). Podpisy brzmią: „modelka · moda”. Wygenerowany plik jest ładowany do Chromium bez ekranu na 15 s z wstrzykniętymi kluczami: sprawdzamy, czy tak jest przejmuje kontrolę, zaczyna i działa bez awarii, liczymy wyrenderowane obrazy i błędy konsoli. Następnie lokalny sędzia ocenia kod w skali do 10 (kompletność w odniesieniu do instrukcji, grywalność, jakość kodu); ogólny wynik jest średni. Wzmianka o „samoocenie” wskazuje, że ocenianym modelem jest sędzia, co może zniekształcać ocenę. Kliknij miniaturę, aby odtworzyć do wygenerowanej gry i ręcznie porównaj modele.

Diaryzacja dzieli nagranie na tury mówienia przydzielone każdemu mówcy. TO DER (stopień błędu diaryzacji, %) to część czasu błędnie przypisana: niżej = lepiej. Rozbija się na słowa przegapiłem, fałszywy alarm (mowa została błędnie wykryta) i pomylenie pomiędzy głośnikami. The RTFx wskazuje, ile sekund dźwięku jest przetwarzanych na sekundę; w modzie przesyłanie strumieniowe, mierzymy również opóźnienie przetwarzania każdego fragmentu audio.

Moc, temperatura i zegar GPU rejestrowane co sekundę podczas pomiaru (nvidia-smi dmon), następnie po zarejestrowaniu aktywność procesora i pamięci Stacji co 2 s (całkowity procesor, zajęte rdzenie, kontenery serwera i klienta, wykorzystana pamięć). Wykres punktowy wiąże średnią moc i przepustowość w celu oszacowania efektywności energetycznej (tokeny na sekundę i na wat).

Każda linia jest rekordem JSON. Kliknij nagłówek, aby posortować, dotknij, aby przefiltrować, wyeksportuj do pliku CSV. Nieudane pomiary wyświetlają komunikat o błędzie po najechaniu myszką.