BenchZgxFury

Die besten beobachteten Werte unter den ausgewählten Messungen. Ein höherer Durchsatz (tok/s) ist besser; eine geringere Latenz (TTFT = Verzögerung vor dem ersten Token, TPOT = Verzögerung zwischen zwei Token) ist besser.

Eine Zusammenfassung, die automatisch aus den angezeigten Maßnahmen erstellt wird (sie folgt den Filtern): Was Sie sich merken sollten, Familie für Familie.

Ein LLM-Server bedient mehrere Benutzer gleichzeitig: den Wettbewerb ist die Anzahl der gleichzeitigen Anfragen. Die Aggregatfluss (pro Sekunde generierte Token, alle Anfragen zusammen) nimmt mit der Parallelität zu, während sich die Latenz pro Benutzer verschlechtert. Die TTFT ist die Wartezeit bis zum ersten Wort, das TPOT die Zeit zwischen zwei Wörtern (p50 = Medianwert, p99 = ungünstiger Fall, der bei 1 % der Anfragen auftritt). Jeder Punkt ist der Median mehrerer Wiederholungen. Die grau gepunkteten Linien sind veröffentlichte Zahlen (Referenz) für dasselbe Modell und dasselbe Profil.

Die Goodput ist die Menge an nützlicher Arbeit, die unter Einhaltung eines Servicequalitätsziels (SLO) geleistet wird: hier TTFT p99 ≤ ms und Inter-Token-Latenz p99 ≤ Frau. Der Balken gibt an, wie viele gleichzeitige Benutzer das Gerät unterstützt, ohne diese Schwellenwerte zu überschreiten; Die Kurve zeigt den Anteil der konformen Anfragen („Erreichung“) mit zunehmender Auslastung.

Serverloser llama.cpp-Mikro-Benchmark: pp = sofortige Verarbeitung (Vorausfüllung, Token/s), tg = Textgenerierung (Token/s). Das Suffix _d4096 bedeutet, dass der Kontext bereits 4096 Token enthält, was beide Phasen verlangsamt.

Punktzahl (%) bei Standardaufgaben: mathematisches Denken (GSM8K), Wissen und Denken (MMLU-Pro), Naturwissenschaften, Codierung, Bildverständnis. Ein quantifiziertes Modell (NVFP4, FP8, GGUF usw.) ist schneller und kompakter, kann jedoch an Präzision verlieren: Wenn auch seine BF16-Version ausgewertet wird, ist der Unterschied („Delta“) größer Punkte werden als Alarm gemeldet.

Die RTFx (Echtzeitfaktor) gibt an, wie viele Sekunden Audio pro Sekunde transkribiert werden: 1000× bedeutet, dass eine Stunde Audio in 3,6 s verarbeitet wird. Die WER (Wortfehlerrate, %) misst die Präzision: niedriger = besser.

Einbettungsmodelle wandeln Text in einen Vektor für die semantische Suche (RAG) um. Wir messen die Anzahl der Anfragen pro Sekunde anhand der Länge des Textes (256, 512 oder 2048 Token) und der Parallelität, der p99-Latenz und der Suchqualität (durchschnittlicher MTEB-Score, höher = besser).

Gleiche Indikatoren wie bei LLMs, aber die Anfragen enthalten ein Bild (512 px oder 1024 px) oder ein Video. Insbesondere die Bildverarbeitung verlängert die TTFT.

Anzahl der pro Sekunde erzeugten 1024 x 1024 Bilder (30 Schritte), basierend auf Stapelgröße, Latenz pro Bild, GPU-Speicher bei Spitzenwert und Dauer pro Clip für die Videogenerierung.

Latenz vor der ersten Audioantwort entsprechend der Anzahl gleichzeitiger Gespräche (Mitarbeiter). Wenn der Server nicht gestartet werden konnte (was auf der aarch64-Architektur für bestimmte Abhängigkeiten zu erwarten ist), gibt die Go/No-Go-Tabelle den Blockierungsschritt an.

Matrix-Game 4.0 (Skywork) ersetzt die Grafikwiedergabe eines echten Spiels durch eine Video-Streaming-Vorlage : Das native Spiel läuft im Low-Poly-Modus und die GPU „lackiert“ jeden Frame in Echtzeit aus dieser Ansicht und den Steuerelementen des Spielers neu. Es werden zwei Szenen gemessen: Doom (Altes Ägypten, Ego-Shooting) und kart (Rennen, Rennen). Drei Bildraten pro Sekunde: FPS-Modell = Bilder, die allein vom Modell erzeugt wurden, Online-FPS = Bilder, die dem Client tatsächlich während der Sitzung bereitgestellt wurden (was der Spieler sieht), Kodierte FPS = Bilderausgabe vom H.264-Video-Encoder. Wir bemerken auch die Verzögerung vor dem ersten Image, den Serverstart, die Latenz pro Image-Block (Chunk) und den VRAM bei Spitzenwert. DER Clip zeigt Dualansicht Low-Poly | gerendert nach Augenmaß beurteilen. Es wird über ein Software-OpenGL-Rendering (ohne NVIDIA EGL) berichtet: Die FPS sind nicht repräsentativ.

Jedes Modell erhält die gleichen Anweisungen und muss bei Temperatur 0 sieben vollständige HTML5-Spiele in einer einzigen Datei erzeugen (Snake, Breakout, Flappy, Invaders, Tetris, Doom, Kart), heißt es in mehreren Berichten Moden : Fähigkeiten (eine einzige Antwort mit identischen Best-Practice-Blättern für alle Modelle), Agent (Der Pi-Agent schreibt die Datei, testet sie selbst und korrigiert sie mit den gleichen Fähigkeiten) und möglicherweise Oneshot (nur Anzahlung). Die Bildunterschrift lautet „Modell · Mode“. Die generierte Datei wird 15 Sekunden lang mit injizierten Schlüsseln in ein Chromium ohne Bildschirm geladen: Wir überprüfen, ob dies der Fall ist übernimmt die Verantwortung, beginnt und läuft ohne Absturz, wir zählen gerenderte Bilder und Konsolenfehler. Ein örtliches Richtermodell bewertet den Code dann mit 10 Punkten (Vollständigkeit in Bezug auf die Anweisungen, Spielbarkeit, Qualität des Codes); die Gesamtpunktzahl ist der Durchschnitt. Die Erwähnung „Selbsteinschätzung“ weist darauf hin, dass der Richter das bewertete Modell ist, was die Bewertung verzerren kann. Klicken Sie zum Abspielen auf ein Miniaturbild zum generierten Spiel und vergleichen Sie die Modelle manuell.

Die Diarisierung unterteilt eine Aufnahme in Sprechrunden, die jedem Sprecher zugeordnet sind. DER DER (Diarisierungsfehlerrate, %) ist der Teil der Zeit, der falsch zugeordnet wurde: niedriger = besser. Es zerfällt in Worte verpasst, Fehlalarm (Sprache falsch erkannt) und Verwechslung zwischen den Lautsprechern. Die RTFx gibt an, wie viele Sekunden Audio pro Sekunde verarbeitet werden; in der Mode StreamingAußerdem messen wir die Verarbeitungslatenz jedes Audioblocks.

Während einer Messung werden jede Sekunde Leistung, Temperatur und GPU-Takt aufgezeichnet (nvidia-smi dmon), anschließend alle 2 s die Aktivität des Prozessors und Speichers der Station (Gesamt-CPU, ausgelastete Kerne, Server- und Client-Container, genutzter Speicher). Das Streudiagramm setzt durchschnittliche Leistung und Durchsatz in Beziehung, um die Energieeffizienz (Tokens pro Sekunde und pro Watt) abzuschätzen.

Jede Zeile ist ein JSON-Datensatz. Klicken Sie zum Sortieren auf eine Überschrift, tippen Sie zum Filtern und exportieren Sie sie in eine CSV-Datei. Bei fehlgeschlagenen Messungen wird beim Schweben die Fehlermeldung angezeigt.