- Agent (Modus)
- Codegen-Modus, in dem das Modell über Werkzeuge (Lesen, Schreiben, Ausführen) verfügt und sein Spiel in mehreren Runden testen und dann korrigieren kann.
- BF16
- 16-Bit-Digitalformat (bfloat16), Referenzgenauigkeit der Modellgewichte; dient als Vergleichsbasis für die quantifizierten Versionen.
- Gleichzeitigkeit
- Anzahl der gleichzeitig an den Server gesendeten Anfragen; simuliert so viele gleichzeitige Benutzer.
- Menschliche Kontrolle
- Eine Überprüfung, die eine Person durchführen muss (zuschauen, zuhören, abspielen), da die automatische Nummer nicht ausreicht, um eine Schlussfolgerung zu ziehen.
- DCGM
- NVIDIA GPU-Diagnosetool (Data Center GPU Manager); Stufe 2 startet Berechnungs- und Speichertests.
- Dekodieren
- Phase, in der das Modell die Antwort-Tokens einzeln generiert; begrenzt durch Speicherbandbreite.
- Delta-Qualität
- Differenz in Punkten zwischen der Punktzahl eines quantifizierten Modells und der seiner BF16-Referenz. Alarm über 2 Punkte hinaus.
- DER
- Diarisierungsfehlerrate: Teil der Redezeit, der falsch zugewiesen wurde (verpasst, falscher Alarm oder falscher Sprecher). Niedriger ist besser.
- Einbetten
- Digitaler Vektor, der die Bedeutung eines Textes darstellt und für die semantische Suche und RAG verwendet wird.
- FP8
- 8-Bit-Gleitkomma-Quantisierung: etwa halb so viel Speicher wie BF16, oft schneller, im Allgemeinen geringer Qualitätsverlust.
- GGUF
- Dateiformat von llama.cpp und Ollama, das quantifizierte Gewichtungen (Q8_0, Q4_K_M…) und Metadaten enthält.
- Goodput
- Nutzbarer Durchsatz: der Anteil des unter Einhaltung der Latenzziele (SLO) bedienten Datenverkehrs.
- HBM
- An die GPU angelöteter Speicher mit hoher Bandbreite (256 GB beim GB300).
- ITL
- Inter-Token-Latenz: Zeit zwischen zwei aufeinanderfolgenden Token einer Antwort.
- LLM-Richter
- Sprachmodell, das ein Ergebnis (hier die generierten Spiele) anhand eines Rasters notiert; praktisch, aber nicht perfekt reproduzierbar.
- KV-Cache
- Speicher, in dem der Server den Status jeder laufenden Konversation speichert; seine Größe begrenzt die Parallelität und die Kontextlänge.
- lm-eval
- lm-evaluation-harness: Standardbewertungsbank für die Genauigkeit von LLMs bei Fragensätzen.
- MTEB
- Massive Text Embedding Benchmark: Aufgabenbatterie, die die Qualität von Einbettungen misst.
- MTP
- Multi-Token-Vorhersage: spekulative Dekodierung, bei der das Modell mehrere Token gleichzeitig anbietet und dann überprüft; beschleunigt die Generierung.
- NVFP4
- NVIDIA 4-Bit-Quantisierung speziell für Blackwell-GPUs: viermal weniger Speicher als BF16.
- S. 50 / S. 99
- Median / 99. Perzentil: p99 ist der Wert, den 99 % der Anfragen nicht überschreiten, also der ungünstige Fall, den 1 von 100 Nutzern erlebt.
- Vorfüllen
- Phase, in der das Modell die gesamte Eingabeaufforderung vor dem ersten Token liest; durch die Rechenleistung begrenzt. Dominiert die TTFT.
- Cache-Präfix
- Wiederverwendung der Berechnung eines zuvor gesehenen Schnellstarts; während der Messungen deaktiviert, um die Ergebnisse nicht zu verfälschen.
- Ladeprofil
- Einlauflängen-/Auslauflängenpaar (Kat. 1024/1024, Lappen 8192/1024, Lang 32768/1024, Agent 4096/2048 usw.).
- Quantifizierung
- Reduzierung der Gewichtsgenauigkeit (FP8, NVFP4, GGUF Q8/Q4), um Speicher und Geschwindigkeit zu gewinnen, auf Kosten eines möglichen Qualitätsverlusts.
- RAG
- Retrieval-Augmented Generation: Das Modell antwortet auf Dokumente, die durch semantische Suche gefunden wurden.
- RTF / RTFx
- Echtzeitfaktor. RTF = Berechnungszeit / Audiodauer (Echtzeit, wenn < 1); RTFx = das Gegenteil (Sekunden verarbeitetes Audio pro Sekunde, je höher, desto besser).
- Fähigkeiten (Mode)
- Einzelantwort-Codegenerierungsmodus mit identischen Best-Practice-Anweisungen für alle Modelle in der Systemeingabeaufforderung.
- SLO
- Service Level Objective: Einzuhaltendes Latenzziel (hier TTFT p99 ≤ 500 ms und ITL p99 ≤ 25 ms standardmäßig).
- tok/s
- Token pro Sekunde. Aggregiert: alle Benutzer zusammen (Kapazität). Vom Benutzer: wahrgenommene Lesegeschwindigkeit.
- Token
- Vom Modell manipulierte Texteinheit (durchschnittlich ¾ eines Wortes im Englischen, etwas weniger im Französischen).
- TPOT
- Zeit pro Ausgabe-Token: durchschnittliche Zeit pro generiertem Token nach dem ersten; 1000 / TPOT = von einem Benutzer gesehene Token/s.
- TTFT
- Time To First Token: Verzögerung zwischen dem Senden der Anfrage und dem ersten empfangenen Token; es ist die wahrgenommene Reaktionsfähigkeit.
- Telemetrie
- Sekundenweises Ablesen der GPU- (und CPU-)Leistung, der Temperaturen, der Taktraten und des Speichers während einer Messung.
- VLM
- Vision-Language-Modell: Modell, das neben Text auch Bilder (oder Videos) als Eingabe akzeptiert.
- WER
- Wortfehlerrate: Anteil falsch transkribierter Wörter (ersetzt, vergessen, hinzugefügt). Niedriger ist besser.
