- Agent (tilstand)
- Codegen-tilstand, hvor modellen har værktøjer (læse, skrive, udføre) og kan teste og derefter rette sit spil i flere omgange.
- BF16
- 16-bit digitalt format (bfloat16), referencenøjagtighed af modelvægte; tjener som sammenligningsgrundlag for de kvantificerede versioner.
- Samtidighed
- Antal anmodninger sendt på samme tid til serveren; simulerer mange samtidige brugere.
- Menneskelig kontrol
- Verifikation, som en person skal gøre (se, lytte, spille), fordi det automatiske nummer ikke er nok til at konkludere.
- DCGM
- NVIDIA GPU-diagnoseværktøj (Data Center GPU Manager); niveau 2 starter beregning og hukommelsestest.
- Afkode
- Fase hvor modellen genererer respons-tokens en efter en; begrænset af hukommelsesbåndbredde.
- Delta kvalitet
- Forskel i point mellem scoren for en kvantificeret model og dens BF16-reference. Alarm ud over 2 point.
- DER
- Diariseringsfejlfrekvens: Del af taletiden er forkert allokeret (misset, falsk alarm eller forkert højttaler). Lavere er bedre.
- Indlejring
- Digital vektor, der repræsenterer betydningen af en tekst, brugt til semantisk søgning og RAG.
- FP8
- 8-bit floating point kvantisering: omkring halvdelen af hukommelsen af BF16, ofte hurtigere, generelt lav kvalitet tab.
- GGUF
- Filformatet llama.cpp og Ollama, som inkluderer kvantificerede vægte (Q8_0, Q4_K_M...) og metadata.
- Goodput
- Nyttig gennemstrømning: den del af trafikken, der serveres under overholdelse af latency-mål (SLO).
- HBM
- Hukommelse med høj båndbredde loddet til GPU'en (256 GB på GB300).
- ITL
- Inter-Token Latency: Tid mellem to på hinanden følgende tokens af et svar.
- LLM dommer
- Sprogmodel som noterer et resultat (her genererede spil) i henhold til et gitter; praktisk, men ikke perfekt reproducerbar.
- KV cache
- Hukommelse, hvor serveren holder tilstanden for hver igangværende samtale; dens størrelse begrænser samtidighed og kontekstlængde.
- lm-eval
- lm-evaluation-harness: standard evalueringsbænk for nøjagtigheden af LLM'er på sæt spørgsmål.
- MTEB
- Massive Text Embedding Benchmark: batteri af opgaver, der måler kvaliteten af indlejringer.
- MTP
- Multi-Token Prediction: spekulativ afkodning, hvor modellen tilbyder flere tokens på én gang, og derefter verificeret; fremskynder generation.
- NVFP4
- NVIDIA 4-bit kvantisering specifik for Blackwell GPU'er: fire gange mindre hukommelse end BF16.
- p50 / p99
- Median / 99. percentil: p99 er den værdi, som 99 % af anmodningerne ikke overstiger, dvs. det ugunstige tilfælde, som 1 ud af 100 bruger oplever.
- Forudfyld
- Fase hvor modellen læser hele prompten før den første token; begrænset af computerkraft. Dominerer TTFT.
- Cachepræfiks
- Genbrug af beregningen af en tidligere set prompt start; deaktiveret under målinger for ikke at smigre resultaterne.
- Opladningsprofil
- Indløbslængde / udløbslængde par (kat. 1024/1024, klud 8192/1024, lang 32768/1024, agent 4096/2048 osv.).
- Kvantificering
- Reduktion af vægtpræcision (FP8, NVFP4, GGUF Q8/Q4) for at få hukommelse og hastighed på bekostning af et muligt kvalitetstab.
- RAG
- Retrieval-Augmented Generation: modellen svarer fra dokumenter fundet ved semantisk søgning.
- RTF / RTFx
- Realtidsfaktor. RTF = beregningstid / lydvarighed (realtid hvis < 1); RTFx = det modsatte (sekunders lyd behandlet pr. sekund, højere er bedre).
- Færdigheder (mode)
- Enkeltsvarskodegentilstand med identiske best practice-instruktioner for alle modeller i systemprompten.
- SLO
- Serviceniveaumål: latenstidsmål, der skal respekteres (her TTFT p99 ≤ 500 ms og ITL p99 ≤ 25 ms som standard).
- tok/s
- Tokens per sekund. Aggregeret: alle brugere samlet (kapacitet). Af bruger: opfattet læsehastighed.
- Token
- Tekstenhed manipuleret af modellen (i gennemsnit ¾ af et ord på engelsk, lidt mindre på fransk).
- TPOT
- Time Per Output Token: gennemsnitlig tid pr. token genereret efter den første; 1000 / TPOT = tok/s set af en bruger.
- TTFT
- Time To First Token: forsinkelse mellem afsendelse af anmodningen og det første token, der modtages; det er opfattet lydhørhed.
- Telemetri
- Anden for sekund aflæsning af GPU (og CPU)-effekt, temperaturer, ure og hukommelse under en måling.
- VLM
- Vision-Language Model: model, der accepterer billeder (eller videoer) som input ud over tekst.
- WER
- Ordfejlfrekvens: andel af forkert transskriberede ord (erstattet, glemt, tilføjet). Lavere er bedre.
