- Agente (modalità)
- Modalità codegen in cui il modello dispone di strumenti (lettura, scrittura, esecuzione) e può testare e quindi correggere il suo gioco in più round.
- BF16
- Formato digitale a 16 bit (bfloat16), precisione di riferimento dei pesi del modello; serves as a basis of comparison for the quantified versions.
- Concorrenza
- Numero di richieste inviate contemporaneamente al server; simula così tanti utenti simultanei.
- Controllo umano
- Verifica che una persona deve fare (guardare, ascoltare, giocare) perché il numero automatico non basta per concludere.
- DCGM
- Strumento diagnostico GPU NVIDIA (Data Center GPU Manager); il livello 2 avvia i test di calcolo e di memoria.
- Decodifica
- Fase in cui il modello genera uno per uno i token di risposta; limitato dalla larghezza di banda della memoria.
- Qualità Delta
- Differenza in punti tra il punteggio di un modello quantificato e quello del suo riferimento BF16. Allerta oltre i 2 punti.
- DER
- Diarization Error Rate: portion of speaking time incorrectly allocated (missed, false alarm or wrong speaker). Più basso è meglio.
- Incorporamento
- Digital vector representing the meaning of a text, used for semantic search and RAG.
- FP8
- Quantizzazione in virgola mobile a 8 bit: circa la metà della memoria di BF16, spesso più veloce, generalmente perdita di qualità bassa.
- GGUF
- File format of llama.cpp and Ollama, which includes quantified weights (Q8_0, Q4_K_M…) and metadata.
- Goodput
- Throughput utile: la quota di traffico servita rispettando gli obiettivi di latenza (SLO).
- HBM
- Memoria ad elevata larghezza di banda saldata alla GPU (256 GB sul GB300).
- ITL
- Latenza inter-token: tempo tra due token consecutivi di una risposta.
- Giudice LLM
- Modello linguistico che rileva un risultato (qui i giochi generati) secondo una griglia; pratico ma non perfettamente riproducibile.
- Cache KV
- Memoria in cui il server conserva lo stato di ogni conversazione in corso; le sue dimensioni limitano la concorrenza e la lunghezza del contesto.
- lm-eval
- lm-evaluation-harness: banco di valutazione standard per l'accuratezza dei LLM su serie di domande.
- MTEB
- Massive Text Embedding Benchmark: batteria di attività che misura la qualità degli incorporamenti.
- MTP
- Multi-Token Prediction: decodifica speculativa in cui il modello offre più token contemporaneamente, poi verificati; accelera la generazione.
- NVFP4
- Quantizzazione NVIDIA a 4 bit specifica per le GPU Blackwell: quattro volte meno memoria di BF16.
- pag.50/pag.99
- Mediana/99° percentile: p99 è il valore che non supera il 99% delle richieste, ovvero il caso sfavorevole riscontrato da 1 utente su 100.
- Precompilazione
- Fase in cui il modello legge l'intero prompt prima del primo token; limitato dalla potenza di calcolo. Domina il TTFT.
- Prefisso della cache
- Riutilizzo del calcolo di un pronto avvio visto in precedenza; disabilitato durante le misurazioni per non lusingare i risultati.
- Profilo di ricarica
- Coppia lunghezza ingresso / lunghezza uscita (cat 1024/1024, straccio 8192/1024, lungo 32768/1024, agente 4096/2048, ecc.).
- Quantificazione
- Riduzione della precisione del peso (FP8, NVFP4, GGUF Q8/Q4) per guadagnare memoria e velocità a scapito di una possibile perdita di qualità.
- RAG
- Retrieval-Augmented Generation: il modello risponde da documenti trovati dalla ricerca semantica.
- RTF/RTFx
- Fattore tempo reale. RTF = tempo di calcolo/durata audio (tempo reale se < 1); RTFx = il contrario (secondi di audio elaborati al secondo, più alto è, meglio è).
- Competenze (moda)
- Modalità codegen a risposta singola, con istruzioni di best practice identiche per tutti i modelli nel prompt del sistema.
- SLO
- Service Level Objective: obiettivo di latenza da rispettare (qui TTFT p99 ≤ 500 ms e ITL p99 ≤ 25 ms per default).
- tok/s
- Gettoni al secondo. Aggregato: tutti gli utenti combinati (capacità). Per utente: velocità di lettura percepita.
- Gettone
- Unità di testo manipolata dal modello (in media ¾ di parola in inglese, un po' meno in francese).
- TPOT
- Time Per Output Token: tempo medio per token generato dopo il primo; 1000 / TPOT = tok/s visti da un utente.
- TTFT
- Time To First Token: ritardo tra l'invio della richiesta e il primo token ricevuto; è la reattività percepita.
- Telemetria
- Lettura secondo per secondo della potenza della GPU (e della CPU), delle temperature, dei clock e della memoria durante una misurazione.
- VLM
- Modello Visione-Linguaggio: modello che accetta immagini (o video) come input oltre al testo.
- WER
- Tasso di errore di parole: quota di parole trascritte in modo errato (sostituite, dimenticate, aggiunte). Più basso è meglio.
