{"id":1405,"date":"2026-10-02T09:34:22","date_gmt":"2026-10-02T07:34:22","guid":{"rendered":"https:\/\/sites.unica.it\/ict4lawforensics\/?p=1405"},"modified":"2026-10-02T09:34:22","modified_gmt":"2026-10-02T07:34:22","slug":"multi-token-prediction-la-nuova-sfida-per-la-pubblica-amministrazione-tra-ottimizzazione-resilienza-e-controllo-dello-stato-interno","status":"publish","type":"post","link":"https:\/\/sites.unica.it\/ict4lawforensics\/2026\/10\/02\/multi-token-prediction-la-nuova-sfida-per-la-pubblica-amministrazione-tra-ottimizzazione-resilienza-e-controllo-dello-stato-interno\/","title":{"rendered":"Multi-Token Prediction: la nuova sfida per la Pubblica Amministrazione tra ottimizzazione, resilienza e controllo dello stato interno"},"content":{"rendered":"\n

Non \u00e8 certo una novit\u00e0 che le Pubbliche Amministrazioni facciano affidamento, in misura sempre pi\u00f9 crescente, sui modelli avanzati di IA. Secondo il report del CERT-AgID (Computer Emergency Response Team dell’Agenzia per l’Italia Digitale) del giugno 2026, una nuova tecnologia emergente che permetterebbe di ridurre i tempi di risposta, il Multi-Token Prediction<\/em> (MTP), potrebbe configurare un rischio per la sicurezza e la stabilit\u00e0 dei servizi della Pubblica Amministrazione. Vengono in soccorso a riguardo le bozze di linee guida AgID, le quali affrontano lo sviluppo dell\u2019IA lungo l\u2019intero ciclo di vita e lo collegano alle scelte di procurement, ponderando l\u2019adozione di queste nuove tecnologie.<\/p>\n\n\n\n

Sommario. 1. La svolta del MTP nel mondo dei Large Language Model: dal \u201cNext-Token\u201d al \u201cMulti-Token\u201d Prediction.<\/a> – <\/strong>2. L’inferenza e i rischi operativi: il Report CERT-AgID.<\/a> – 3. I principi delle bozze di Linee Guida AgID.<\/a> – 4. Gestione del rischio: i costi sono prevedibili? <\/a>– 5. Il quadro normativo. <\/a><\/p>\n\n\n\n

1. La svolta del MTP nel mondo dei Large Language Model: dal \u201cNext-Token\u201d al \u201cMulti-Token\u201d Prediction<\/strong><\/h2>\n\n\n\n

Tradizionalmente l\u2019addestramento dei modelli linguistici si basava sul next-token prediction<\/em>: si insegnava all\u2019intelligenza linguistica a indovinare la parola immediatamente successiva. Infatti nel decoding autoregressivo il modello normalmente produceva un token alla volta. Sebbene le implementazioni moderne utilizzino la KV cache, ossia una tecnica di ottimizzazione della memoria usata dai modelli di linguaggio basati su trasformatori, per evitare di calcolare integralmente le rappresentazioni precedenti, la generazione resta vincolata, data la natura sequenziale del processo.<\/p>\n\n\n\n

Nel contesto dei LLM un token \u00e8 l\u2019unit\u00e0 fondamentale di testo in cui il sistema scompone le parole per poterle leggere, elaborare e generare. Non necessariamente un token corrisponde a una parola intera; ci\u00f2 infatti dipende da come \u00e8 addestrato il tokenizer<\/em> del modello. Ciascun token viene tradotto in un codice numerico univoco che la rete neurale elabora matematicamente. Pi\u00f9 precisamente il tokenizer associa una sequenza di caratteri a token, ai quali corrispondono ID numerici. Questi ID a loro volta vengono trasformati in rappresentazioni vettoriali. La capacit\u00e0 di un LLM di ricordare i messaggi precedenti viene misurata sempre in token. Nelle lingue occidentali possiamo dire che 100 token corrispondano a circa 75 parole (tipicamente per l\u2019inglese, lo stesso documento in italiano richiede pi\u00f9 token, quindi costa di pi\u00f9). Con l’MTP vediamo che il modello durante la generazione usa e gestisce questi token diversamente.<\/p>\n\n\n\n

Compreso questo limite, nel 2024 un team di ricercatori di FAIR (Facebook AI Research, il laboratorio di ricerca sull\u2019AI di Meta) sistematizza e porta su larga scala questa tecnologia. Il team pubblic\u00f2 un paper intitolato “Better & Faster Large Language Models via Multi-Token Prediction”<\/em>. I ricercatori compresero che addestrare il modello a indovinare solo il token immediatamente successivo lo affaticava nel pianificare la struttura a lungo termine di un testo. Meta ha affermato che i suoi modelli hanno ottenuto prestazioni migliori del 17% su MBPP e del 12% su HumanEval (benchmark usati per misurare le capacit\u00e0 di programmazione e di ragionamento dei modelli di IA) rispetto ai LLM comparabili che generano token uno alla volta; inoltre, i modelli hanno generato output tre volte pi\u00f9 velocemente. In realt\u00e0, come rappresentato nella Tabella 2, un tale miglioramento \u00e8 relativo esclusivamente ai modelli 13B; al contrario, in modelli piccoli (0.3B e 0.6B) il delta \u00e8 negativo, e dunque si pu\u00f2 affermare che in modelli a basso numero di parametri l\u2019uso di MTP peggiori le prestazioni.<\/p>\n\n\n\n

“Durante l’addestramento, il modello predice quattro token futuri contemporaneamente, per mezzo di un tronco condiviso e quattro teste di output dedicate. Durante l’inferenza, impieghiamo solo la testa di output del token successivo. Facoltativamente, le altre tre teste possono essere utilizzate per accelerare i tempi di inferenza. (In basso) La predizione multi-token migliora la metrica pass@1 sul task di programmazione MBPP, in modo significativo all’aumentare delle dimensioni del modello. Le barre d’errore sono intervalli di confidenza al 90% calcolati mediante bootstrapping<\/em> sui campioni del dataset.” (Gloeckle et al., 2024)<\/p>\n\n\n\n

La metrica pass@1 misura la probabilit\u00e0 che un singolo output sia stato generato correttamente da un modello di intelligenza artificiale al primo tentativo.<\/p>\n\n\n\n

Grafico 1<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Grafico 2<\/p>\n\n\n\n

\"\"
Gloeckle, F., Youbi Idrissi, B., Rozi\u00e8re, B., Lopez-Paz, D., & Synnaeve, G. (2024). Better & Faster Large Language Models via Multi-Token Prediction. Proceedings of the 41st International Conference on Machine Learning (ICML), PMLR 235, 15706\u201315734 (pubblicato il 30 aprile 2024 su arXiv). https:\/\/arxiv.org\/abs\/2404.19737<\/u><\/a><\/em>
\u00a0<\/figcaption><\/figure>\n\n\n\n

Attualmente DeepSeek-V3 adotta un obiettivo MTP nel proprio addestramento, ma si distingue da Meta per una implementazione diversa rispetto a quella originale: infatti mentre Gloeckle et al. predicono i token futuri in parallelo con teste indipendenti, invece DeepSeek-V3 li predice in sequenza, mantenendo la catena causale completa ad ogni livello di profondit\u00e0. Come affermato nel loro Technical Report, nella sezione 2.2 Multi-Token Prediction:<\/p>\n\n\n\n

\u201cIspirandoci a Gloeckle et al. (2024), abbiamo studiato e adottato un obiettivo di Multi-Token Prediction (MTP) per DeepSeek-V3, che estende l’ambito della predizione a pi\u00f9 token futuri per ciascuna posizione. Da un lato, un obiettivo MTP densifica i segnali di addestramento e pu\u00f2 migliorare l’efficienza nell’uso dei dati. Dall’altro, l’MTP pu\u00f2 consentire al modello di pianificare in anticipo le proprie rappresentazioni interne, per predire meglio i token futuri. La Figura 3 illustra la nostra implementazione dell’MTP. A differenza di Gloeckle et al. (2024), che predicono in parallelo D token aggiuntivi utilizzando teste di output indipendenti, noi prediciamo i token aggiuntivi in sequenza, mantenendo la catena causale completa a ogni profondit\u00e0 di predizione. In questa sezione presentiamo i dettagli della nostra implementazione dell’MTP.\u201d<\/p>\n\n\n\n

2. L’inferenza e i rischi operativi: il Report CERT-AgID<\/strong><\/h2>\n\n\n\n

In fase di inferenza (dopo l\u2019apprendimento), l\u2019MTP viene spesso associato al decoding<\/em> speculativo: il draft model<\/em> (il modello secondario pi\u00f9 leggero) indovina velocemente in anticipo i successivi token, mentre il target model<\/em> (il modello principale che controlla) prende la bozza creata dal draft<\/em> e la verifica con un solo passaggio di calcolo. Infatti, mentre l\u2019MTP ha la capacit\u00e0 di predire molteplici token, il decoding<\/em> speculativo definisce invece il meccanismo di verifica ed accettazione.<\/p>\n\n\n\n

Nei LLM tradizionali il limite di velocit\u00e0 \u00e8 dato dalla potenza di calcolo della scheda video e soprattutto dalla velocit\u00e0 con cui la memoria sposta i dati da un chip all\u2019altro per calcolare i token. Ed \u00e8 in questa fase di inferenza che subentra l\u2019analisi del CERT-AgID: il draft<\/em> propone ma deve essere il target<\/em> a decidere. Il draft<\/em> non deve mai diventare l\u2019autorit\u00e0 finale. Cosa succederebbe se cos\u00ec fosse? Non accelererebbe solo il processo, ma andrebbe a modificare le decisioni del modello principale, incidendo nei casi pi\u00f9 gravi anche sulla verificabilit\u00e0 del processo decisionale.<\/p>\n\n\n\n

Il report del CERT-AgID si basa principalmente su uno scenario critico dal punto di vista della gestione dello stato, che si pu\u00f2 verificare durante l\u2019inferenza. Non si tratta di una anomalia ma di uno scenario fisiologico.<\/p>\n\n\n\n