Come funzionano i Large Language Model (LLM)?

Cos'è davvero un Large Language Model

Un LLM non è un'opera di consultazione né un motore di ricerca, ma un modello probabilistico del linguaggio. Esempi noti sono GPT (OpenAI), Claude (Anthropic), Gemini (Google) e Llama (Meta). Tutti si basano sullo stesso principio: calcolano quali frammenti di parola seguono con maggiore probabilità un testo dato.

Un modello nasce in due fasi. Nel pretraining apprende pattern linguistici generali da enormi quantità di testo. Viene poi orientato tramite il fine-tuning e metodi come l'RLHF (reinforcement learning from human feedback) a rispondere in modo utile, sicuro e adeguato alla conversazione. La conoscenza non risiede in un database, ma in miliardi di parametri addestrati.

Token: come il testo diventa numeri

Un LLM non elabora direttamente lettere o parole intere, ma token: piccole unità di testo, spesso frammenti di parola. Un tokenizer scompone l'input in questi mattoni e assegna a ciascuno un numero. Ogni numero viene poi tradotto in un vettore (un embedding) con cui la rete può calcolare.

• Come regola empirica approssimativa, in inglese un token corrisponde a circa quattro caratteri; in tedesco varia spesso a causa dei lunghi composti.
• Parole rare, numeri e codice vengono suddivisi in più token, mentre le parole comuni spesso ne occupano uno solo.
• Costi e limiti dei modelli commerciali sono quasi sempre conteggiati in token, non in parole.

Previsione del token successivo: il cuore del sistema

Nella sua essenza un LLM fa una cosa sola: per il testo prodotto finora calcola una distribuzione di probabilità su tutti i possibili token successivi e ne sceglie uno. Quel token viene aggiunto e l'intero processo si ripete token dopo token. Si chiama generazione autoregressiva: il testo nasce passo dopo passo, sempre in base a ciò che è già stato scritto.

Un parametro chiamato temperature controlla quanto il modello si discosta dal token più probabile. Valori bassi producono risposte prevedibili e aderenti ai fatti; valori più alti favoriscono varietà e creatività ma aumentano il rischio di errori. Il modello viene addestrato confrontando la propria previsione con il token effettivamente successivo su miliardi di passaggi di testo e regolando minimamente i propri parametri.

Transformer e attention: l'architettura

Quasi tutti i LLM attuali si basano sul transformer, presentato nel 2017 nell'articolo Attention Is All You Need. Il suo componente decisivo è il meccanismo di attention, più precisamente la self-attention: per ogni token il modello valuta quanto siano rilevanti tutti gli altri token del contesto e li pondera di conseguenza.

Così il modello coglie il significato dipendente dal contesto: in la riva della banca, banca significa qualcosa di diverso rispetto a soldi in banca. Molti di questi strati di attention impilati, combinati con i pesi memorizzati in miliardi di parametri, permettono di rappresentare relazioni complesse. Poiché l'attention calcola in parallelo, i modelli possono essere addestrati in modo efficiente su enormi quantità di dati.

La finestra di contesto: la memoria a breve termine

La finestra di contesto è la quantità massima di token che un modello può considerare in una sola volta. L'istruzione di sistema, il tuo input, i documenti caricati e la risposta prodotta finora devono starci tutti dentro. Quando la finestra è piena, il testo più vecchio viene scartato e il modello perde quell'informazione.

È importante: di per sé un LLM non ha memoria persistente oltre la singola sessione. Ciò che deve sapere in una nuova chat va fornito di nuovo. Contesti molto lunghi aumentano inoltre calcolo e costi, e i dettagli rilevanti al centro di input lunghi vengono talvolta considerati meno di quelli all'inizio o alla fine.

Perché i LLM allucinano

Un'allucinazione è un'affermazione formulata in modo fluido ma factualmente errata o inventata. Non deriva da un malfunzionamento, ma dal principio di fondo: il modello genera testo che suona plausibile, non recupera fatti verificati. Se una continuazione errata è linguisticamente probabile, può essere formulata in modo altrettanto convincente di una corretta.

• Lacune di conoscenza: nei dati di addestramento c'era materiale scarso o contraddittorio su un tema.
• Data limite della conoscenza (cutoff): gli eventi successivi alla fine dell'addestramento sono ignoti al modello.
• Domande ambigue e l'incentivo a fornire sempre una risposta invece di segnalare l'incertezza.
• Contromisure: retrieval-augmented generation (RAG) con fonti affidabili, richiesta di citazioni, temperature più bassa e verifica umana costante.

Cosa significa per l'uso pratico

Capire come funzionano i LLM significa usarli correttamente: come potenti assistenti per bozze, sintesi e idee, non come autorità finale sui fatti. Affermazioni importanti, cifre, citazioni e dettagli legali vanno sempre verificati. La responsabilità del risultato resta di una persona.

Per le aziende in Svizzera si aggiunge la protezione dei dati. Prima di inserire dati personali o segreti aziendali in uno strumento di IA vanno verificati la legge riveduta sulla protezione dei dati (revDSG) e il luogo di trattamento; l'IFPDT (EDOEB) è l'autorità di vigilanza competente. Politiche interne chiare e la scelta di servizi adeguati, preferibilmente ospitati in Svizzera o nell'UE, creano fiducia.