Come funziona il RAG privato sui documenti aziendali?

Cos'è il RAG privato – e perché è più di un chatbot

Un modello linguistico da solo non sa nulla della tua azienda: nulla sui contratti, i processi, le offerte o i dossier di progetto. Se glielo chiedi comunque, produce ipotesi plausibili – spesso errate. Il RAG risolve il problema fornendo al modello, per ogni domanda, gli estratti pertinenti dei tuoi documenti. Il modello formula così la risposta non dalla memoria ma dal contesto ricevuto.

«Privato» significa due cose. Primo: i tuoi documenti non lasciano mai l'ambiente che controlli – non vengono usati per addestrare modelli di terzi né inviati a un servizio pubblico. Secondo: ogni utente vede solo ciò a cui è autorizzato. Un RAG privato ben costruito è quindi meno un «chatbot» che uno strato di conoscenza ricercabile e capace di rispondere, sovrapposto al tuo patrimonio documentale.

La pipeline RAG passo dopo passo

Tecnicamente il RAG ha due fasi: una preparazione dei documenti (iniziale e poi continua) e una ricerca eseguita a ogni domanda. La preparazione costruisce l'indice ricercabile; la ricerca recupera il contesto e produce la risposta.

• Ingestione e pulizia: PDF, file Office, pagine wiki, e-mail o ticket vengono letti e convertiti in testo semplice più metadati (fonte, data, diritti di accesso).
• Chunking: i documenti lunghi vengono suddivisi in passaggi più piccoli e tagliati con criterio – abbastanza grandi da avere senso, abbastanza piccoli da essere recuperati con precisione.
• Embedding: un modello di embedding trasforma ogni passaggio in un vettore – una rappresentazione numerica del suo significato. Contenuti simili finiscono vicini nello spazio vettoriale.
• Indice vettoriale: i vettori confluiscono in un database vettoriale, spesso combinato con la ricerca per parole chiave classica (ricerca ibrida) perché anche termini esatti e numeri di pratica vengano trovati.
• Recupero e re-ranking: si cercano i passaggi più adatti alla domanda; un re-ranker li ordina per rilevanza reale prima di inoltrare i migliori.
• Generazione con citazioni: domanda e passaggi recuperati vanno al modello linguistico, che formula una risposta – idealmente con riferimenti alle fonti, così ogni affermazione resta verificabile.

Cosa significa «privato» in concreto: modelli di deployment

La privacy non è una proprietà del RAG in sé, ma una questione di dove girano modello, indice e dati. Esiste uno spettro – dall'esecuzione totalmente locale a endpoint cloud isolati. Il punto giusto dipende dalla sensibilità dei dati, dalla qualità richiesta e dalle risorse IT interne.

• Totalmente locale / on-premise: modelli open-weight (es. Llama, Mistral o lo svizzero Apertus di ETH/EPFL) e database vettoriale girano su hardware proprio. Controllo massimo, nessuna fuoriuscita di dati – ma gestione, costi GPU e manutenzione sono a tuo carico.
• Cloud privato in Svizzera / UE: account dedicato o data center svizzero con residenza dei dati garantita per contratto e assicurazione che i dati non siano usati per l'addestramento. Buon compromesso tra qualità, sforzo e sovranità dei dati.
• Endpoint cloud riservato di un grande fornitore: modelli ospitati con accordi di zero-retention e trattamento dei dati. Avvio rapido e potente, ma richiede attenta verifica di contratto e localizzazione.
• Importante in ogni variante: l'indice vettoriale contiene frammenti dei tuoi documenti in chiaro. Merita la stessa protezione dei file originali e va cifrato, con accesso limitato e mantenuto nella stessa giurisdizione.

Prospettiva svizzera e DACH: diritto, protezione dati, accessi

I documenti aziendali contengono spesso dati personali e segreti commerciali. In Svizzera vige la legge riveduta sulla protezione dei dati (revDSG / nLPD), vigilata dall'IFPDT (EDÖB); non chiamarla mai «GDPR». Se sono coinvolte persone nell'UE, si applica anche il GDPR e – per certi usi di IA – l'EU AI Act, che ha effetto extraterritoriale. Un RAG privato facilita la compliance ma non sostituisce la valutazione legale.

• Recupero consapevole dei permessi: i diritti di accesso dei sistemi sorgente devono propagarsi fino alla risposta. Altrimenti il RAG «trapela» contenuti che l'utente non potrebbe mai aprire nell'originale.
• Residenza dei dati: mantieni documenti, indice e inferenza del modello in modo dimostrabile in Svizzera o UE quando contratti o regole di settore lo richiedono.
• Tracciabilità: citazioni delle fonti, log delle interrogazioni e chiara limitazione delle finalità supportano gli obblighi di rendicontazione della revDSG e i requisiti di trasparenza dell'EU AI Act.
• Minimizzazione dei dati: indicizza solo i documenti necessari allo scopo e definisci cicli di cancellazione e aggiornamento, così che contenuti obsoleti o da eliminare non vengano più usati per rispondere.

Qualità del recupero: la differenza tra utile e fuorviante

Un sistema RAG vale quanto ciò che recupera. Se al modello arrivano passaggi sbagliati o incompleti, produrrà una risposta convincente ma errata. Gran parte del lavoro sulla qualità sta quindi non nel modello linguistico ma nel recupero.

• Chunking ponderato: tagliare ai confini semantici (titoli, paragrafi) invece che rigidamente per numero di caratteri; non spezzare tabelle ed elenchi a metà.
• Ricerca ibrida: combinare la ricerca vettoriale semantica con quella per parole chiave, così che termini tecnici, nomi di prodotto e numeri di pratica siano trovati esattamente.
• Re-ranking e limiti di contesto: recuperare più candidati e poi scegliere i migliori con un re-ranker – evitando di riempire il contesto con materiale irrilevante.
• Permettere «non lo so»: il sistema dovrebbe dichiarare apertamente quando i documenti non offrono basi, invece di indovinare. È il freno più efficace contro le allucinazioni.
• Misurare, non sperare: valutare regolarmente con un insieme di domande reali e risposte attese verificate (tasso di successo del recupero, fedeltà della risposta alle fonti) prima e dopo ogni modifica.

RAG, fine-tuning o contesto lungo – quando cosa?

Il RAG viene spesso confuso con il fine-tuning. Risolvono problemi diversi e possono essere combinati.

• RAG: fornisce conoscenza aggiornata e specifica dell'azienda con citazioni delle fonti. Ideale quando i contenuti cambiano spesso e conta la tracciabilità. Nuovi documenti significa reindicizzare, non riaddestrare.
• Fine-tuning: imprime stile, formato o tono di dominio in un modello, ma non aggiunge conoscenza fattuale affidabile e verificabile. Più oneroso e da rifare a ogni cambio di conoscenza.
• Contesto lungo senza recupero: con pochi documenti si possono passare direttamente al modello. Non scala a migliaia di file, costa di più per domanda e perde precisione con contesti molto lunghi.
• Regola pragmatica: iniziare con il RAG. Aggiungere il fine-tuning solo se tono o formato non sono altrimenti ottenibili – mai per «memorizzare» conoscenza fattuale.