IA locale o IA cloud: quale scegliere per il tuo caso d'uso?

IA locale e IA cloud: le definizioni

IA locale (anche on-premise, self-hosted o on-device) significa che un modello gira su infrastruttura che controlli tu: un server nel tuo data center, una workstation con GPU o un dispositivo edge. Di norma si usano modelli open-weight come Llama, Mistral, Qwen, Gemma o il modello svizzero Apertus, serviti tramite strumenti come Ollama, LM Studio, llama.cpp o vLLM.

IA cloud significa usare un modello tramite l'API o l'app web di un fornitore – per esempio ChatGPT di OpenAI, Claude di Anthropic o Gemini di Google. Il fornitore gestisce hardware, modello e aggiornamenti; tu invii richieste e di solito paghi a consumo. I due approcci non si escludono: molte organizzazioni li combinano in un'architettura ibrida.

Confronto diretto: controllo, costi, prestazioni, privacy

Le quattro dimensioni decisive, a confronto:

• Controllo e sovranità – Locale: dati e modello restano in casa, versioni stabili, nessun lock-in. Cloud: il fornitore controlla modello, aggiornamenti e disponibilità; i modelli possono cambiare senza il tuo consenso.
• Costi – Locale: forte investimento iniziale (CapEx) in hardware, poi costi fissi prevedibili indipendenti dal volume. Cloud: nessun costo iniziale, a consumo (OpEx), cresce con il volume di richieste.
• Prestazioni – Cloud: accesso ai modelli di frontiera più potenti per ragionamento complesso e compiti multimodali. Locale: modelli open-weight, validi e sufficienti per molti compiti, con limiti sulle capacità di punta assolute.
• Privacy – Locale: nessun dato esce verso terzi, ideale per segreto professionale e dati altamente sensibili. Cloud: richiede un accordo sul trattamento, residenza dei dati verificata e regole chiare sull'uso per l'addestramento.
• Latenza e offline – Locale/edge: bassa latenza, funziona offline e air-gapped. Cloud: dipende dalla rete, ma disponibile ovunque e senza manutenzione a tuo carico.
• Scalabilità e manutenzione – Locale: limitata dall'hardware proprio, richiede un team ops/MLOps. Cloud: scalabilità elastica, gestione e sicurezza a carico del fornitore.

Costi, realisticamente: CapEx, OpEx e il punto di pareggio

Con l'IA cloud paghi a consumo (di solito per token), senza costi iniziali. I prezzi effettivi cambiano spesso – consulta il listino aggiornato del fornitore. Il vantaggio: parti subito e i costi seguono la domanda reale. Lo svantaggio: con volumi alti e costanti i costi ricorrenti crescono in fretta.

Con l'IA locale domina l'investimento iniziale in hardware. Come orientamento tecnico di massima: un modello da 7-8 miliardi di parametri in quantizzazione a 4 bit gira su una GPU consumer con circa 16 GB di VRAM; un modello da 70 miliardi richiede piuttosto 40 GB e oltre, spesso più GPU. A ciò si aggiungono elettricità, raffreddamento, ricambi e – spesso sottovalutato – personale per gestione, sicurezza e aggiornamenti del modello.

Regola pratica: volumi bassi o molto variabili favoriscono il cloud; volumi alti e costanti possono risultare più economici in locale nel tempo. Calcola sull'intero ciclo di vita (total cost of ownership) e includi i costi nascosti come ridondanza e personale specializzato.

Privacy e conformità: la lente svizzera

In Svizzera dal settembre 2023 si applica la legge riveduta sulla protezione dei dati (nLPD/revDSG), vigilata dall'IFPDT (EDÖB). Per le fattispecie svizzere vale la nLPD, non il GDPR; il GDPR UE si applica quando tratti persone nell'UE. Inoltre l'EU AI Act ha portata extraterritoriale e può riguardare fornitori svizzeri che immettono sistemi di IA sul mercato UE.

Per dati particolarmente sensibili e per il segreto professionale (es. art. 321 CP svizzero per medici, avvocati, fiduciari), l'IA locale è spesso la soluzione più netta: i dati non lasciano mai la propria infrastruttura. Se vuoi comunque il cloud, pretendi: residenza dei dati in Svizzera o UE, un accordo sul trattamento, la garanzia contrattuale che i dati non siano usati per l'addestramento e un chiaro piano di cancellazione.

Un aspetto svizzero sulla sovranità: con Apertus è disponibile un modello linguistico ad accesso aperto, sviluppato all'ETH di Zurigo, all'EPFL e al centro di supercalcolo CSCS, eseguibile in locale. Modelli aperti così rafforzano l'indipendenza digitale quando la sovranità dei dati è la priorità.

Prestazioni e capacità: cosa fanno davvero i modelli oggi

Per i compiti più impegnativi – ragionamento complesso, contesti lunghi, multimodalità avanzata – restano in testa i grandi modelli di frontiera nel cloud. Vengono migliorati di continuo dal fornitore senza che tu debba potenziare l'hardware.

Per molti compiti aziendali reali, però, i modelli open-weight locali sono ormai più che sufficienti: riassumere, estrarre informazioni, classificare, redigere bozze o una ricerca basata sulla conoscenza (RAG) sui documenti interni. La quantizzazione riduce i modelli per hardware più modesto – a costo di un'accuratezza leggermente inferiore. I modelli locali si possono inoltre mettere a punto (fine-tuning) sul tuo dominio, migliorando coerenza e linguaggio tecnico.

Sulla latenza non c'è un verdetto univoco: i modelli on-device rispondono spesso molto rapidamente senza passare dalla rete, mentre i grandi data center cloud offrono parallelismo e throughput enormi. Ciò che conta è il tuo profilo di carico.

Guida alla scelta: quando locale, quando cloud, quando ibrido

Usa questi criteri per arrivare rapidamente a una scelta solida:

• Scegli il locale quando: vige riservatezza stretta o segreto professionale, il volume è alto e costante, devi lavorare offline o air-gapped, contano controllo e personalizzazione totali e disponi di un team ops.
• Scegli il cloud quando: ti serve la massima prestazione del modello, il volume è basso o variabile, conta un avvio rapido, non hai un team operativo e vuoi sempre le ultime funzioni multimodali.
• Scegli l'ibrido quando: compiti diversi richiedono risposte diverse. Uno schema collaudato: elaborare in locale dati sensibili e compiti standard, inoltrare al cloud le richieste più difficili e anonimizzare o mascherare in locale i dati personali prima di ogni chiamata al cloud.
• Qualunque sia il modello, verifica sempre: dove risiedono i dati, chi è responsabile, come avviene l'uscita e come eviti il lock-in. Interfacce standardizzate e opzioni open-weight ti tengono la porta aperta.