Cos'è l'IA on-premise e conviene a una PMI?

Cosa significa esattamente "IA on-premise"?

L'IA on-premise (detta anche self-hosted o locale) indica l'esecuzione di modelli di IA – soprattutto grandi modelli linguistici (LLM) – su infrastruttura controllata direttamente dall'azienda. Prompt, documenti e risposte non lasciano l'ambiente interno e non vengono trasmessi a un fornitore esterno.

Nella pratica "locale" è uno spettro: da una singola workstation GPU come pilota, a un server nel proprio data center, fino a un'istanza dedicata e a tenant singolo presso un provider svizzero (sovereign cloud). Ciò che conta non è solo la posizione, ma chi controlla i dati e le chiavi.

• On-premise: hardware nella propria sala server o data center – pieno controllo fisico.
• Private/sovereign cloud: istanza dedicata presso un provider svizzero, senza multi-tenancy.
• API cloud (per confronto): rapida e scalabile, ma i dati escono dall'azienda.
• Air-gap: funzionamento completamente isolato da internet per la massima riservatezza.

Architettura di riferimento: i componenti di uno stack on-premise

Un sistema di IA on-premise è un modello a livelli. In basso c'è l'hardware, sopra il software che esegue il modello, poi le applicazioni vere e proprie, e trasversalmente operatività e sicurezza. Separare i livelli consente di cambiare modello senza ricostruire l'applicazione.

• Livello hardware: server GPU con VRAM sufficiente, rete e storage veloci.
• Runtime di inferenza: il software che carica il modello e genera risposte (es. vLLM, Ollama, llama.cpp, Hugging Face TGI).
• Livello modello: modelli open-weights come Llama, Mistral, Qwen, Gemma o lo svizzero Apertus.
• Collegamento alla conoscenza (RAG): database vettoriale, embedding e retrieval affinché il modello attinga ai documenti aziendali.
• Livello applicativo: interfaccia chat, API gateway e integrazioni con i sistemi esistenti.
• Operatività e sicurezza: autenticazione, controllo degli accessi, logging, monitoraggio e aggiornamenti.

Requisiti hardware e software

Il collo di bottiglia principale è la memoria grafica (VRAM). Determina quanto può essere grande un modello. La quantizzazione – memorizzare il modello con meno bit per parametro – riduce nettamente la VRAM necessaria, di solito con una perdita di qualità minima. Regola empirica: VRAM ≈ numero di parametri × byte per parametro (quantizzazione a 4 bit ≈ 0,5 byte).

• Modello da 7–8 mld di parametri (quantizzato): circa 6–12 GB di VRAM – gira su una GPU consumer potente (16–24 GB).
• Modello da ~70 mld di parametri (quantizzato): circa 40–48 GB di VRAM – richiede una GPU da data center o più schede.
• Il funzionamento solo CPU è possibile ma molto più lento; per il carico di produzione si consiglia una GPU.
• Altri fattori di dimensionamento: numero di utenti simultanei, lunghezza del contesto e throughput richiesto (token al secondo).
• Lo stack software è in gran parte open source e auto-ospitabile; verificare i prezzi hardware attuali presso il fornitore.

Vantaggi di sicurezza e conformità – la prospettiva svizzera

Il vantaggio più forte dell'on-premise è la sovranità sui dati: dati personali, segreti aziendali e documenti dei clienti restano in azienda. Ciò facilita la prova di conformità alla legge riveduta sulla protezione dei dati (nLPD) ed evita delicati trasferimenti all'estero. Per le professioni vincolate al segreto (avvocati, medici, fiduciari; art. 321 CP) l'elaborazione locale può essere decisiva.

Anche l'EU AI Act è rilevante: ha effetto extraterritoriale e può interessare le aziende svizzere che vendono nell'UE. L'on-premise facilita tracciabilità e controllo, ma non sostituisce la governance. Importante: locale non significa automaticamente sicuro – hardening, controllo accessi, cifratura e patching restano una vostra responsabilità.

• Nessuna trasmissione a terzi e nessun trasferimento incontrollato di dati all'estero.
• Prompt e documenti non alimentano l'addestramento di modelli di terzi.
• Funzionamento air-gap possibile per ambienti altamente sensibili.
• Vigilanza in Svizzera: l'IFPDT; responsabilità chiara invece dei termini di un fornitore estero.
• Ma: la sicurezza non è automatica – serve un proprio concetto di sicurezza operativa.

Aspettative realistiche: costi, qualità, impegno

L'on-premise non è un percorso automatico. La qualità dei buoni modelli open-weights è spesso del tutto sufficiente per molti compiti delle PMI: sintesi, bozze, ricerca interna, classificazione. Sul ragionamento complesso, le catene lunghe e le sfumature multilingue, però, i più grandi modelli cloud restano spesso avanti. Il divario si riduce, ma non svanirà da un giorno all'altro.

• Modello di costo: forte investimento iniziale in hardware (CapEx) invece di canoni cloud ricorrenti (OpEx); ammortamento solo oltre un certo volume d'uso costante.
• Impegno operativo: aggiornamenti, cambi di modello, scalabilità e disponibilità vanno gestiti internamente o tramite partner.
• Tempo di messa in produzione: settimane o mesi più che giorni – inclusi integrazione dei dati e test.
• Non costruire tutto in casa: soluzioni appliance o managed-on-prem riducono nettamente l'impegno operativo.
• Consumo elettrico, raffreddamento e hardware di riserva rientrano nel costo totale di proprietà (TCO).

On-premise, cloud o ibrido? Guida alla decisione per le PMI

La domanda raramente è "o/o". Molte PMI ottengono i risultati migliori con un modello ibrido: dati sensibili e attività standard ricorrenti in locale, picchi di carico e compiti particolarmente impegnativi in un cloud (idealmente svizzero). Iniziate con un caso d'uso ben definito e un singolo server GPU, invece di progettare subito un data center.

• On-premise conviene con: dati altamente sensibili, settori regolamentati, volume elevato e costante, requisito air-gap.
• Il cloud conviene con: avvio rapido, carico molto variabile, necessità di modelli di punta, risorse IT limitate.
• Ibrido: il meglio di entrambi – sovranità locale dei dati più modelli cloud di punta quando serve.
• Prima il pilota: scegliere un caso d'uso misurabile, dimostrare il valore, poi scalare.