Ospitare l'IA in proprio: cosa serve e quando conviene

Cosa significa "ospitare l'IA in proprio"

Ospitare l'IA in proprio significa eseguire il modello su un'infrastruttura che governi, invece di inviare i prompt a un'API di terzi come quella di OpenAI o Anthropic. I modelli ospitabili in proprio sono i cosiddetti open-weight: i loro parametri addestrati sono scaricabili (Llama, Mistral, Qwen, Gemma, DeepSeek e lo svizzero Apertus). Scarichi i pesi e li esegui tu stesso.

Ospitare in proprio è uno spettro, non una scelta unica:

• Dispositivo locale: un laptop o una workstation con Ollama o LM Studio - ideale per prototipazione e attività mono-utente.
• Server on-premises: una macchina GPU nel proprio ufficio o data center - i dati non lasciano mai l'edificio.
• Cloud privato/dedicato: istanze GPU affittate ma isolate (es. un VPC dedicato) - controlli l'ambiente senza possedere hardware.

Cosa serve: l'hardware

Il collo di bottiglia è la VRAM, la memoria video della GPU, che deve contenere il modello e il suo contesto. Modelli più grandi e contesti più lunghi richiedono più VRAM. La quantizzazione - comprimere i pesi a 4 o 8 bit - riduce drasticamente i requisiti con una perdita di qualità modesta. Come regole indicative:

• Piccolo (3-8 mld di parametri), 4-bit: ~4-8 GB VRAM - gira su una GPU consumer o un Mac Apple Silicon moderno; buono per chat, riassunti, RAG.
• Medio (12-34 mld), 4-bit: ~10-24 GB VRAM - una GPU consumer di fascia alta (es. 24 GB) o una scheda da workstation.
• Grande (70 mld), 4-bit: ~40+ GB VRAM - GPU professionali o multi-GPU; sensibilmente più vicino alla qualità di frontiera.
• Frontiera open (100 mld+/MoE): più GPU da data center - di solito giustificabile solo in cloud privato.

Stack software e competenze

Oltre alla GPU: la concorrenza moltiplica tutto - dieci utenti simultanei richiedono molto più di uno. Considera CPU, RAM, storage veloce, elettricità e raffreddamento. NVIDIA (CUDA) domina; Apple Silicon con memoria unificata è eccellente per l'uso locale mono-utente; AMD sta recuperando ma ha un ecosistema più piccolo.

Gli strumenti sono maturi. Per iniziare, Ollama e LM Studio racchiudono tutto in un'esperienza quasi a un clic. Per la produzione, vLLM e Hugging Face TGI aggiungono batching, throughput più alto e un'API compatibile con OpenAI, così le tue app cambiano poco. llama.cpp è alla base di molti di questi e gira in modo efficiente anche su hardware modesto.

La parte più difficile è la gestione, non l'installazione. Qualcuno deve:

• Gestire Linux, driver GPU e versioni CUDA
• servire il modello in modo affidabile, monitorare latenza e uptime e gestire lo scaling
• applicare patch di sicurezza, controllare gli accessi e mantenere un audit trail
• valutare e sostituire i modelli quando ne escono di migliori (l'ecosistema aperto si muove in fretta)
• costruire il vero strato di valore: RAG, prompt, guardrail, integrazione

Costi: in proprio vs. API

Realisticamente una PMI ha bisogno di almeno un ingegnere capace o di un partner esterno; sottovalutare questo sforzo continuo è il motivo più comune per cui i progetti in proprio deludono. L'economia dipende da volume e utilizzo. Un'API addebita per token: nessun costo iniziale, scala all'istante, paghi solo ciò che usi. L'hosting in proprio anticipa i costi: compri o affitti GPU e paghi elettricità, raffreddamento e - la voce nascosta più grande - il tempo di ingegneria, che la GPU sia occupata o inattiva.

Il punto di pareggio favorisce l'hosting in proprio quando l'utilizzo è alto e costante - un carico sempre attivo ammortizza i costi fissi. Con volumi bassi o irregolari, una GPU inattiva rende l'API più economica. Modella tutto onestamente, incluso il tempo del personale, prima di comprare hardware. Confronto rapido:

• Costo iniziale: API nessuno; in proprio alto (hardware) o moderato (affitto)
• Costo marginale per richiesta: API per token; in proprio quasi nullo a regime
• Scaling: API elastico; in proprio limitato dal tuo hardware
• Costo di inattività: API zero; in proprio paghi comunque
• Onere operativo: API minimo; in proprio significativo

Pro e contro in sintesi

• Pro - Sovranità dei dati: prompt e documenti non escono mai dal tuo controllo; decisivo per i dati sensibili.
• Pro - Costi prevedibili su larga scala: nessuna bolletta per token una volta ripagato l'hardware.
• Pro - Indipendenza: nessun lock-in, nessun cambio a sorpresa di prezzi o policy, funziona offline/air-gapped.
• Pro - Controllo: scegli la versione esatta del modello, personalizzi e fai fine-tuning, regoli la latenza.
• Contro - Capitale e gestione: spesa hardware più ingegneria continua.
• Contro - Divario di qualità: i migliori modelli aperti restano dietro ai migliori proprietari nel ragionamento difficile - ma il divario si riduce.
• Contro - Attrito di scaling e piena responsabilità: i picchi di domanda sono difficili da assorbire; sicurezza, uptime e conformità sono interamente tuoi, compreso il continuo adottare nuovi modelli.

Quando conviene a una PMI?

Ospitare in proprio ha senso soprattutto se almeno una di queste condizioni è vera:

Di solito non conviene quando il volume è basso o imprevedibile, quando serve il ragionamento più potente possibile o quando manca capacità operativa - allora un'API conforme o un deployment in cloud privato (es. una regione svizzera/UE di un fornitore o un VPC isolato) spesso è più adatto. Molte PMI arrivano a un approccio ibrido: ospitare in proprio i compiti piccoli, ad alto volume e sensibili; usare un'API per i più difficili.

Due punti rilevanti per la Svizzera. Primo, l'hosting in proprio non ti rende di per sé conforme - la revDSG, le linee guida dell'IFPDT e l'extraterritoriale EU AI Act si applicano al tuo uso dell'IA indipendentemente da dove gira; l'hosting in proprio elimina soprattutto il problema dei trasferimenti transfrontalieri di dati. Secondo, la Svizzera ha ora Apertus, un modello linguistico di grandi dimensioni completamente aperto di ETH Zurigo, EPFL e CSCS - un'opzione notevole quando contano trasparenza e provenienza svizzera.

• Tratti dati sensibili o regolamentati (sanità, legale, finanza, HR) dove tenere i dati in casa semplifica la conformità alla revDSG/nLPD e la fiducia dei clienti.
• Il volume è abbastanza alto e costante da ammortizzare l'hardware.
• Hai bisogno di funzionamento offline, latenza garantita o ambienti air-gapped.
• Disponi già di solide capacità IT/ingegneristiche o di un partner affidabile.

Una tabella di marcia pragmatica

• Parti con un pilota locale: esegui Ollama con un piccolo modello aperto su una workstation e testalo su attività reali per una settimana.
• Misura onestamente: qualità rispetto al tuo caso d'uso, volume mensile atteso e latenza richiesta.
• Confronta il costo totale: hardware più tempo del personale rispetto a una bolletta API equivalente.
• Scegli il livello: locale, on-prem, cloud privato - o ibrido.
• Investi nello strato di valore (RAG, integrazione, guardrail), che conta più del modello grezzo.