Was bedeutet KI On-Premise – und lohnt sie sich für ein KMU?

Was bedeutet "KI On-Premise" genau?

KI On-Premise (auch selbstgehostete oder lokale KI) beschreibt den Betrieb von KI-Modellen – vor allem grossen Sprachmodellen (LLMs) – auf Infrastruktur, die das Unternehmen selbst kontrolliert. Prompts, Dokumente und Antworten verlassen die eigene Umgebung nicht und werden nicht an einen externen Anbieter übermittelt.

In der Praxis ist "lokal" ein Spektrum: von einer einzelnen GPU-Workstation als Pilot über einen Server im eigenen Rechenzentrum bis zu einer dedizierten, mandantengetrennten Instanz bei einem Schweizer Provider (Sovereign Cloud). Entscheidend ist nicht der Standort allein, sondern wer die Daten und Schlüssel kontrolliert.

• On-Premise: Hardware im eigenen Serverraum oder Rechenzentrum – volle physische Kontrolle.
• Private/Sovereign Cloud: dedizierte Instanz bei einem Schweizer Anbieter, keine geteilte Mandantschaft.
• Cloud-API (zum Vergleich): schnell und skalierbar, aber die Daten verlassen das Unternehmen.
• Air-Gap: vollständig vom Internet getrennter Betrieb für höchste Vertraulichkeit.

Referenzarchitektur: die Bausteine eines On-Premise-Stacks

Ein On-Premise-KI-System ist ein Schichtmodell. Ganz unten liegt die Hardware, darüber die Software, die das Modell ausführt, dann die eigentlichen Anwendungen und quer dazu Betrieb und Sicherheit. Wer die Schichten trennt, kann Modelle austauschen, ohne die Anwendung neu zu bauen.

• Hardware-Schicht: GPU-Server mit ausreichend VRAM, schnelles Netzwerk und Storage.
• Inferenz-Runtime: die Software, die das Modell lädt und Antworten erzeugt (z. B. vLLM, Ollama, llama.cpp, Hugging Face TGI).
• Modell-Schicht: Open-Weights-Modelle wie Llama, Mistral, Qwen, Gemma oder das Schweizer Apertus.
• Wissensanbindung (RAG): Vektordatenbank, Embeddings und Retrieval, damit das Modell auf eigene Dokumente zugreift.
• Anwendungsschicht: Chat-Oberfläche, API-Gateway und Integrationen in bestehende Systeme.
• Betrieb & Sicherheit: Authentifizierung, Zugriffskontrolle, Logging, Monitoring und Updates.

Hardware- und Software-Anforderungen

Der wichtigste Engpass ist der Grafikspeicher (VRAM). Er bestimmt, wie gross ein Modell sein darf. Durch Quantisierung – das Modell wird mit weniger Bits pro Parameter gespeichert – sinkt der VRAM-Bedarf deutlich, meist mit nur geringem Qualitätsverlust. Als grobe Faustregel gilt: VRAM ≈ Parameterzahl × Bytes pro Parameter (4-Bit-Quantisierung ≈ 0,5 Byte).

• Modell mit 7–8 Mrd. Parametern (quantisiert): grob 6–12 GB VRAM – läuft auf einer leistungsfähigen Consumer-GPU (16–24 GB).
• Modell mit ~70 Mrd. Parametern (quantisiert): grob 40–48 GB VRAM – braucht eine Data-Center-GPU oder mehrere Karten.
• Reiner CPU-Betrieb ist möglich, aber deutlich langsamer; für Produktivlast wird eine GPU empfohlen.
• Weitere Dimensionierungsfaktoren: Zahl gleichzeitiger Nutzer, Kontextlänge und geforderter Durchsatz (Tokens pro Sekunde).
• Software ist überwiegend Open Source und quelloffen betreibbar; konkrete Hardwarepreise beim jeweiligen Anbieter prüfen.

Sicherheits- und Compliance-Vorteile – der Schweizer Blick

Der stärkste Vorteil von On-Premise ist Datenhoheit: Personendaten, Geschäftsgeheimnisse und Kundenunterlagen bleiben im Unternehmen. Das erleichtert den Nachweis der Konformität mit dem revidierten Datenschutzgesetz (revDSG/nFADP) und vermeidet heikle Auslandtransfers. Für Berufe mit gesetzlichem Geheimnis – Anwältinnen, Ärzte, Treuhänder (Art. 321 StGB) – kann lokale Verarbeitung entscheidend sein.

Auch der EU AI Act ist relevant: Er wirkt extraterritorial und kann Schweizer Unternehmen betreffen, die in die EU liefern. On-Premise erleichtert Nachvollziehbarkeit und Kontrolle, ersetzt aber keine Governance. Wichtig: Lokal ist nicht automatisch sicher – Härtung, Zugriffskontrolle, Verschlüsselung und Patching bleiben in Ihrer Verantwortung.

• Keine Übermittlung an Dritte und kein unkontrollierter Auslandtransfer von Daten.
• Prompts und Dokumente fliessen nicht ins Training fremder Modelle ein.
• Air-Gap-Betrieb für hochsensible Umgebungen möglich.
• Aufsicht in der Schweiz: der EDÖB; klare Zuständigkeit statt Anbieter-AGB im Ausland.
• Aber: Sicherheit ist kein Automatismus – eigenes Betriebssicherheits-Konzept nötig.

Realistische Erwartungen: Kosten, Qualität, Aufwand

On-Premise ist kein Selbstläufer. Die Qualität guter Open-Weights-Modelle reicht für viele KMU-Aufgaben – Zusammenfassen, Entwürfe, interne Suche, Klassifikation – oft völlig aus. Bei komplexem Reasoning, langen Ketten und mehrsprachiger Nuance liegen die grössten Cloud-Modelle jedoch häufig noch voraus. Diese Lücke wird kleiner, verschwindet aber nicht über Nacht.

• Kostenmodell: hohe Anfangsinvestition in Hardware (CapEx) statt laufender Cloud-Gebühren (OpEx); Amortisation erst ab gewissem, konstantem Nutzungsvolumen.
• Betriebsaufwand: Updates, Modellwechsel, Skalierung und Verfügbarkeit müssen intern oder über einen Partner sichergestellt werden.
• Zeit bis produktiv: eher Wochen bis Monate als Tage – inklusive Datenanbindung und Testing.
• Nicht alles selbst bauen: Appliance- oder Managed-On-Prem-Ansätze reduzieren den Betriebsaufwand deutlich.
• Stromverbrauch, Kühlung und Ersatzhardware gehören in die Gesamtkostenrechnung (TCO).

On-Premise, Cloud oder hybrid? Entscheidungshilfe für KMU

Die Frage ist selten "entweder/oder". Viele KMU fahren am besten mit einem hybriden Modell: sensible Daten und wiederkehrende Standardaufgaben lokal, Spitzenlast und besonders anspruchsvolle Aufgaben in einer (idealerweise Schweizer) Cloud. Beginnen Sie mit einem klar umrissenen Use-Case und einem einzelnen GPU-Server, statt gleich ein Rechenzentrum zu planen.

• On-Premise sinnvoll bei: hochsensiblen Daten, regulierten Branchen, hohem konstantem Volumen, Air-Gap-Anforderung.
• Cloud sinnvoll bei: schnellem Start, stark schwankender Last, Bedarf an Spitzenmodellen, knappen IT-Ressourcen.
• Hybrid: das Beste aus beidem – lokale Datenhoheit plus Cloud-Spitzenmodelle bei Bedarf.
• Pilot zuerst: einen messbaren Use-Case wählen, Nutzen belegen, dann skalieren.