Was ist lokale KI?

Lokale KI: eine Definition

Lokale KI bedeutet, ein KI-Modell auf Hardware zu betreiben, die Sie selbst kontrollieren, statt Ihre Anfragen an das Rechenzentrum eines Anbieters zu senden. Die Modellgewichte liegen auf Ihrem Gerät, die Berechnung findet dort statt, und Ihre Eingaben und Daten verlassen Ihr System nie in Richtung eines Dritten.

Der Begriff umfasst zwei Varianten. On-Device-KI läuft direkt auf einem persönlichen Gerät - Laptop, Smartphone oder Workstation -, meist für eine einzelne Person. Self-hosted KI läuft auf einem Server oder Cluster, den Sie selbst betreiben und der ein Team, eine Anwendung oder eine ganze Organisation bedient. Beide sind 'lokal', weil Sie - nicht ein Anbieter - Infrastruktur und Daten in der Hand halten.

Lokale KI vs. Cloud-KI: die Unterschiede

• Datenstandort: Lokal - Daten bleiben auf Ihrer Hardware; Cloud - Daten werden an die Server des Anbieters übertragen und dort verarbeitet.
• Modellgrösse und Qualität: Die Cloud bietet Zugang zu den grössten Spitzenmodellen; lokal laufen kleinere Open-Weight-Modelle, abgestimmt auf Ihre Hardware.
• Kostenmodell: Lokal - einmalige Hardware plus Strom; Cloud - Bezahlung pro Nutzung oder Abo, das mit dem Volumen wächst.
• Verfügbarkeit: Lokal funktioniert vollständig offline; die Cloud braucht eine stabile Internetverbindung.
• Wartung: Die Cloud wird für Sie betrieben; lokal übernehmen Sie Updates, Sicherheit und Skalierung.
• Latenz und Limits: Lokal gibt es keine Rate-Limits oder Kosten pro Token; die Cloud drosselt und misst die Nutzung.
• Kontrolle und Compliance: Lokal bedeutet volle Datenhoheit; die Cloud hängt von Bedingungen, Region und Zertifizierungen des Anbieters ab.

Wann sich lokale KI lohnt

• Sensible Daten: Gesundheits-, Rechts-, Finanz- oder HR-Informationen, die das Haus unter revDSG/nDSG oder Berufsgeheimnis nicht verlassen dürfen.
• Offline- und Edge-Umgebungen: Fabriken, Kliniken, Aussendienst oder Sicherheitsbereiche ohne verlässliche Verbindung.
• Hohes, planbares Volumen: konstante Lasten, bei denen Cloud-Kosten pro Token dominieren würden.
• Anforderungen an Datensouveränität: öffentlicher Sektor, regulierte Branchen oder Verträge mit Schweizer/EU-Datenhaltung.
• Produktfunktionen: KI in einer App oder einem Gerät, das ohne Cloud-Abhängigkeit oder laufende API-Rechnung funktionieren muss.
• Experimentieren und Lernen: offene Modelle frei und ohne Nutzungslimits ausprobieren.

Grenzen und Kompromisse

• Modellgrenze: Die besten lokalen Open-Weight-Modelle sind stark, liegen bei den schwierigsten Aufgaben aber meist hinter den grössten Cloud-Systemen.
• Hardwarekosten und Komplexität: Leistungsfähige Modelle brauchen eine moderne GPU oder NPU und genügend RAM/VRAM; Einrichtung und Feintuning erfordern Know-how.
• Wartungsaufwand: Updates, Sicherheitspatches, Monitoring und Skalierung liegen bei Ihnen.
• Langsamere Iteration: Sie aktualisieren Modelle manuell, statt automatisch die neueste Version des Anbieters zu erhalten.
• Nicht automatisch konform: Lokal senkt das Übertragungsrisiko, doch Governance, Zugriffskontrolle und Dokumentation bleiben Ihre Aufgabe.

Was Sie für lokale KI brauchen

Sie brauchen kein Rechenzentrum für den Einstieg. Viele leistungsfähige Open-Weight-Modelle laufen auf einem aktuellen Laptop, und die Werkzeuge sind wirklich zugänglich geworden.

• Hardware: Eine moderne CPU genügt für kleine Modelle; eine GPU oder NPU mit genügend VRAM erschliesst grössere und schnellere.
• Open-Weight-Modelle: Familien wie Llama, Mistral, Gemma, Qwen oder DeepSeek sowie das Schweizer Modell Apertus von ETH Zürich und EPFL.
• Laufzeitumgebungen: Werkzeuge wie Ollama, LM Studio, llama.cpp oder vLLM, die Modelle lokal herunterladen, quantisieren und bereitstellen.
• Quantisierung: Ein Modell so komprimieren, dass es mit geringem Qualitätsverlust auf Consumer-Hardware passt.
• Optionale Oberfläche: eine lokale Chat-Oberfläche oder ein API-Endpunkt, den Ihre eigenen Anwendungen ansprechen.

Der Schweizer Blick: Datenschutz und Souveränität

Für Schweizer und DACH-Organisationen ist lokale KI oft ebenso sehr eine Datenschutz- und Souveränitätsentscheidung wie eine technische. Unter dem revidierten Datenschutzgesetz (revDSG/nDSG), beaufsichtigt vom EDÖB, entfallen durch das Speichern von Personendaten auf eigener Infrastruktur die Fragen zu grenzüberschreitender Übermittlung und Auftragsbearbeitung durch Dritte, die Cloud-KI aufwirft.

Der extraterritoriale EU AI Act kann auch für Schweizer Firmen gelten, die den EU-Markt bedienen. Modelle lokal zu betreiben befreit Sie nicht von diesen Regeln, vereinfacht aber Datengovernance und Nachvollziehbarkeit. Schweizer Open-Modelle wie Apertus von ETH Zürich und EPFL zeigen, dass souveräne, transparente KI realistisch ist - aktuelle Fähigkeiten und Lizenzbedingungen entnehmen Sie der Dokumentation des Anbieters.