Wie funktioniert privates RAG über Firmendokumente?

Was privates RAG ist – und warum es mehr als ein Chatbot ist

Ein Sprachmodell allein weiss nichts über Ihr Unternehmen: nichts über Ihre Verträge, Prozesse, Angebote oder Projektakten. Fragt man es trotzdem, rät es plausibel klingend – und liegt oft daneben. RAG löst dieses Problem, indem es das Modell bei jeder Frage mit den relevanten Auszügen aus Ihren eigenen Dokumenten versorgt. Das Modell formuliert die Antwort dann nicht aus dem Gedächtnis, sondern aus dem mitgelieferten Kontext.

«Privat» heisst dabei zweierlei: Erstens verlassen Ihre Dokumente die von Ihnen kontrollierte Umgebung nicht – sie werden weder zum Training fremder Modelle verwendet noch an einen öffentlichen Dienst übertragen. Zweitens sieht jede Nutzerin nur, was sie sehen darf. Ein gut gebautes privates RAG ist damit weniger ein «Chatbot» als eine durchsuchbare, antwortende Wissensschicht über Ihrem bestehenden Dokumentenbestand.

Die RAG-Pipeline Schritt für Schritt

Technisch besteht RAG aus zwei Phasen: einer einmaligen (bzw. laufenden) Aufbereitung Ihrer Dokumente und einer Abfrage bei jeder Frage. Die Aufbereitung baut den durchsuchbaren Index; die Abfrage holt Kontext und erzeugt die Antwort.

• Ingestion & Bereinigung: PDFs, Office-Dateien, Wiki-Seiten, E-Mails oder Tickets werden eingelesen und in reinen Text plus Metadaten (Quelle, Datum, Zugriffsrechte) umgewandelt.
• Chunking: Lange Dokumente werden in kleinere, sinnvoll geschnittene Abschnitte zerlegt – gross genug, um Bedeutung zu tragen, klein genug, um präzise gefunden zu werden.
• Embeddings: Ein Embedding-Modell wandelt jeden Abschnitt in einen Vektor um – eine Zahlenrepräsentation seiner Bedeutung. Ähnliche Inhalte liegen im Vektorraum nahe beieinander.
• Vektor-Index: Die Vektoren landen in einer Vektordatenbank, oft ergänzt um klassische Stichwortsuche (hybride Suche), damit auch exakte Begriffe und Aktenzeichen zuverlässig treffen.
• Retrieval & Re-Ranking: Zur Frage werden die passendsten Abschnitte gesucht; ein Re-Ranker sortiert sie nach echter Relevanz, bevor die besten weitergereicht werden.
• Generierung mit Belegen: Frage plus gefundene Abschnitte gehen an das Sprachmodell, das eine Antwort formuliert – idealerweise mit Quellenangabe, sodass jede Aussage nachprüfbar bleibt.

Was «privat» konkret bedeutet: Betriebsmodelle

Privatheit ist keine Eigenschaft von RAG an sich, sondern eine Frage, wo Modell, Index und Daten laufen. Es gibt ein Spektrum – vom vollständig lokalen Betrieb bis zu abgeschotteten Cloud-Endpunkten. Der richtige Punkt hängt von Sensibilität der Daten, benötigter Antwortqualität und internen IT-Ressourcen ab.

• Vollständig lokal / On-Premises: Open-Weight-Modelle (etwa Llama, Mistral oder das Schweizer Apertus von ETH/EPFL) und Vektordatenbank laufen auf eigener Hardware. Maximale Kontrolle, kein Datenabfluss – aber Sie tragen Betrieb, GPU-Kosten und Wartung selbst.
• Private Cloud in der Schweiz / EU: dediziertes Konto oder Schweizer Rechenzentrum mit vertraglich zugesicherter Datenresidenz und Zusicherung, dass Ihre Daten nicht zum Modelltraining genutzt werden. Guter Kompromiss aus Qualität, Aufwand und Datenhoheit.
• Vertraulicher Cloud-Endpunkt eines grossen Anbieters: gehostete Modelle mit Zero-Retention- und Auftragsbearbeitungsverträgen. Schnell startklar und leistungsstark, verlangt aber sorgfältige Vertrags- und Standortprüfung.
• Wichtig in allen Varianten: Der Vektor-Index enthält Bruchstücke Ihrer Dokumente im Klartext. Er ist ebenso schützenswert wie die Originaldateien und muss verschlüsselt, zugriffsbeschränkt und in derselben Rechtssphäre gehalten werden.

Schweizer und DACH-Perspektive: Recht, Datenschutz, Zugriff

Firmendokumente enthalten häufig Personendaten und Geschäftsgeheimnisse. In der Schweiz gilt das revidierte Datenschutzgesetz (revDSG / nFADP), beaufsichtigt vom EDÖB; sprechen Sie hier nie von «DSGVO». Wer Personen in der EU betrifft, fällt zusätzlich unter die DSGVO und – bei bestimmten KI-Anwendungen – unter den extraterritorial wirkenden EU AI Act. Ein privates RAG erleichtert die Compliance, ersetzt aber die rechtliche Beurteilung nicht.

• Berechtigungsbewusstes Retrieval: Zugriffsrechte aus Ihren Quellsystemen müssen bis in die Antwort durchgereicht werden. Sonst «leakt» das RAG Inhalte, die eine Nutzerin im Original nie öffnen dürfte.
• Datenresidenz: Halten Sie Dokumente, Index und Modell-Inferenz nachvollziehbar in der Schweiz oder EU, wenn Verträge oder Branchenregeln dies verlangen.
• Nachvollziehbarkeit: Quellenzitate, Protokollierung der Abfragen und eine klare Zweckbindung unterstützen Rechenschaftspflichten nach revDSG und die Transparenzanforderungen des EU AI Act.
• Datensparsamkeit: Nehmen Sie nur Dokumente in den Index auf, die für den Zweck nötig sind, und definieren Sie Lösch- und Aktualisierungszyklen, damit veraltete oder zu löschende Inhalte nicht weiter beantwortet werden.

Retrieval-Qualität: der Unterschied zwischen nützlich und irreführend

Ein RAG-System ist nur so gut wie das, was es findet. Erhält das Modell die falschen oder unvollständigen Abschnitte, formuliert es eine überzeugende, aber falsche Antwort. Der Grossteil der Qualitätsarbeit steckt deshalb nicht im Sprachmodell, sondern im Retrieval.

• Durchdachtes Chunking: An semantischen Grenzen (Überschriften, Absätze) schneiden, statt stur nach Zeichenzahl; Tabellen und Listen nicht mitten auseinanderreissen.
• Hybride Suche: Semantische Vektorsuche mit Stichwortsuche kombinieren, damit Fachbegriffe, Produktnamen und Aktenzeichen exakt treffen.
• Re-Ranking und Kontextgrenzen: Mehr Kandidaten holen, dann per Re-Ranker die besten auswählen – so vermeiden Sie, den Kontext mit Irrelevantem zu füllen.
• «Ich weiss es nicht» erlauben: Das System sollte offen sagen, wenn die Dokumente keine Grundlage liefern, statt zu raten. Das ist die wirksamste Bremse gegen Halluzinationen.
• Messen statt hoffen: Mit einem Satz echter Fragen und geprüfter Soll-Antworten regelmässig evaluieren (Trefferquote des Retrievals, Beleg-Treue der Antwort), bevor und nachdem Sie etwas ändern.

RAG, Fine-Tuning oder langer Kontext – wann was?

RAG wird oft mit Fine-Tuning verwechselt. Sie lösen unterschiedliche Probleme und lassen sich kombinieren.

• RAG: liefert aktuelles, unternehmensspezifisches Wissen mit Quellenbelegen. Ideal, wenn sich Inhalte häufig ändern und Nachvollziehbarkeit zählt. Neue Dokumente heisst: neu indexieren, nicht neu trainieren.
• Fine-Tuning: prägt Stil, Format oder Fachton in ein Modell ein, fügt aber kein zuverlässiges, prüfbares Faktenwissen hinzu. Aufwändiger und bei jeder Wissensänderung erneut nötig.
• Langer Kontext ohne Retrieval: Bei wenigen Dokumenten kann man sie direkt ins Modell geben. Skaliert aber nicht auf tausende Dateien, ist teurer pro Frage und verliert bei sehr langem Kontext an Präzision.
• Pragmatische Regel: Mit RAG beginnen. Fine-Tuning nur ergänzen, wenn Tonalität oder Format anders nicht erreichbar sind – nie, um Faktenwissen zu «speichern».