RAG und Wissensdatenbank: Wie Sie ein LLM in eigenen Dokumenten erden

Wie RAG funktioniert: abrufen, anreichern, antworten

RAG läuft in zwei Phasen. In der Indexierungsphase wird Ihre Wissensdatenbank vorbereitet: Dokumente werden in Textabschnitte (Chunks) zerlegt, jeder Chunk wird in einen Zahlenvektor (Embedding) übersetzt, der seine Bedeutung erfasst, und die Vektoren landen in einer Vektordatenbank. Zur Laufzeit wird die Nutzerfrage genauso in einen Vektor umgewandelt, das System sucht die semantisch ähnlichsten Chunks und fügt diese Textstellen als Kontext in den Prompt ein. Das LLM formuliert dann eine Antwort, die auf dem abgerufenen Text beruht statt auf seinem Trainingsgedächtnis.

• Chunking: Dokumente in kohärente Abschnitte teilen, damit der Abruf fokussierte, zitierbare Textstellen liefert.
• Embeddings: Text und Fragen in Vektoren übersetzen, sodass semantische Ähnlichkeit statt reiner Stichworte den Abruf steuert.
• Vektordatenbank und Abruf: die am besten passenden Abschnitte finden, oft kombiniert mit Stichwortsuche (Hybridsuche).
• Anreicherung und Generierung: abgerufene Abschnitte plus Frage an das LLM übergeben, das antwortet und Quellen nennen kann.

Warum Erdung Halluzinationen reduziert

Ein alleinstehendes LLM antwortet aus Mustern, die es im Training gelernt hat. Fehlt ihm ein Fakt, kann es trotzdem eine flüssige, aber falsche Antwort erzeugen – eine Halluzination. RAG verändert die Aufgabe von 'erinnern' zu 'lesen und zusammenfassen': Das Modell erhält den relevanten Quelltext und soll daraus antworten. Das schränkt den Spielraum zum Erfinden ein, hält Antworten aktuell, wenn sich Ihre Dokumente ändern, und – entscheidend – lässt das System zeigen, aus welcher Textstelle eine Antwort stammt, sodass Menschen sie prüfen können. Erdung beseitigt Fehler nicht vollständig: Liefert der Abruf die falsche Stelle oder weist der Prompt das Modell nicht an, im gelieferten Kontext zu bleiben, entstehen weiterhin Fehler.

Eine Wissensdatenbank aufbauen, die wirklich trägt

Die Qualität eines RAG-Systems entscheidet sich weniger am Modell als an der Wissensdatenbank dahinter. Saubere, gut strukturierte, aktuelle Dokumente schlagen ein grösseres Modell auf unordentlichen Daten.

• Quellen kuratieren: Handbücher, Richtlinien, FAQ, Verträge, Wiki-Seiten – nur Inhalte, denen Sie vertrauen und die Sie pflegen können.
• Sinnvoll chunken: zu grosse Abschnitte verwässern die Relevanz, zu kleine verlieren den Kontext. Natürliche Struktur (Überschriften, Abschnitte) respektieren.
• Aktuell halten: bei Änderungen neu indexieren; veraltete Chunks sind eine häufige Ursache falscher Antworten.
• Metadaten ergänzen: Sprache, Abteilung, Gültigkeitsdatum, Zugriffsstufe – damit der Abruf filtern kann (z. B. nur aktuell, nur DE).
• Berechtigungen beachten: Ein RAG-Assistent muss respektieren, wer welches Dokument sehen darf.

RAG, Fine-Tuning oder grösseres Kontextfenster?

Diese Ansätze lösen unterschiedliche Probleme und werden oft kombiniert. Ein praktisches Beispiel für ein Schweizer KMU: Ein interner Assistent beantwortet Mitarbeiterfragen aus dem HR-Handbuch und nennt die Klausel; ein Support-Bot ist in der aktuellen Produktdokumentation auf Deutsch und Französisch geerdet; ein Vertriebsassistent zieht die neueste Preisliste statt zu raten.

• RAG ergänzt Wissen: ideal, wenn Fakten häufig wechseln, zitierbar sein müssen oder zu zahlreich für einen Prompt sind. Aktualisieren heisst Dokumente bearbeiten, nicht neu trainieren.
• Fine-Tuning prägt Verhalten und Stil: bringt Format, Ton oder eine enge Fähigkeit bei – kein verlässlicher Weg, um viele Fakten zu speichern.
• Grosse Kontextfenster erlauben es, Dokumente direkt einzufügen: einfach bei wenigen Dateien, aber teuer und langsamer im grossen Massstab – und Sie müssen weiterhin auswählen, was hineinkommt. Genau das leistet der Abruf.

Häufige Fehler – und wie Sie sie vermeiden

• RAG als Plug-and-play behandeln: Abrufqualität muss getestet und feinjustiert werden (Chunking, Hybridsuche, Re-Ranking).
• Keine Quellenangaben: Ohne sichtbare Textstellen können Nutzer nicht prüfen, und Vertrauen schwindet.
• Evaluation ignorieren: messen, ob Antworten im abgerufenen Text geerdet sind – nicht nur, ob sie flüssig klingen.
• Das Modell über den Kontext hinaus antworten lassen: anweisen, 'nicht in den Quellen gefunden' zu sagen, statt zu raten.
• Data Governance vergessen: Sensible Dokumente im Index brauchen weiterhin Zugriffskontrolle und eine Rechtsgrundlage.

Schweizer und DACH-Perspektive: Datenschutz von Anfang an

Für Schweizer Organisationen enthält eine RAG-Wissensdatenbank oft personenbezogene oder vertrauliche Daten. Datenschutz ist damit Teil des Designs, kein nachträglicher Gedanke. Nach dem revidierten Datenschutzgesetz (revDSG/nFADP), beaufsichtigt durch den EDÖB, brauchen Sie eine Rechtsgrundlage, Transparenz und angemessene Sicherheit für Personendaten, die Sie indexieren und verarbeiten. Bedienen Sie EU-Nutzer oder setzen Sie dort KI-Systeme ein, kann der EU AI Act extraterritorial greifen.

• Datenstandort und Anbieterwahl: wissen, wo Indexierung, Embedding und Generierung stattfinden; für sensible Daten kann Hosting in der Schweiz oder EU nötig sein.
• Zugriffskontrolle: Der Abruf muss Dokumentberechtigungen respektieren, damit der Assistent nie Daten zeigt, die ein Nutzer nicht sehen darf.
• Transparenz und menschliche Aufsicht: Nutzern sagen, dass sie mit KI interagieren, Quellen zeigen und bei folgenreichen Antworten einen Menschen einbinden.
• Datensparsamkeit: nur indexieren, was der Anwendungsfall braucht; besonders schützenswerte Daten nicht ohne Grund in die Wissensdatenbank ziehen.