Warum halluziniert KI - und wie Sie es reduzieren

Was eine KI-Halluzination genau ist

Eine Halluzination ist eine Ausgabe, die flüssig, plausibel und selbstbewusst klingt, aber sachlich falsch oder frei erfunden ist. Das Modell 'lügt' dabei nicht im menschlichen Sinn - es hat keine Absicht und kein Bewusstsein dafür, dass etwas falsch ist. Der Begriff ist eine Metapher: Das System erzeugt Inhalte, die keine Entsprechung in den Trainingsdaten oder der Realität haben.

• Erfundene Fakten: Namen, Daten, Zahlen oder Ereignisse, die es nie gab.
• Falsche Quellen: nicht existierende Studien, Urteile oder URLs mit echt wirkenden Titeln.
• Vermischung: korrekte Fragmente, die zu einer falschen Gesamtaussage kombiniert werden.

Der Mechanismus: Vorhersage statt Wissen

Ein Sprachmodell speichert keine Faktendatenbank. Es lernt aus riesigen Textmengen, welches Wort auf welches folgt, und berechnet bei jeder Anfrage die wahrscheinlichste Fortsetzung - Token für Token. Wahrheit ist dabei kein Kriterium: Das Modell optimiert Plausibilität, nicht Korrektheit. Solange richtige und falsche Antworten gleich flüssig klingen, kann es beide mit derselben Überzeugung produzieren.

Hinzu kommt: Generieren ist schwerer als Erkennen. Ein Modell kann oft beurteilen, ob eine vorgelegte Aussage stimmt, scheitert aber daran, dieselbe Information aus dem Nichts korrekt zu erzeugen. Bei seltenen Fakten mit vielen möglichen Ausprägungen - einem exakten Datum, einer präzisen Zahl - ist die Wahrscheinlichkeit, den einen richtigen Wert zu treffen, entsprechend gering.

Warum Training und Bewertung das Raten belohnen

Halluzinationen sind nicht nur ein technischer Zufall, sondern teils anerzogen. Eine viel beachtete Analyse von OpenAI-Forschenden (Kalai, Nachum, Vempala, Zhang, September 2025) argumentiert, dass gängige Benchmarks Modelle wie Prüfungskandidaten behandeln: Eine geratene Antwort kann Punkte bringen, ein ehrliches 'Ich weiss es nicht' bringt sicher null. Unter solchen Anreizen lohnt sich Raten - und genau das trainieren wir den Modellen an.

Die praktische Konsequenz: Solange Ranglisten Zuversicht belohnen und Zurückhaltung bestrafen, bleiben selbstbewusste Fehler ein systematisches Nebenprodukt. Ein Teil der Lösung ist deshalb kein neues Modell, sondern eine bessere Bewertung, die kalibrierte Unsicherheit und Enthaltung wieder wertschätzt.

Wann Halluzinationen besonders wahrscheinlich sind

• Seltenes Nischenwissen: Fakten, die in den Trainingsdaten kaum vorkamen (Long-Tail-Entitäten, lokale Details).
• Präzise Angaben: exakte Zahlen, Zitate, Rechtsnormen, DOIs oder Quellenangaben.
• Aktualität: Ereignisse nach dem Wissensstichtag des Modells ohne Anbindung an aktuelle Quellen.
• Mehrdeutige oder suggestive Prompts, die eine falsche Prämisse als gegeben voraussetzen.
• Lange Ketten von Schlussfolgerungen, bei denen sich frühe Fehler fortpflanzen.
• Hohe 'Temperatur': kreativere, zufälligere Ausgaben erhöhen das Risiko gegenüber faktischen Aufgaben.

Halluzinationen reduzieren: Grounding, RAG, Verifikation

Es gibt kein Modell, das nie halluziniert - aber ein geschichteter Ansatz senkt das Risiko drastisch. Jede Massnahme adressiert eine andere Fehlerklasse; kombiniert wirken sie am besten. Beginnen Sie mit Grounding und Enthaltung, die den grössten Teil der Fehler mit geringem Aufwand entfernen, und ergänzen Sie Verifikation dort, wo eine falsche Antwort teuer ist.

• Grounding / RAG: Relevante Dokumente in den Kontext holen und das Modell anweisen, ausschliesslich daraus zu antworten und Quellen zu zitieren.
• Enthaltung erlauben: explizit gestatten, 'Ich weiss es nicht' zu sagen, statt eine Antwort zu erzwingen.
• Verifikation: kritische Ausgaben gegen Quellen prüfen - per zweitem Modell, Chain-of-Verification oder menschlicher Kontrolle.
• Constrained Output: strukturierte Formate, Auswahllisten oder Schemata, die freies Erfinden erschweren.
• Niedrigere Temperatur und präziser Prompt für faktische Aufgaben; klare Rolle, Kontext und Format vorgeben.
• Datenqualität: die Wissensbasis kuratieren, aktuell halten und thematisch ordnen - schlechte Quellen erzeugen schlechte Antworten.

Der Schweizer Blick: KI in regulierten Kontexten

In der Schweiz und im DACH-Raum werden KI-Ausgaben zunehmend in sensiblen Bereichen genutzt - Recht, Gesundheit, Finanzen, Verwaltung. Hier ist eine Halluzination kein Schönheitsfehler, sondern ein Haftungs- und Compliance-Risiko. Wer Personendaten verarbeitet, bleibt nach dem revidierten Datenschutzgesetz (revDSG) verantwortlich; der EDÖB erwartet nachvollziehbare, korrekte Prozesse. Eine erfundene Rechtsnorm oder Diagnose ist im Zweifel nicht der Fehler der KI, sondern der Organisation, die sie ungeprüft übernimmt.

Praktische Konsequenz: KI-Ausgaben in regulierten Prozessen immer mit menschlicher Freigabe (Human-in-the-Loop), dokumentierten Quellen und klaren Zuständigkeiten koppeln. Behandeln Sie das Modell als schnellen, aber unzuverlässigen Assistenten - nicht als Quelle der Wahrheit.