Wie funktionieren Large Language Models (LLMs)?

Was ein Large Language Model wirklich ist

Ein LLM ist kein Nachschlagewerk und keine Suchmaschine, sondern ein Wahrscheinlichkeitsmodell für Sprache. Bekannte Beispiele sind GPT (OpenAI), Claude (Anthropic), Gemini (Google) und Llama (Meta). Alle beruhen auf demselben Prinzip: Sie berechnen, welche Wortbausteine mit hoher Wahrscheinlichkeit auf einen gegebenen Text folgen.

Ein Modell entsteht in zwei Phasen. Im Pretraining lernt es aus sehr grossen Textmengen allgemeine Sprachmuster. Danach wird es im Fine-Tuning und über Verfahren wie RLHF (Reinforcement Learning from Human Feedback) darauf ausgerichtet, hilfreich, sicher und dem Gespräch angemessen zu antworten. Das Wissen steckt dabei nicht in einer Datenbank, sondern in Milliarden trainierter Parameter.

Tokens: Wie Text zu Zahlen wird

Ein LLM verarbeitet keine Buchstaben oder ganzen Wörter direkt, sondern Tokens: kleine Text-Einheiten, oft Wortteile. Ein Tokenizer zerlegt den Eingabetext in solche Bausteine und ordnet jedem eine Zahl zu. Jede Zahl wird dann in einen Vektor (ein Embedding) übersetzt, mit dem das Netz rechnen kann.

• Als grobe Faustregel entspricht ein Token im Englischen etwa vier Zeichen; im Deutschen fällt es wegen langer Komposita oft etwas anders aus.
• Seltene Wörter, Zahlen und Code werden in mehrere Tokens zerlegt, häufige Wörter oft in ein einziges.
• Kosten und Limits kommerzieller Modelle werden fast immer in Tokens abgerechnet, nicht in Wörtern.

Next-Token-Prediction: das Herzstück

Im Kern tut ein LLM nur eines: Es berechnet für den bisherigen Text eine Wahrscheinlichkeitsverteilung über alle möglichen nächsten Tokens und wählt eines davon aus. Dieses Token wird angehängt, und der ganze Vorgang wiederholt sich Token für Token. Man nennt das autoregressive Generierung: Der Text entsteht Schritt für Schritt, immer auf Basis des bereits Geschriebenen.

Ein Parameter namens Temperature steuert, wie stark das Modell vom wahrscheinlichsten Token abweicht. Niedrige Werte liefern vorhersehbare, faktennahe Antworten; höhere Werte fördern Vielfalt und Kreativität, erhöhen aber das Risiko für Fehler. Trainiert wird das Modell, indem es auf Milliarden Textstellen seine Vorhersage mit dem tatsächlich nächsten Token vergleicht und seine Parameter minimal anpasst.

Transformer und Attention: die Architektur

Fast alle heutigen LLMs beruhen auf dem Transformer, der 2017 im Aufsatz Attention Is All You Need vorgestellt wurde. Sein entscheidender Baustein ist der Attention-Mechanismus, genauer Self-Attention: Für jedes Token bewertet das Modell, wie relevant alle anderen Tokens im Kontext dafür sind, und gewichtet sie entsprechend.

So kann das Modell den kontextabhängigen Sinn erfassen: Im Satz Die Bank am Fluss meint Bank etwas anderes als in Geld auf der Bank. Viele solcher Attention-Schichten übereinander, kombiniert mit den in Milliarden Parametern gespeicherten Gewichten, erlauben es, komplexe Zusammenhänge abzubilden. Weil Attention parallel rechnet, lassen sich Modelle effizient auf riesigen Datenmengen trainieren.

Das Kontextfenster: das Kurzzeitgedächtnis

Das Kontextfenster ist die maximale Menge an Tokens, die ein Modell auf einmal berücksichtigen kann. Systemanweisung, Ihre Eingabe, hochgeladene Dokumente und die bisherige Antwort müssen alle hineinpassen. Ist das Fenster voll, fällt älterer Text weg, und das Modell verliert diese Information.

Wichtig: Ein LLM hat von sich aus kein dauerhaftes Gedächtnis über einzelne Sitzungen hinaus. Was es in einem neuen Chat wissen soll, muss erneut mitgeliefert werden. Sehr lange Kontexte erhöhen zudem Rechenaufwand und Kosten, und relevante Details in der Mitte langer Eingaben werden manchmal schlechter beachtet als solche am Anfang oder Ende.

Warum LLMs halluzinieren

Eine Halluzination ist eine flüssig formulierte, aber sachlich falsche oder erfundene Aussage. Sie entsteht nicht aus einem Fehler, sondern aus dem Grundprinzip: Das Modell erzeugt plausibel klingenden Text, es ruft keine geprüften Fakten ab. Klingt eine falsche Fortsetzung sprachlich wahrscheinlich, kann sie ebenso überzeugend formuliert sein wie eine richtige.

• Wissenslücken: Zu einem Thema gab es im Training zu wenig oder widersprüchliches Material.
• Wissensstichtag (Cutoff): Ereignisse nach dem Trainingsende sind dem Modell unbekannt.
• Mehrdeutige Fragen und der Anreiz, möglichst immer eine Antwort zu liefern statt Unsicherheit zu benennen.
• Gegenmittel: Retrieval-Augmented Generation (RAG) mit verlässlichen Quellen, das Verlangen von Belegen, niedrigere Temperature und konsequente menschliche Prüfung.

Was das für den Einsatz in der Praxis bedeutet

Wer versteht, wie LLMs funktionieren, nutzt sie richtig: als leistungsstarke Assistenten für Entwürfe, Zusammenfassungen und Ideen, nicht als letzte Instanz für Fakten. Wichtige Aussagen, Zahlen, Zitate und rechtliche Angaben gehören immer gegengeprüft. Ein Mensch bleibt für das Ergebnis verantwortlich.

Für Unternehmen in der Schweiz kommt der Datenschutz hinzu. Vor der Eingabe von Personendaten oder Geschäftsgeheimnissen in ein KI-Tool sind das revidierte Datenschutzgesetz (revDSG) und der Bearbeitungsort der Daten zu prüfen; der EDÖB ist die zuständige Aufsichtsbehörde. Klare interne Richtlinien und die Wahl geeigneter, möglichst in der Schweiz oder EU gehosteter Dienste schaffen Vertrauen.