llms.txt und KI-Crawler: das technische Setup für KI-Sichtbarkeit

Was llms.txt, robots.txt und Sitemaps für die KI-Sichtbarkeit leisten

Diese drei Dateien bilden getrennte Ebenen mit klarer Aufgabenteilung. Die robots.txt ist die Zugangskontrolle: Sie legt für jeden Crawler fest, welche Bereiche gelesen werden dürfen. Die XML-Sitemap ist die Landkarte: Sie listet Ihre wichtigsten, kanonischen URLs auf, damit nichts übersehen wird. Die llms.txt ist die Einladung: Sie bietet KI-Assistenten eine kuratierte, gut lesbare Zusammenfassung Ihrer wichtigsten Inhalte in Markdown.

Wichtig für realistische Erwartungen: Keine dieser Dateien erzwingt eine Zitierung. Sie sorgen dafür, dass Ihre Inhalte auffindbar, maschinenlesbar und im Sinne Ihrer Policy zugänglich sind - das ist die Voraussetzung für GEO (Generative Engine Optimization). robots.txt und Sitemaps sind etablierte, breit unterstützte Standards. llms.txt ist dagegen ein junger Vorschlag (llmstxt.org, 2024) und wird noch nicht von allen grossen KI-Anbietern automatisch ausgewertet - setzen Sie also nie allein darauf.

Die wichtigsten KI-Crawler und ihre User-Agents

Ein zentraler Punkt: Training, Suche und Live-Abruf laufen oft über unterschiedliche User-Agents desselben Anbieters. Wer pauschal alles blockiert, verliert auch die Kanäle, die zu Zitaten führen. Die wichtigsten Namen (Stand 2026, Bezeichnungen ändern sich):

• GPTBot (OpenAI) - Crawler für Training/Index von ChatGPT. Blockieren entfernt Inhalte aus dem Trainingskorpus.
• OAI-SearchBot & ChatGPT-User (OpenAI) - liefern ChatGPT-Suchergebnisse bzw. rufen eine Seite ab, wenn ein Nutzer ChatGPT einen Link öffnen lässt. Blockieren = keine Zitate in der ChatGPT-Suche.
• ClaudeBot & Claude-User (Anthropic) - Crawler für Claude bzw. nutzerinitiierter Abruf. Für Sichtbarkeit in Claude-Antworten relevant.
• PerplexityBot & Perplexity-User (Perplexity) - Indexierung bzw. Live-Abruf für Perplexity-Antworten mit Quellenangabe.
• Google-Extended (Google) - kein eigener Crawler, sondern ein robots-Token: Er steuert nur, ob Inhalte Gemini/Vertex AI trainieren. Er beeinflusst weder Googlebot noch die Google AI Overviews.
• Googlebot (Google) - der klassische Crawler hinter der Google-Suche und den AI Overviews. Wer hier blockiert, verschwindet aus der organischen Suche.
• Weitere Trainings-Agents: CCBot (Common Crawl, Basis vieler Modelle), Applebot-Extended (Apple Intelligence), Bytespider (ByteDance), meta-externalagent (Meta).

robots.txt richtig konfigurieren - mit Beispiel

Entscheiden Sie zuerst Ihre Strategie: Suche- und Abruf-Bots (OAI-SearchBot, PerplexityBot, ClaudeBot) sollten Sie in der Regel erlauben, denn genau sie erzeugen zitierte Antworten. Bei reinen Trainings-Bots (GPTBot, CCBot, Google-Extended) entscheiden Sie je nach Marken- und IP-Strategie. Ein pragmatisches Beispiel für eine sichtbarkeitsorientierte Policy:

# robots.txt - https://www.weissmann.ai/robots.txt\nUser-agent: OAI-SearchBot\nAllow: /\n\nUser-agent: ClaudeBot\nAllow: /\n\nUser-agent: PerplexityBot\nAllow: /\n\nUser-agent: GPTBot\nAllow: /\n\nUser-agent: *\nAllow: /\nDisallow: /intern/\n\nSitemap: https://www.weissmann.ai/sitemap.xml

Wollen Sie das KI-Training einschränken, ohne die Google-Suche zu verlieren, blockieren Sie gezielt: ein eigener Block "User-agent: GPTBot / Disallow: /" sowie "User-agent: Google-Extended / Disallow: /" hält Sie aus dem Training heraus, während Googlebot und OAI-SearchBot weiter Ihre Inhalte lesen. Zwei Grenzen sollten Sie kennen: robots.txt ist nur eine Anweisung - seriöse Bots halten sich daran, böswillige nicht (dafür brauchen Sie serverseitige Sperren oder eine WAF). Und die Datei ist öffentlich einsehbar, listen Sie darin also nie geheime Pfade auf.

llms.txt erstellen: Aufbau und Beispiel

Die llms.txt liegt unter /llms.txt und ist reines Markdown. Der vorgeschlagene Aufbau: eine H1 mit dem Namen, ein kurzes Zitat-Blockquote als Zusammenfassung, dann thematische Abschnitte mit Markdown-Links zu Ihren wichtigsten kanonischen Seiten - jeweils mit einer kurzen Beschreibung. Optional ergänzen Sie eine /llms-full.txt mit den vollständigen Texten. Halten Sie die Liste kurz, aktuell und kuratiert.

# Weissmann AI Academy\n\n> Schweizer Wissensplattform zu KI, SEO und GEO für KMU.\n\n## Kern-Guides\n- [Was ist GEO](https://www.weissmann.ai/wissen/geo): Grundlagen der Generative Engine Optimization\n- [llms.txt & KI-Crawler](https://www.weissmann.ai/wissen/llms-txt): Dieses technische Setup\n\n## Über uns\n- [Über Weissmann](https://www.weissmann.ai/ueber-uns): Team, Ansatz, Kontakt

Zwei Prinzipien entscheiden über den Nutzen: Genauigkeit und Pflege. Verlinken Sie nur echte, erreichbare URLs, beschreiben Sie Inhalte ehrlich und aktualisieren Sie die Datei bei jeder wichtigen Änderung. Eine veraltete llms.txt mit toten Links schadet dem Vertrauen mehr, als gar keine zu haben.

Sitemaps und hreflang für mehrsprachige Sichtbarkeit

Die XML-Sitemap listet Ihre kanonischen URLs mit lastmod-Datum. Referenzieren Sie sie in der robots.txt (Zeile "Sitemap:") und reichen Sie sie in der Google Search Console und den Bing Webmaster Tools ein - Bing speist unter anderem Copilot. Für die Schweiz ist die Mehrsprachigkeit zentral: Mit hreflang-Annotationen (de-CH, fr-CH, it-CH, en) signalisieren Sie, welche Sprachversion zu welcher Zielgruppe gehört.

Für die KI-Sichtbarkeit zählt das doppelt: Saubere hreflang-Verknüpfungen helfen Assistenten, die sprachlich passende Version zu zitieren - statt eine deutsche Antwort mit der italienischen URL zu belegen. Pflegen Sie realistische lastmod-Werte und halten Sie die Sitemap frei von Weiterleitungen, Fehlerseiten und nicht-kanonischen Duplikaten.

Häufige Fehler und der Schweizer Blick

Schweizer Blick: Ihre Crawler-Policy ist Teil der Data Governance. Wenn Sie personenbezogene oder sensible Inhalte publizieren, gelten das revidierte Datenschutzgesetz (revDSG/nFADP) und die Aufsicht des EDÖB - unabhängig davon, welcher Bot liest. Zusätzlich lohnt eine bewusste Entscheidung über Urheberrecht und die Nutzung Ihrer Inhalte für KI-Training. Für den mehrsprachigen CH-Markt sind saubere hreflang-Signale Pflicht. Wo Sie diese Konfiguration nicht selbst umsetzen oder prüfen möchten, begleitet Sie das Weissmann-Team von der Policy bis zur Umsetzung.

• GPTBot blockieren und trotzdem ChatGPT-Zitate erwarten: Zitate liefern OAI-SearchBot und ChatGPT-User, nicht GPTBot.
• Glauben, Google-Extended entferne Sie aus den AI Overviews: Diese nutzen den Googlebot-Index; Google-Extended betrifft nur das Gemini-Training.
• robots.txt als Sicherheitsmassnahme missverstehen: Sie ist eine Anweisung, keine Zugriffssperre - und öffentlich lesbar.
• Widersprüchliche Regeln oder falsche Wildcard-Reihenfolge, die versehentlich alles sperren; und eine llms.txt, die veröffentlicht, aber nie gepflegt wird.