Zum Inhalt springen
Alle Artikel

robots.txt, llms.txt und KI-Crawler: Was eine kleine Website einrichten sollte

Von Rastock AEO TeamVeröffentlicht 6 Min. Lesezeit

Eine kleine Website sollte in robots.txt bewusst entscheiden, welche KI-Crawler sie zulässt, und dabei die offiziellen User-Agent-Namen des jeweiligen Unternehmens verwenden; außerdem sollte sie sicherstellen, dass ihre wichtigsten Fakten in dem HTML stehen, das der Server ausliefert. Eine llms.txt-Datei ist optional: Sie ist ein Vorschlag aus der Community, und die Google-Suche verwendet sie nach eigener Aussage nicht.

KI-Unternehmen lesen Websites mit automatisierten Programmen, den sogenannten Crawlern. Jeder Crawler meldet sich mit einem Namen, dem User-Agent, und die meisten prüfen eine Textdatei auf Ihrer Website namens robots.txt, bevor sie etwas lesen. Dieser Leitfaden behandelt die Namen, auf die es ankommt, eine sichere Ausgangskonfiguration und zwei Themen, die für Verwirrung sorgen: llms.txt und JavaScript.

Drei Arten von KI-Crawlern

Die großen Anbieter trennen ihre Crawler nach Zweck. Die Trennung ist wichtig, weil das Blockieren der einen Art eine andere Wirkung hat als das Blockieren einer anderen.

  • Trainings-Crawler sammeln Seiten, die für das Training künftiger Modelle verwendet werden können. Sie zu blockieren ist ein Widerspruch gegen das Training. Aus der KI-Suche entfernt es Sie nicht.
  • Such-Crawler bauen den Index auf, den ein Assistent durchsucht, wenn er mit Web-Ergebnissen antwortet. Sie zu blockieren kann Ihre Seiten aus diesen Antworten und deren Quellenlinks heraushalten.
  • Vom Nutzer ausgelöste Abrufer besuchen eine Seite, weil eine Person den Assistenten danach gefragt oder ihre Adresse eingefügt hat. Das ist kein automatisches Crawling, und einige Anbieter sagen, dass robots.txt-Regeln für sie möglicherweise nicht gelten.

Die offiziellen User-Agent-Namen

Diese Namen stammen aus der eigenen Dokumentation der jeweiligen Unternehmen, geprüft im November 2026. Sie ändern sich von Zeit zu Zeit. Folgen Sie daher den Quellenlinks, bevor Sie eine Datei im Live-Betrieb bearbeiten.

UnternehmenName in robots.txtZweckWas das Unternehmen sagt
OpenAIGPTBotTrainingEin Disallow signalisiert, dass Ihre Inhalte nicht zum Training seiner Modelle verwendet werden sollen.
OpenAIOAI-SearchBotSucheWebsites, die ihn ausschließen, werden in den Antworten der ChatGPT-Suche nicht angezeigt, können aber weiterhin als einfache Navigationslinks erscheinen.
OpenAIChatGPT-UserVom Nutzer ausgelöstWird nicht für automatisches Crawling verwendet. Die Regeln in robots.txt gelten möglicherweise nicht.
AnthropicClaudeBotTrainingIhn zu blockieren schließt künftiges Material aus Trainingsdatensätzen aus.
AnthropicClaude-SearchBotSucheIhn zu blockieren kann Sichtbarkeit und Genauigkeit in den Suchergebnissen von Claude verringern.
AnthropicClaude-UserVom Nutzer ausgelöstBeachtet robots.txt. Ihn zu blockieren verhindert, dass Claude Ihre Seite für die Frage eines Nutzers abruft.
PerplexityPerplexityBotSucheDient dazu, Websites in Perplexity anzuzeigen und zu verlinken. Wird nicht für das Modelltraining verwendet.
PerplexityPerplexity-UserVom Nutzer ausgelöstIgnoriert robots.txt in der Regel, weil eine Person den Abruf angefordert hat.
GoogleGooglebotSucheSpeist die Google-Suche. Google sagt, dass seine KI-Funktionen auf den Suchindex zurückgreifen.
GoogleGoogle-ExtendedNur SteuernameKein eigener Crawler. Steuert das Gemini-Training und das Grounding in den Gemini-Apps. Keine Auswirkung auf die Google-Suche.

Zwei Anmerkungen. OpenAI führt außerdem OAI-AdsBot auf, der nur Seiten besucht, die als Anzeigen bei ChatGPT eingereicht wurden. Und die Beiträge von Microsoft zu Copilot nennen keinen eigenen KI-Crawler. Sie sprechen seinen Crawler als Bingbot an und verwenden Tags auf Seitenebene, die weiter unten behandelt werden.

Ein robots.txt-Beispiel

Die Datei liegt im Stammverzeichnis Ihrer Domain, zum Beispiel https://example.com/robots.txt. Eine häufige Wahl für ein Unternehmen, das gefunden werden möchte, lautet: Suche und vom Nutzer ausgelöste Zugriffe zulassen, dem Training widersprechen. Das sieht so aus:

# AI search and user-triggered fetches: allowed
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# Model training: opted out
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /

# Everyone else, including Googlebot and Bingbot
User-agent: *
Allow: /

Sitemap: https://example.com/sitemap.xml

Um auch das Training zuzulassen, löschen Sie die zweite Gruppe. Um einen Crawler nur von einem Ordner auszuschließen, ersetzen Sie / durch einen Pfad wie /members/.

Überlegen Sie gut, bevor Sie Google-Extended in die blockierte Gruppe aufnehmen. Google sagt, dass dieser Name sowohl das Gemini-Training als auch das Grounding in den Gemini-Apps abdeckt. Ihn zu blockieren kann daher auch einschränken, wie die Gemini-App Ihre Seiten beim Antworten verwendet.

Was robots.txt nicht leisten kann

  • Sie ist eine Bitte, kein Schloss. In Googles Leitfaden heißt es, dass die Datei kein Verhalten erzwingen kann und dass es jedem Crawler überlassen bleibt, sie zu befolgen. Legen Sie private Inhalte hinter eine Anmeldung.
  • Änderungen wirken nicht sofort. OpenAI und Perplexity sagen beide, dass ihre Systeme etwa 24 Stunden brauchen können, bis eine Aktualisierung berücksichtigt wird.
  • Andere Ebenen können unbemerkt blockieren. Eine Firewall, ein CDN oder ein Hoster kann KI-Crawler abweisen, bevor sie Ihre Datei überhaupt lesen. Fragen Sie Ihren Anbieter, was seine Standardeinstellung ist.
  • Blockieren per IP kann nach hinten losgehen. Anthropic warnt, dass es den Crawler möglicherweise daran hindert, Ihre robots.txt überhaupt zu lesen.
  • Microsoft verwendet Seiten-Tags. Bing hat am 30. Oktober 2026 neue Einstellungen für Training und Grounding angekündigt, die über Meta-Tags gesetzt werden, die an Bingbot gerichtet sind, und sagt, dass sie ab dem 1. Februar 2027 wirksam werden. Sie ersetzen für diesen Zweck die älteren Tags noarchive und nocache.

Bei der IETF wird außerdem ein gemeinsames Signal „kein KI-Training“ für robots.txt entworfen. Anthropic und Microsoft sagen, dass sie es beachten oder beachten werden, und Google sagt, dass es beabsichtigt, es Anfang 2027 zu unterstützen. Der Entwurf kann sich noch ändern, daher bleiben die oben genannten Regeln mit Namen vorerst der verlässliche Weg.

Was llms.txt ist und wie ihr tatsächlicher Status aussieht

llms.txt ist ein Vorschlag, den Jeremy Howard im September 2024 veröffentlicht hat. Er regt an, unter /llms.txt eine Markdown-Datei abzulegen, die den Namen Ihrer Website, eine kurze Zusammenfassung und Listen mit Links zu Ihren nützlichsten Seiten enthält, idealerweise in einer sauberen Textform. Sie ist eine Orientierungshilfe für KI-Tools, keine Zugriffsregel, und ersetzt daher robots.txt nicht.

Tot ist sie aber auch nicht. OpenAI, Anthropic, das Gemini-Team von Google und Perplexity veröffentlichen llms.txt-Dateien für ihre eigene Entwicklerdokumentation, und das Chrome-Tool Lighthouse prüft inzwischen, ob eine vorhanden ist, und nennt sie eine entstehende Konvention, die vorerst optional ist. Der praktische Nutzen liegt heute darin, Coding-Assistenten und Agenten das Lesen von Dokumentation zu erleichtern. Wenn Ihre Website eine Dokumentation oder eine API hat, lässt sich die Datei mit wenig Aufwand ergänzen. Für die Website eines lokalen Unternehmens hat sie geringe Priorität.

Inhalte, die nur mit JavaScript erscheinen

Viele moderne Websites senden eine nahezu leere Seite und bauen den Inhalt dann mit JavaScript im Browser des Besuchers auf. Google kann dieses JavaScript ausführen, in einem separaten Rendering-Schritt, der später erfolgen kann. Googles eigene Dokumentation weist jedoch darauf hin, dass nicht alle Bots JavaScript ausführen können, und empfiehlt serverseitiges Rendering oder Pre-Rendering.

Die Crawler-Seiten von OpenAI, Anthropic und Perplexity sagen nicht, ob ihre Crawler Skripte ausführen. Die sichere Annahme ist, dass sie es möglicherweise nicht tun. Zur Prüfung öffnen Sie Ihre Seite, wählen „Seitenquelltext anzeigen“ und suchen nach Ihren Preisen, Leistungen und Kontaktdaten. Fehlen sie im Quelltext, bitten Sie Ihren Entwickler, sie auf dem Server zu rendern.

Eine sinnvolle Einrichtung für eine kleine Website

  1. 1Lesen Sie Ihre aktuelle robots.txt und suchen Sie nach alten Regeln, die alles blockieren.
  2. 2Lassen Sie die Such-Crawler und die vom Nutzer ausgelösten Abrufer der Antwortmaschinen zu, die Ihre Kunden nutzen.
  3. 3Treffen Sie die Entscheidung über Trainings-Crawler als geschäftliche Entscheidung und schreiben Sie die Regel in jedem Fall auf.
  4. 4Fragen Sie Ihren Hoster oder Ihr CDN, ob KI-Bots standardmäßig blockiert werden.
  5. 5Vergewissern Sie sich, dass Ihre wichtigsten Fakten im Seitenquelltext stehen und nicht erst durch JavaScript hinzugefügt werden.
  6. 6Ergänzen Sie llms.txt nur, wenn Sie eine Dokumentation haben, auf die sich ein Verweis lohnt.
  7. 7Prüfen Sie die offiziellen Crawler-Seiten einige Male im Jahr erneut.

Rastock AEO, das noch im Aufbau ist, soll verfolgen, wie Antwortmaschinen ein Unternehmen beschreiben. Nichts davon funktioniert, wenn Crawler Ihre Website nicht lesen können. Deshalb steht diese Einrichtung an erster Stelle.

Fragen und Antworten

Entfernt das Blockieren von GPTBot meine Website aus der ChatGPT-Suche?
Nein. OpenAI sagt, dass jede Einstellung unabhängig ist: GPTBot betrifft das Training, und OAI-SearchBot steuert, ob eine Website in den Antworten der ChatGPT-Suche angezeigt wird.
Brauche ich eine llms.txt-Datei?
Sie ist optional. Sie ist ein Vorschlag aus der Community, die Google-Suche verwendet sie nach eigener Aussage nicht, und wir haben keine große Antwortmaschine gefunden, die bestätigt, dass sie Antworten beeinflusst. Am nützlichsten ist sie für Websites mit Entwicklerdokumentation.
Halten sich alle KI-Bots an robots.txt?
Nein. Die Datei ist eine Bitte, der sich korrekt verhaltende Crawler folgen. Perplexity sagt, dass sein vom Nutzer ausgelöster Abrufer sie in der Regel ignoriert, und OpenAI sagt, dass die Regeln für ChatGPT-User möglicherweise nicht gelten.
Sehen KI-Crawler Inhalte, die meine Website mit JavaScript lädt?
Möglicherweise nicht. Google rendert JavaScript, weist aber darauf hin, dass nicht alle Bots das können, und die Seiten der anderen großen Crawler sagen dazu nichts. Stellen Sie wichtige Fakten in das vom Server ausgelieferte HTML.

Quellen

  1. Overview of OpenAI Crawlers (OpenAI)
  2. Does Anthropic crawl data from the web, and how can site owners block the crawler? (Claude Help Center)
  3. Perplexity Crawlers (Perplexity)
  4. Google's common crawlers (Google for Developers)
  5. Optimizing your website for generative AI features on Google Search (Google Search Central)
  6. Robots.txt Introduction and Guide (Google Search Central)
  7. Understand the JavaScript SEO basics (Google Search Central)
  8. Your content, your choice: clearer preferences for training and grounding (Microsoft Bing Blog)
  9. The /llms.txt file, v2 (llmstxt.org)
  10. llms.txt (Lighthouse, Chrome for Developers)
TeilenLinkedInX

Sehen Sie, was KI über Ihr Unternehmen sagt.

Frühzugang sichern

Weitere Artikel