robots.txt, llms.txt und KI-Crawler: Was eine kleine Website einrichten sollte
Von Rastock AEO TeamVeröffentlicht 6 Min. Lesezeit
Eine kleine Website sollte in robots.txt bewusst entscheiden, welche KI-Crawler sie zulässt, und dabei die offiziellen User-Agent-Namen des jeweiligen Unternehmens verwenden; außerdem sollte sie sicherstellen, dass ihre wichtigsten Fakten in dem HTML stehen, das der Server ausliefert. Eine llms.txt-Datei ist optional: Sie ist ein Vorschlag aus der Community, und die Google-Suche verwendet sie nach eigener Aussage nicht.
KI-Unternehmen lesen Websites mit automatisierten Programmen, den sogenannten Crawlern. Jeder Crawler meldet sich mit einem Namen, dem User-Agent, und die meisten prüfen eine Textdatei auf Ihrer Website namens robots.txt, bevor sie etwas lesen. Dieser Leitfaden behandelt die Namen, auf die es ankommt, eine sichere Ausgangskonfiguration und zwei Themen, die für Verwirrung sorgen: llms.txt und JavaScript.
Drei Arten von KI-Crawlern
Die großen Anbieter trennen ihre Crawler nach Zweck. Die Trennung ist wichtig, weil das Blockieren der einen Art eine andere Wirkung hat als das Blockieren einer anderen.
- Trainings-Crawler sammeln Seiten, die für das Training künftiger Modelle verwendet werden können. Sie zu blockieren ist ein Widerspruch gegen das Training. Aus der KI-Suche entfernt es Sie nicht.
- Such-Crawler bauen den Index auf, den ein Assistent durchsucht, wenn er mit Web-Ergebnissen antwortet. Sie zu blockieren kann Ihre Seiten aus diesen Antworten und deren Quellenlinks heraushalten.
- Vom Nutzer ausgelöste Abrufer besuchen eine Seite, weil eine Person den Assistenten danach gefragt oder ihre Adresse eingefügt hat. Das ist kein automatisches Crawling, und einige Anbieter sagen, dass
robots.txt-Regeln für sie möglicherweise nicht gelten.
Die offiziellen User-Agent-Namen
Diese Namen stammen aus der eigenen Dokumentation der jeweiligen Unternehmen, geprüft im November 2026. Sie ändern sich von Zeit zu Zeit. Folgen Sie daher den Quellenlinks, bevor Sie eine Datei im Live-Betrieb bearbeiten.
| Unternehmen | Name in robots.txt | Zweck | Was das Unternehmen sagt |
|---|---|---|---|
| OpenAI | GPTBot | Training | Ein Disallow signalisiert, dass Ihre Inhalte nicht zum Training seiner Modelle verwendet werden sollen. |
| OpenAI | OAI-SearchBot | Suche | Websites, die ihn ausschließen, werden in den Antworten der ChatGPT-Suche nicht angezeigt, können aber weiterhin als einfache Navigationslinks erscheinen. |
| OpenAI | ChatGPT-User | Vom Nutzer ausgelöst | Wird nicht für automatisches Crawling verwendet. Die Regeln in robots.txt gelten möglicherweise nicht. |
| Anthropic | ClaudeBot | Training | Ihn zu blockieren schließt künftiges Material aus Trainingsdatensätzen aus. |
| Anthropic | Claude-SearchBot | Suche | Ihn zu blockieren kann Sichtbarkeit und Genauigkeit in den Suchergebnissen von Claude verringern. |
| Anthropic | Claude-User | Vom Nutzer ausgelöst | Beachtet robots.txt. Ihn zu blockieren verhindert, dass Claude Ihre Seite für die Frage eines Nutzers abruft. |
| Perplexity | PerplexityBot | Suche | Dient dazu, Websites in Perplexity anzuzeigen und zu verlinken. Wird nicht für das Modelltraining verwendet. |
| Perplexity | Perplexity-User | Vom Nutzer ausgelöst | Ignoriert robots.txt in der Regel, weil eine Person den Abruf angefordert hat. |
Googlebot | Suche | Speist die Google-Suche. Google sagt, dass seine KI-Funktionen auf den Suchindex zurückgreifen. | |
Google-Extended | Nur Steuername | Kein eigener Crawler. Steuert das Gemini-Training und das Grounding in den Gemini-Apps. Keine Auswirkung auf die Google-Suche. |
Zwei Anmerkungen. OpenAI führt außerdem OAI-AdsBot auf, der nur Seiten besucht, die als Anzeigen bei ChatGPT eingereicht wurden. Und die Beiträge von Microsoft zu Copilot nennen keinen eigenen KI-Crawler. Sie sprechen seinen Crawler als Bingbot an und verwenden Tags auf Seitenebene, die weiter unten behandelt werden.
Ein robots.txt-Beispiel
Die Datei liegt im Stammverzeichnis Ihrer Domain, zum Beispiel https://example.com/robots.txt. Eine häufige Wahl für ein Unternehmen, das gefunden werden möchte, lautet: Suche und vom Nutzer ausgelöste Zugriffe zulassen, dem Training widersprechen. Das sieht so aus:
# AI search and user-triggered fetches: allowed
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Model training: opted out
User-agent: GPTBot
User-agent: ClaudeBot
Disallow: /
# Everyone else, including Googlebot and Bingbot
User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xmlUm auch das Training zuzulassen, löschen Sie die zweite Gruppe. Um einen Crawler nur von einem Ordner auszuschließen, ersetzen Sie / durch einen Pfad wie /members/.
Überlegen Sie gut, bevor Sie Google-Extended in die blockierte Gruppe aufnehmen. Google sagt, dass dieser Name sowohl das Gemini-Training als auch das Grounding in den Gemini-Apps abdeckt. Ihn zu blockieren kann daher auch einschränken, wie die Gemini-App Ihre Seiten beim Antworten verwendet.
Was robots.txt nicht leisten kann
- Sie ist eine Bitte, kein Schloss. In Googles Leitfaden heißt es, dass die Datei kein Verhalten erzwingen kann und dass es jedem Crawler überlassen bleibt, sie zu befolgen. Legen Sie private Inhalte hinter eine Anmeldung.
- Änderungen wirken nicht sofort. OpenAI und Perplexity sagen beide, dass ihre Systeme etwa 24 Stunden brauchen können, bis eine Aktualisierung berücksichtigt wird.
- Andere Ebenen können unbemerkt blockieren. Eine Firewall, ein CDN oder ein Hoster kann KI-Crawler abweisen, bevor sie Ihre Datei überhaupt lesen. Fragen Sie Ihren Anbieter, was seine Standardeinstellung ist.
- Blockieren per IP kann nach hinten losgehen. Anthropic warnt, dass es den Crawler möglicherweise daran hindert, Ihre
robots.txtüberhaupt zu lesen. - Microsoft verwendet Seiten-Tags. Bing hat am 30. Oktober 2026 neue Einstellungen für Training und Grounding angekündigt, die über Meta-Tags gesetzt werden, die an Bingbot gerichtet sind, und sagt, dass sie ab dem 1. Februar 2027 wirksam werden. Sie ersetzen für diesen Zweck die älteren Tags
noarchiveundnocache.
Bei der IETF wird außerdem ein gemeinsames Signal „kein KI-Training“ für robots.txt entworfen. Anthropic und Microsoft sagen, dass sie es beachten oder beachten werden, und Google sagt, dass es beabsichtigt, es Anfang 2027 zu unterstützen. Der Entwurf kann sich noch ändern, daher bleiben die oben genannten Regeln mit Namen vorerst der verlässliche Weg.
Was llms.txt ist und wie ihr tatsächlicher Status aussieht
llms.txt ist ein Vorschlag, den Jeremy Howard im September 2024 veröffentlicht hat. Er regt an, unter /llms.txt eine Markdown-Datei abzulegen, die den Namen Ihrer Website, eine kurze Zusammenfassung und Listen mit Links zu Ihren nützlichsten Seiten enthält, idealerweise in einer sauberen Textform. Sie ist eine Orientierungshilfe für KI-Tools, keine Zugriffsregel, und ersetzt daher robots.txt nicht.
Tot ist sie aber auch nicht. OpenAI, Anthropic, das Gemini-Team von Google und Perplexity veröffentlichen llms.txt-Dateien für ihre eigene Entwicklerdokumentation, und das Chrome-Tool Lighthouse prüft inzwischen, ob eine vorhanden ist, und nennt sie eine entstehende Konvention, die vorerst optional ist. Der praktische Nutzen liegt heute darin, Coding-Assistenten und Agenten das Lesen von Dokumentation zu erleichtern. Wenn Ihre Website eine Dokumentation oder eine API hat, lässt sich die Datei mit wenig Aufwand ergänzen. Für die Website eines lokalen Unternehmens hat sie geringe Priorität.
Inhalte, die nur mit JavaScript erscheinen
Viele moderne Websites senden eine nahezu leere Seite und bauen den Inhalt dann mit JavaScript im Browser des Besuchers auf. Google kann dieses JavaScript ausführen, in einem separaten Rendering-Schritt, der später erfolgen kann. Googles eigene Dokumentation weist jedoch darauf hin, dass nicht alle Bots JavaScript ausführen können, und empfiehlt serverseitiges Rendering oder Pre-Rendering.
Die Crawler-Seiten von OpenAI, Anthropic und Perplexity sagen nicht, ob ihre Crawler Skripte ausführen. Die sichere Annahme ist, dass sie es möglicherweise nicht tun. Zur Prüfung öffnen Sie Ihre Seite, wählen „Seitenquelltext anzeigen“ und suchen nach Ihren Preisen, Leistungen und Kontaktdaten. Fehlen sie im Quelltext, bitten Sie Ihren Entwickler, sie auf dem Server zu rendern.
Eine sinnvolle Einrichtung für eine kleine Website
- 1Lesen Sie Ihre aktuelle
robots.txtund suchen Sie nach alten Regeln, die alles blockieren. - 2Lassen Sie die Such-Crawler und die vom Nutzer ausgelösten Abrufer der Antwortmaschinen zu, die Ihre Kunden nutzen.
- 3Treffen Sie die Entscheidung über Trainings-Crawler als geschäftliche Entscheidung und schreiben Sie die Regel in jedem Fall auf.
- 4Fragen Sie Ihren Hoster oder Ihr CDN, ob KI-Bots standardmäßig blockiert werden.
- 5Vergewissern Sie sich, dass Ihre wichtigsten Fakten im Seitenquelltext stehen und nicht erst durch JavaScript hinzugefügt werden.
- 6Ergänzen Sie
llms.txtnur, wenn Sie eine Dokumentation haben, auf die sich ein Verweis lohnt. - 7Prüfen Sie die offiziellen Crawler-Seiten einige Male im Jahr erneut.
Rastock AEO, das noch im Aufbau ist, soll verfolgen, wie Antwortmaschinen ein Unternehmen beschreiben. Nichts davon funktioniert, wenn Crawler Ihre Website nicht lesen können. Deshalb steht diese Einrichtung an erster Stelle.
Fragen und Antworten
- Entfernt das Blockieren von GPTBot meine Website aus der ChatGPT-Suche?
- Nein. OpenAI sagt, dass jede Einstellung unabhängig ist: GPTBot betrifft das Training, und OAI-SearchBot steuert, ob eine Website in den Antworten der ChatGPT-Suche angezeigt wird.
- Brauche ich eine llms.txt-Datei?
- Sie ist optional. Sie ist ein Vorschlag aus der Community, die Google-Suche verwendet sie nach eigener Aussage nicht, und wir haben keine große Antwortmaschine gefunden, die bestätigt, dass sie Antworten beeinflusst. Am nützlichsten ist sie für Websites mit Entwicklerdokumentation.
- Halten sich alle KI-Bots an robots.txt?
- Nein. Die Datei ist eine Bitte, der sich korrekt verhaltende Crawler folgen. Perplexity sagt, dass sein vom Nutzer ausgelöster Abrufer sie in der Regel ignoriert, und OpenAI sagt, dass die Regeln für ChatGPT-User möglicherweise nicht gelten.
- Sehen KI-Crawler Inhalte, die meine Website mit JavaScript lädt?
- Möglicherweise nicht. Google rendert JavaScript, weist aber darauf hin, dass nicht alle Bots das können, und die Seiten der anderen großen Crawler sagen dazu nichts. Stellen Sie wichtige Fakten in das vom Server ausgelieferte HTML.
Quellen
- Overview of OpenAI Crawlers (OpenAI)
- Does Anthropic crawl data from the web, and how can site owners block the crawler? (Claude Help Center)
- Perplexity Crawlers (Perplexity)
- Google's common crawlers (Google for Developers)
- Optimizing your website for generative AI features on Google Search (Google Search Central)
- Robots.txt Introduction and Guide (Google Search Central)
- Understand the JavaScript SEO basics (Google Search Central)
- Your content, your choice: clearer preferences for training and grounding (Microsoft Bing Blog)
- The /llms.txt file, v2 (llmstxt.org)
- llms.txt (Lighthouse, Chrome for Developers)
Sehen Sie, was KI über Ihr Unternehmen sagt.
Frühzugang sichernWeitere Artikel
Was ist Answer Engine Optimization (AEO)?
Answer Engine Optimization verständlich erklärt: was Antwortmaschinen sind, wie AEO und SEO zusammenhängen, was Sie beeinflussen können und was nicht.
Warum eine einzelne KI-Antwort keine Messung ist
KI-Antworten ändern sich mit Durchlauf, Formulierung, Ort und Modellversion. Warum ein einzelner Screenshot wenig beweist und wie Sie fair Stichproben ziehen.