Aus Versehen unsichtbar: Wie Websites KI-Bots aussperren, ohne es zu wissen

Eine Marke, die in ChatGPT, Perplexity oder Claude empfohlen werden will, hat keinen Grund, deren Bots auszusperren. Trotzdem passiert es ständig, und meistens unbemerkt: Eine robots.txt-Vorlage „gegen KI-Crawler“ wurde irgendwann eingespielt, ein Sicherheits-Plugin blockt „verdächtige Bots“, das CDN hat KI-Crawler in der Voreinstellung gesperrt. Bewusst sperren vor allem Verlage, deren Texte ihr Produkt sind. Für alle anderen lohnt sich ein genauer Blick, denn die großen Anbieter schicken mehrere Crawler mit ganz verschiedenen Aufgaben los. Wer sie in einen Topf wirft, sperrt im Zweifel genau den, der für die Sichtbarkeit zählt. Und die robots.txt sagt nur, was erlaubt ist; ob ein Bot tatsächlich durchkommt, entscheidet häufig etwas anderes.

Drei Arten von KI-Bots#

Die Folgen einer Sperre unterscheiden sich entsprechend. Wer einen Trainings-Crawler sperrt, entscheidet, ob seine Texte in künftige Modelle einfließen. In den Antworten mit Websuche kann er trotzdem auftauchen. OpenAI beschreibt das ausdrücklich so: Wer GPTBot sperrt, steigt aus dem Training aus; wer OAI-SearchBot sperrt, erscheint nicht mehr in den Suchantworten von ChatGPT. Wer einen Such- oder Nutzer-Bot sperrt, nimmt sich also aus dem Rennen um die Quellenangabe.

Google ist ein Sonderfall#

Für Google gibt es keinen eigenen Such-Bot für KI. Google-Extended steuert nach Googles Angaben, ob Inhalte für das Training und die Gemini-Apps genutzt werden dürfen. Die AI Overviews in der Google-Suche beruhen dagegen auf dem gewöhnlichen Suchindex, den der Googlebot füllt. Wer sie begrenzen will, kann das nur über die Snippet-Vorgaben der Suche: nosnippet, data-nosnippet oder max-snippet. Das kürzt dann aber auch die Ausschnitte in den normalen Suchergebnissen.

Was die Sperren in unseren Daten bewirken#

Für unsere Studie zu den Quellen deutscher KI-Antworten haben wir die robots.txt von 71 Verlagen geprüft, deren Kaufberatung die KI zitiert. 60 davon sperren mindestens einen KI-Bot, am häufigsten CCBot (49), GPTBot und Google-Extended (je 39), PerplexityBot (37) und ClaudeBot (36). Claude-SearchBot sperrt keiner. Was das in den Antworten bewirkt, zeigt der Vergleich mit den Verlagen, die den jeweiligen Bot nicht sperren:

Gemessen vom 5. September bis 5. Oktober 2026; Sperren laut robots.txt zum Zeitpunkt der Prüfung.

Drei Dinge fallen auf:

Training sperren kostet keine Sichtbarkeit. Verlage, die GPTBot oder ClaudeBot sperren, werden von ChatGPT und Claude mit Suche etwa so oft zitiert wie die übrigen.

Die Such-Sperre wirkt. Wer OAI-SearchBot sperrt, wird von ChatGPT deutlich seltener zitiert: ein Drittel dieser Verlage gegenüber mehr als der Hälfte der übrigen. Ganz verschwinden sie nicht, zum Beispiel weil ChatGPT Seiten auch aus anderen Quellen kennt.

Die AI Overviews und Perplexity zitieren trotzdem. Google-Extended ändert an den AI Overviews nichts; Gemini mit Suche zitiert diese Verlage etwas seltener, aber nicht nie. Und alle 37 Verlage, die PerplexityBot sperren, wurden von Perplexity trotzdem zitiert, zusammen über 2.200-mal. Woher Perplexity die Seiten kennt, zeigen unsere Daten nicht. Ein Grund kann der Nutzer-Bot Perplexity-User sein, den kaum jemand sperrt. Die FAZ etwa sperrt zehn KI-Bots, darunter GPTBot, OAI-SearchBot und PerplexityBot, und wird von Perplexity und den AI Overviews dennoch zitiert.

Das sind Zusammenhänge, keine Beweise: Verlage mit und ohne Sperre unterscheiden sich auch in anderem.

Was die robots.txt nicht zeigt#

Die robots.txt ist eine Bitte, keine Tür. Ob ein Bot eine Seite tatsächlich lesen kann, entscheiden oft Firewall, Bot-Schutz und CDN. Cloudflare etwa blockt KI-Crawler für neue Domains inzwischen standardmäßig. Ältere Firewall-Regeln stellen ganzen Rechenzentren eine Prüfaufgabe, die kein Bot lösen kann. Ein Betreiber berichtete kürzlich, seine Firewall habe Perplexity monatelang ausgesperrt, ohne dass es jemand bemerkte, weil Perplexity aus einem Cloud-Rechenzentrum abruft.

Wie unterschiedlich das ausfallen kann, zeigt Reddit. Ruft man (wie wir am 12. Oktober 2026) die Startseite mit den Kennungen der Bots ab, bekommen ChatGPT-User, GPTBot und ClaudeBot eine Absage, Claude-SearchBot und PerplexityBot dagegen die normale Seite. Nichts davon steht so in der robots.txt.

Selbst prüfen in drei Schritten#

1. robots.txt lesen. Steht dort ein Disallow: / für OAI-SearchBot, Claude-SearchBot, PerplexityBot oder die Nutzer-Bots? Dann kann die KI-Suche Ihre Seiten nicht lesen. War das keine bewusste Entscheidung, gehört die Zeile gelöscht. Eine Sperre nur für die Trainings-Bots (GPTBot, ClaudeBot, Google-Extended) können Sie stehen lassen, wenn Sie Ihre Texte nicht im Training sehen wollen; sie kostet in unseren Daten keine Sichtbarkeit.
2. Firewall und CDN prüfen. In Cloudflare unter „Security“ → „Bots“: Ist „Block AI bots“ oder „AI Scrapers and Crawlers“ aktiv? Bei anderen Anbietern heißen die Schalter ähnlich.
3. Einen Abruf testen. Rufen Sie Ihre Startseite einmal als Browser und einmal mit einer Bot-Kennung ab und vergleichen Sie Status und Größe:

curl -s -o /dev/null -w "%{http_code} %{size_download}\n" -A "Mozilla/5.0 (compatible; OAI-SearchBot/1.0)" https://www.ihre-domain.de/

Bekommt der Bot einen anderen Status oder eine deutlich kleinere Seite als der Browser, lohnt sich ein Blick in die Firewall. Eine Einschränkung gilt: Manche Firewalls prüfen, ob ein Abruf wirklich von den Adressen des Anbieters kommt, und weisen eine nachgemachte Kennung ab, obwohl der echte Bot durchkäme.

augenmerk macht diese Probe seit Oktober 2026 bei jeder Website-Prüfung automatisch: für neun Bots von OpenAI, Perplexity, Anthropic und Google, mit dem Ergebnis neben der robots.txt.