KI-Crawler steuern: robots.txt und llms.txt

KI-Crawler steuern Sie an zwei Stellen: robots.txt regelt, welche Bots eine Seite überhaupt abrufen dürfen, und llms.txt ist ein unverbindlicher Hinweis darauf, welche Inhalte für Antwortmaschinen gedacht sind. Beides sind Erklärungen, keine technischen Sperren — weder Gesetz noch Standard erzwingen ihre Einhaltung.

Jede Antwortmaschine braucht Inhalte, aus denen sie antworten kann, und jede betreibt dafür eigene Crawler. Wer wissen will, was mit den eigenen Texten geschieht, muss zwei Dinge auseinanderhalten: ob eine Seite überhaupt gelesen wird und ob ihr Inhalt zum Training oder zur Beantwortung verwendet wird. Das sind zwei verschiedene Entscheidungen an zwei verschiedenen Stellen.

##Welche KI-Crawler sind unterwegs?

• ›GPTBot — OpenAI; holt Inhalte für ChatGPT und für das Training.
• ›PerplexityBot — Perplexity; holt Inhalte für die Antwortsuche.
• ›Google-Extended — kein eigener Crawler, sondern ein Schalter in der robots.txt, der steuert, ob Google die Inhalte für Gemini und Vertex AI verwenden darf.
• ›Googlebot — der Suchcrawler; er bleibt von Google-Extended unberührt.

##Was leistet robots.txt — und was nicht?

robots.txt ist eine Bitte, keine Zugangskontrolle. Sie steht unter der Wurzel der Domain und wird von seriösen Crawlern vor dem Abruf gelesen. Ein Crawler, der sie ignorieren möchte, ignoriert sie; sie schützt also nicht vor einem Angreifer, sondern steuert das Verhalten derer, die sich daran halten. Wer Zugang wirklich sperren will, braucht eine serverseitige Prüfung des User-Agents oder eine Authentifizierung — nicht eine Textdatei.

Der wirksame Teil ist die Gruppierung: Für jeden Crawler lässt sich ein eigener Block schreiben, und der spezifischste Block gewinnt. Wer alle KI-Crawler ausschließen und die Suchmaschinen behalten will, schreibt also nicht „User-agent: * / Disallow: /“, sondern benennt jeden Crawler einzeln.

##Was ist llms.txt — und was nicht?

llms.txt ist ein Vorschlag aus dem Jahr 2024, keine anerkannte Norm. Die Datei liegt unter der Wurzel der Domain und enthält eine kommentierte Liste der wichtigsten Seiten — gedacht als Wegweiser, damit ein Modell nicht die halbe Website durchsuchen muss, um die relevanten Stellen zu finden. Es gibt keinen Standard, keine Zertifizierung und keine Zusage, dass eine Antwortmaschine sie liest.

Das macht sie nicht wertlos, aber es ordnet ihren Wert ein: Sie ist eine Empfehlung an das Gegenüber, keine technische Durchsetzung. Wer sie einsetzt, sollte den Nutzen daran messen, ob die eigenen Seiten seltener falsch zusammengefasst werden — nicht daran, dass sie in einem Protokoll auftaucht.

##Welche Entscheidung liegt davor?

Ob Sie KI-Crawler zulassen, ist eine Geschäftsentscheidung und keine technische. Ein Fachbetrieb, der gefunden werden will, hat ein Interesse daran, in Antworten genannt zu werden; ein Verlag, der seine Texte lizenziert, hat ein Interesse daran, sie zurückzuhalten. Beides ist vertretbar, aber es sollte eine Entscheidung sein und kein Zufall der Voreinstellungen.

• ›Zulassen, wenn die Sichtbarkeit in Antworten das Ziel ist — und dann die Seiten dafür herrichten.
• ›Ausschließen, wenn Inhalte lizenziert oder verkauft werden — dann konsequent und crawlerspezifisch.
• ›Nie halb: Wer den Suchcrawler ausschließt, um KI zu treffen, verliert die Sichtbarkeit vollständig.

##Wie sieht der praktische Ablauf aus?

Nehmen Sie sich eine halbe Stunde: Prüfen Sie im Serverprotokoll, welche Crawler tatsächlich erscheinen — nicht, welche in Artikeln genannt werden. Entscheiden Sie je Crawler, schreiben Sie die Blöcke in die robots.txt und lassen Sie die Wirkung zwei Wochen laufen. Wer die Entscheidung dokumentiert, kann sie in einem Jahr begründen; wer sie vergisst, findet sie irgendwann als Überraschung im Log wieder.