Oft taucht eine scheinbar einfache Frage auf: Sollten wir llms.txt hinzufügen, damit künstliche Intelligenz unsere Website korrekt liest – und gleichzeitig unsere Inhalte nicht für das Training nutzt? Darauf gibt es kein allgemeingültiges Ja oder Nein. Drei verschiedene Dinge werden miteinander vermischt: Crawler-Zugriff, Sichtbarkeit in der Suche und Anweisungen für KI-Agenten.
Die Trennung dieser Bereiche ist wichtiger als die Datei selbst. Andernfalls blockieren wir möglicherweise den Traffic, den wir möchten, und erhalten trotzdem nicht den erwarteten Schutz.
Klären Sie zuerst, was Sie erreichen möchten
- Ich möchte, dass Google oder die ChatGPT-Suche die Seite findet. Kümmern Sie sich um Indexierung, technisches SEO und die Regeln des jeweiligen Such-Crawlers.
- Ich möchte keine Inhalte für das Training von Modellen bereitstellen. Kümmern Sie sich um den Trainings-Crawler und die Bedingungen des Dienstes.
- Ich möchte einem Agenten eine kompakte Dokumentationsübersicht anbieten. Hier kann
llms.txtsinnvoll sein. - Ich möchte nicht öffentliche Inhalte schützen. Keine Textdatei reicht dafür aus. Sie benötigen Authentifizierung, Autorisierung und echte Sicherheit.
Diese Entscheidungen sind technisch unabhängig voneinander. Der Such-Crawler eines Unternehmens und sein Trainings-Crawler können unterschiedliche Namen und Regeln haben.
Was llms.txt ist – und was nicht
LLMs.txt ist ein Vorschlag für eine einfache Markdown-Datei im Stammverzeichnis einer Website. Sie bietet einem Agenten eine kurze Beschreibung und Links zu wichtigen Quellen. Für umfangreiche Dokumentation kann sie als Verzeichnis dienen: Produkt, API, Bedingungen und häufige Abläufe.
Sie ist keine Zugriffsrichtlinie. Sie legt nicht verbindlich fest, wer Inhalte für das Training verwenden darf, verhindert nicht das Herunterladen einer Seite und garantiert keine Zitierung in Ergebnissen. Google sagt ausdrücklich, dass für seine KI-Funktionen in der Suche keine spezielle KI-Datei erforderlich ist und llms.txt der Google-Suche nichts hinzufügt.
Auf einer Unternehmenswebsite würde ich sie einsetzen, wenn wir eine kurze, korrekte und nützliche Quellenliste pflegen können – nicht als leere SEO-Geste. Eine veraltete Übersicht ist schlimmer als keine, weil sie ungültige Preise, alte Anweisungen oder entfernte Seiten anbietet.
Robots.txt steuert das Crawling, nicht Vertrauen oder Sicherheit
Die Datei robots.txt teilt kooperierenden Crawlern mit, wohin sie gehen dürfen oder nicht. Sie ist öffentlich, ihre Regeln hängen vom User-Agent ab und sie ist keine Firewall gegen einen ungehorsamen Bot.
Eine Sperre in robots.txt ist keine zuverlässige Methode, um eine URL aus einer Suchmaschine zu entfernen. Google kann die Adresse über andere Links kennen, selbst wenn der Inhalt nicht gelesen werden kann. Für nicht öffentliche Daten verwenden Sie eine Anmeldung. Für eine Seite, die nicht in den Ergebnissen erscheinen soll, verwenden Sie in der Regel noindex bei einer crawlbaren URL oder den passenden Statuscode.
Es gibt keinen einzigen Schalter für alle KI-Roboter
OpenAI: Suche und Training können getrennt entschieden werden
OpenAI dokumentiert separate Crawler. OAI-SearchBot entdeckt Inhalte für die ChatGPT-Suche, während GPTBot eine mögliche Nutzung zur Verbesserung generativer Modelle betrifft. Sie können daher den ersten erlauben und den zweiten blockieren:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /ChatGPT-User kennzeichnet eine von einem Nutzer ausgelöste Anfrage und ist kein Mechanismus für die Aufnahme in die Suche. Lesen Sie die aktuellen Bedingungen des Anbieters, statt eine alte User-Agent-Liste zu kopieren.
Google: Suche und Google-Extended sind nicht dasselbe
Laut der Google-Dokumentation zur Suche verwenden AI Overviews und der AI Mode den Suchindex und seine Systeme. Der Zugriff von Googlebot wirkt sich daher auf die normale Suche und die Berechtigung für diese Funktionen aus.
Google-Extended ist ein separates Produkt-Token für die Nutzung von Inhalten zur Verbesserung von Gemini-Modellen und zur Grounding-Unterstützung in einigen Produkten. Google sagt, dass seine Sperrung weder die Aufnahme in die Suche noch das Ranking beeinflusst. Sie ist kein Ersatz für Googlebot-Regeln.
Andere Dienste haben ihre eigenen Regeln
Anthropic unterscheidet zwischen ClaudeBot, Claude-SearchBot und dem nutzerinitiierten Laden. Perplexity beschreibt PerplexityBot für seinen Suchindex. Namen und Zwecke können sich ändern. Führen Sie eine Liste wichtiger Dienste und gleichen Sie sie mit deren Primärdokumentation ab.
Wie ich auf einer Unternehmenswebsite entscheiden würde
- Schreiben Sie das Geschäftsziel auf. Möchte ich organischen Traffic, Zitierungen, den Schutz kostenpflichtiger Inhalte oder alles mit unterschiedlichen Regeln?
- Prüfen Sie die technische Grundlage. Kanonische URLs, Indexierung, Statuscodes, Sitemap und interne Links. Keine spezielle Datei kann eine fehlende Grundlage ersetzen.
- Trennen Sie Crawler nach ihrem Zweck. Suche, Training und nutzerinitiierte Aufrufe sind unterschiedliche Kategorien.
- Sichern Sie nicht öffentliche Daten tatsächlich ab. Kundenangebote, Verwaltung und interne Dokumente werden nicht allein dadurch geschützt, dass man einen Bot anweist.
- Fügen Sie LLMs.txt nur mit einem Inhaltsverantwortlichen hinzu. Jemand muss sicherstellen, dass Links und Beschreibungen korrekt bleiben.
- Messen Sie das Ergebnis. Überwachen Sie Logs, die Search Console und Besuche aus relevanten Quellen; die bloße Existenz der Datei ist keine abgeschlossene Optimierung.
Wenn Sie zu einer Quelle für KI-Antworten werden möchten, beginnen Sie mit Inhalten und Belegen statt mit einer Datei im Stammverzeichnis der Website. Ich bespreche dies in Wie KI und Google Quellen auswählen. Um die Crawler-Einstellungen zu prüfen, ohne den organischen Traffic zu gefährden, nutzen Sie die Kontaktseite.