GPTBot blockieren oder nicht? ClaudeBot, Google-Extended und KI-Trainings-Crawler

Warum das wichtig ist

KI-Anbieter schicken zwei Arten automatischer Besucher, sogenannte Crawler, auf Ihre Website. Such-Crawler lesen Ihre Seiten, damit ein Assistent sie heute in seinen Antworten verwenden kann. Trainings-Crawler sammeln Text, der für künftige KI-Modelle verwendet werden kann.

Beides wird getrennt gesteuert. Sie können dem Training widersprechen und ChatGPT, Claude und Siri trotzdem Ihre Seiten für ihre Antworten lesen lassen. Viele Websites sperren Trainings-Crawler mit einer irgendwo kopierten Regel, ohne dass jemand das entschieden hat. Dieser Leitfaden hilft Ihnen, die Wahl bewusst zu treffen, sie festzuhalten und die richtigen Zeilen in Ihre robots.txt zu schreiben.

robots.txt ist neu für Sie? Leitfaden 02 erklärt, was die Datei ist und wo Sie sie auf Ihrer Website finden.

Übersicht

Die vier Trainings-Schalter

Diese Namen verwenden Sie in der robots.txt, wenn Sie dem KI-Training widersprechen möchten. Alles in der Tabelle stammt von der jeweiligen Seite des Anbieters, geprüft am 24. Oktober 2026.

Entscheiden

Eine einfache Regel

Die meisten Dienstleister in Luxemburg (Cafés, Handwerksbetriebe, Treuhandgesellschaften, Kanzleien, Beratungen) möchten, dass KI-Assistenten ihre Leistungen, Preise, Öffnungszeiten und Kontaktdaten kennen. Für sie ist es am einfachsten, alles zu erlauben. Eine Trainings-Sperre ist sinnvoll, wenn Ihr Text selbst das ist, was Sie verkaufen, oder wenn ein Kunde oder eine interne Richtlinie es verlangt.

Beispiele: Café Ribeiro und Fiduciaire Veldrin würden A wählen. Kastell Conseil, das auf seiner Website kostenpflichtige Marktstudien verkauft, könnte B wählen.

Schritte

Entscheiden und umsetzen

1. Halten Sie die Entscheidung fest

   Eine Zeile genügt. Legen Sie sie dort ab, wo Ihr Team Notizen zur Website aufbewahrt, damit später niemand die Datei ändert, ohne zu wissen, warum sie so aussieht.

   EntscheidungsnotizKopieren

   KI-Trainings-Crawler: wir erlauben / wir sperren (GPTBot, ClaudeBot, Applebot-Extended, Google-Extended), entschieden am [Datum] von [Funktion].

2. Öffnen Sie Ihre robots.txt

   Geben Sie Ihre Adresse gefolgt von /robots.txt ein, zum Beispiel ihrefirma.lu/robots.txt. Suchen Sie nach einer Gruppe, die GPTBot, ClaudeBot, Google-Extended oder Applebot-Extended nennt. Finden Sie eine, die niemand entschieden hat, ist jetzt der Moment, sie zu korrigieren. Leitfaden 02 zeigt, wo Sie die Datei in WordPress, Webflow und Wix bearbeiten.

3. Fügen Sie die Zeilen für Ihre Wahl ein

   Zeilen, die mit # beginnen, sind Kommentare und werden von Crawlern ignoriert. Ersetzen Sie die Sitemap-Adresse durch Ihre eigene. Mehrere User-agent-Zeilen können sich eine Regel teilen, wie unten.

   Option A · alles erlaubenKopieren

   # Suchmaschinen und KI-Assistenten dürfen jede Seite lesen
   User-agent: *
   Allow: /
   
   # Optional: nur dem Training von KI-Modellen widersprechen
   # User-agent: GPTBot
   # User-agent: ClaudeBot
   # User-agent: Applebot-Extended
   # Disallow: /
   
   Sitemap: https://www.ihrefirma.lu/sitemap.xml

   Option B · Training bei OpenAI, Anthropic und Apple sperrenKopieren

   # Suchmaschinen und KI-Assistenten dürfen jede Seite lesen
   User-agent: *
   Allow: /
   
   # Dem Training von KI-Modellen widersprechen (die Suche ist nicht betroffen)
   User-agent: GPTBot
   User-agent: ClaudeBot
   User-agent: Applebot-Extended
   Disallow: /
   
   Sitemap: https://www.ihrefirma.lu/sitemap.xml

   Option C · auch Google-Extended sperrenKopieren

   # Suchmaschinen und KI-Assistenten dürfen jede Seite lesen
   User-agent: *
   Allow: /
   
   # Dem Training von KI-Modellen widersprechen
   User-agent: GPTBot
   User-agent: ClaudeBot
   User-agent: Applebot-Extended
   # Begrenzt auch die Nutzung in Gemini-Antworten; die Google-Suche ist nicht betroffen
   User-agent: Google-Extended
   Disallow: /
   
   Sitemap: https://www.ihrefirma.lu/sitemap.xml

   Nehmen Sie OAI-SearchBot, Claude-SearchBot, Claude-User, Applebot oder Googlebot nicht in die gesperrte Gruppe auf. Das ist die Suchseite. OpenAI sagt, dass Websites, die OAI-SearchBot sperren, nicht in den Suchantworten von ChatGPT erscheinen.

4. Wiederholen Sie das für jede Subdomain

   Die Datei gilt nur für die Adresse, auf der sie liegt. shop.ihrefirma.lu braucht eine eigene robots.txt auf oberster Ebene. Anthropic verlangt dasselbe: Fügen Sie die Regel für jede Subdomain ein, die Sie ausnehmen möchten.

Ergebnis prüfen

Bestätigen Sie, dass die Datei Ihrer Entscheidung entspricht

Öffnen Sie ihrefirma.lu/robots.txt in einem privaten Browserfenster, damit Sie die Live-Version sehen und keine gespeicherte Kopie. Lesen Sie die Gruppen noch einmal mit Ihrer Entscheidungsnotiz im Blick.

Häufige Fehler

Was meistens schiefgeht

• Den Such-Crawler statt des Trainings-Crawlers sperren. OAI-SearchBot und Claude-SearchBot entscheiden, ob Sie in Antworten erscheinen können. Eine Sperre verhindert kein Training; sie nimmt Sie aus der Suche.
• Google-Extended sperren, um das Google-Ranking zu schützen. Laut Google hat es keinen Einfluss auf Aufnahme oder Ranking in der Google-Suche. Auf Gemini dagegen schon.
• Annehmen, Google-Extended betreffe nur das Training. Es deckt auch das Grounding in den Gemini-Apps ab; eine Sperre kann also weniger Gemini-Antworten bedeuten, die sich auf Ihre Seiten stützen.
• Per IP-Adresse statt per robots.txt sperren. Anthropic warnt, dass das Sperren seiner IP-Adressen nicht zuverlässig funktionieren kann, weil sein Crawler dann Ihre robots.txt nicht mehr lesen kann.
• Eine Regel kopieren, die niemand entschieden hat. Eine Vorlage oder ein Plugin fügt eine Sperre ein, und ein Jahr später weiß niemand, warum. Die Entscheidungsnotiz verhindert das.