Lassen Sie ChatGPT Ihre Website lesen

Warum das wichtig ist

Jede Website kann eine kleine Textdatei namens robots.txt haben. Sie sagt automatischen Besuchern, den sogenannten Crawlern, welche Seiten sie lesen dürfen. Weist sie den Crawler von ChatGPT ab, kann ChatGPT Ihre Seiten nicht lesen. Dann verlässt es sich auf das, was andere Websites über Sie sagen, oder sagt gar nichts.

Oft blockieren Websites KI-Crawler, ohne dass jemand das entschieden hat: eine aus einer Vorlage kopierte Regel, eine Einstellung, die nach einem Relaunch aktiv geblieben ist, oder ein Sicherheitsdienst, der Bots standardmäßig blockiert. Mit diesem Leitfaden finden Sie heraus, was bei Ihnen zutrifft.

Illustration mit einem fiktiven Unternehmen.

T2Sie haben Ihr Starter-Audit erhalten? Dieser Leitfaden behebt T2, „Zugang für KI-Crawler“, auf Seite 07 (Technik und Bereitschaft für KI-Agenten). In einem kostenlosen Snapshot ist er bei Ihren wichtigsten Korrekturen auf Seite 06 verlinkt.

Übersicht

Welche Crawler Sie hereinlassen sollten

Jeder KI-Assistent nutzt eigene Crawler. Manche rufen Seiten ab, um Fragen von Nutzern zu beantworten. Andere sammeln Text, um künftige KI-Modelle zu trainieren. Um in Antworten genannt zu werden, müssen die ersten erlaubt sein. Ob Sie die Trainings-Crawler zulassen, entscheiden Sie.

Bevor Sie beginnen

Halten Sie das bereit

• Die genaue Adresse Ihrer Website, auch ob sie mit www. beginnt
• Einen Login für Ihren Website-Editor (WordPress, Webflow, Wix) oder, bei einer individuell programmierten Website, den Kontakt Ihres Entwicklers.
• Falls Ihre Website über Cloudflare läuft, einen Login für Ihr Cloudflare-Konto. Nicht sicher? Ihr Entwickler oder IT-Dienstleister weiß es.

Schritte

Prüfen und korrigieren Sie Ihre robots.txt

1. Öffnen Sie Ihre robots.txt-Datei

   Geben Sie in einem beliebigen Browser Ihre Adresse gefolgt von /robots.txt ein, zum Beispiel yourcompany.lu/robots.txt. Sie sehen einen von drei Fällen:

   • Ein paar Zeilen Text. Gut, weiter mit Schritt 2.
   • Eine Fehlermeldung „Seite nicht gefunden“. Sie haben keine Datei, also ist jeder Crawler erlaubt. Sie können hier aufhören oder in Schritt 4 eine Datei anlegen, um Ihre Sitemap einzutragen.
   • Ein anderer Fehler oder eine Login-Seite. Schicken Sie die Adresse an Ihren Entwickler: Crawler können die Datei womöglich gar nicht lesen.

   letzscale.com/robots.txt · unsere eigene Datei, Oktober 2026Kopieren

   User-Agent: GPTBot
   User-Agent: OAI-SearchBot
   User-Agent: ChatGPT-User
   User-Agent: ClaudeBot
   User-Agent: Claude-User
   User-Agent: Claude-SearchBot
   User-Agent: PerplexityBot
   User-Agent: Perplexity-User
   User-Agent: Googlebot
   User-Agent: Google-Extended
   User-Agent: Bingbot
   User-Agent: Applebot
   User-Agent: Applebot-Extended
   Allow: /
   
   User-Agent: *
   Allow: /
   
   Host: https://letzscale.com
   Sitemap: https://letzscale.com/sitemap.xml

   Unsere Datei nennt jeden KI-Crawler und erlaubt ihm, jede Seite zu lesen, und erlaubt danach auch allen anderen Crawlern den Zugriff. Die letzte Zeile verweist Crawler auf unsere Sitemap, die Liste unserer Seiten. Die Zeile Host ist eine alte Anweisung, die Google ignoriert, Sie brauchen sie also nicht.

2. Suchen Sie nach Zeilen, die KI blockieren

   Die Datei besteht aus Gruppen. Jede Gruppe beginnt mit User-agent: und dem Crawler, für den sie gilt. Ein * bedeutet „jeder Crawler, der nicht anderswo genannt ist“. Darunter bedeutet Disallow: / „nichts auf dieser Website“ und Allow: / „alles“.

   Ein Crawler befolgt nur die Gruppe, die ihn am genauesten nennt. Wenn also eine Gruppe OAI-SearchBot nennt und Disallow: / sagt, hilft ein allgemeines Allow: / für alle anderen nicht. Achten Sie auf dieses Muster:

   Beispiel einer Datei, die KI blockiert (Zeilen in Rot)

   # Alle dürfen die Website lesen...
   User-agent: *
   Allow: /
   # ...außer diesen, die komplett ausgesperrt sind
   User-agent: GPTBot
   User-agent: OAI-SearchBot
   User-agent: ClaudeBot
   User-agent: PerplexityBot
   Disallow: /

   In diesem Beispiel können die ChatGPT-Suche und Perplexity die Website nicht lesen, deshalb werden sie sie kaum zitieren. Prüfen Sie auch, ob Disallow: / direkt unter User-agent: * steht. Das sperrt alle aus, auch Google und Bing, und ist ein häufiges Überbleibsel einer Website, die auf einem Testserver gebaut wurde.

3. Prüfen Sie die Einstellungen, die die Datei für Sie ändern

   Auf den meisten Plattformen bearbeiten Sie die Datei nicht direkt; eine Einstellung schreibt sie. Prüfen Sie die, die für Sie gilt:

   WordPress

   Settings → Reading (Einstellungen → Lesen) → Search engine visibility (Sichtbarkeit für Suchmaschinen) darf nicht angehakt sein. Wenn Sie ein SEO-Plugin nutzen (Yoast, Rank Math), finden Sie in dessen Werkzeugbereich einen robots.txt-Editor.

   Webflow

   Site settings → SEO → Indexing. Regeln bearbeiten, speichern, dann die Website veröffentlichen. Webflow-Hilfe

   Wix

   Dashboard → SEO & GEO → Tools and settings → Robots.txt Editor → View File. Wix-Hilfe

   Nutzen Sie Cloudflare?

   Cloudflare ist ein Dienst, den viele Websites für Geschwindigkeit und Sicherheit nutzen. Er kann KI-Crawler schon an der Tür abweisen, selbst wenn robots.txt sie erlaubt. Öffnen Sie in Ihrem Cloudflare-Dashboard Security Settings und dann Configure AI bot policies. Lassen Sie die Kategorie Search auf „Allow“. Seit dem 15. September 2026 blockieren neue Cloudflare-Domains Trainings- und Agenten-Bots auf Seiten mit Werbung standardmäßig. Cloudflare-Dokumentation

4. Schreiben oder aktualisieren Sie die Datei

   Wenn Sie die Datei selbst bearbeiten, empfehlen wir diese Version. Ersetzen Sie die Sitemap-Adresse durch Ihre eigene. Die meisten Website-Baukästen legen die Sitemap automatisch unter /sitemap.xml an. Zeilen, die mit # beginnen, sind Kommentare. Entfernen Sie das # vor den Trainingszeilen nur, wenn Sie KI-Training ablehnen möchten.

   robots.txtKopieren

   # Suchmaschinen und KI-Assistenten dürfen jede Seite lesen
   User-agent: *
   Allow: /
   
   # Optional: nur KI-Training ablehnen
   # User-agent: GPTBot
   # User-agent: ClaudeBot
   # User-agent: Applebot-Extended
   # Disallow: /
   
   Sitemap: https://www.yourcompany.lu/sitemap.xml

   • Speichern Sie sie als reinen Text mit dem exakten Namen robots.txt, nie aus Word heraus, denn Word kann Zeichen einfügen, die sie unbrauchbar machen.
   • Sie muss ganz oben auf Ihrer Website liegen: yourcompany.lu/robots.txt, nicht in einem Ordner.
   • Jede Adresse braucht eine eigene Datei: shop.yourcompany.lu ist getrennt von yourcompany.lu.

Prüfen Sie das Ergebnis

Bestätigen Sie, was Crawler jetzt sehen

Öffnen Sie yourcompany.lu/robots.txt erneut in einem privaten Browserfenster, damit Sie die aktuelle Version sehen und keine gespeicherte Kopie. Bestätigen Sie es dann bei den Suchmaschinen selbst:

• Google Search Console → Settings → robots.txt (Einstellungen → robots.txt) zeigt die Version, die Google zuletzt abgerufen hat, und gefundene Probleme. Noch keine Search Console? Leitfaden 03 richtet sie ein.
• Bing Webmaster Tools hat einen robots.txt-Tester, der zeigt, ob eine Seite für Bingbot erlaubt ist, auf den Copilot angewiesen ist.

search.google.com/search-console · Settings · robots.txt

Geben Sie dem Ganzen einen Tag. Laut OpenAI können seine Suchsysteme etwa 24 Stunden brauchen, um eine Änderung zu übernehmen; andere Crawler folgen ihrem eigenen Rhythmus.

Häufige Fehler

Was meistens schiefgeht

• Eine Testserver-Sperre, die live gegangen ist. Disallow: / unter User-agent: * sperrt alle aus, auch Google.
• Die falsche Adresse korrigiert. Die Website läuft auf www.yourcompany.lu, aber die Datei wurde auf yourcompany.lu geändert, oder umgekehrt.
• Google-Extended blockieren, um Ihr Google-Ranking zu schützen. Auf die Google-Suche hat das keinen Einfluss. Es steuert nur, wie Google Ihre Inhalte für Gemini nutzt.
• robots.txt für ein Schloss halten. Es ist eine öffentliche Bitte: Seriöse Crawler halten sich daran, andere nicht. Nutzen Sie sie nie, um private Seiten zu verstecken.
• Die Firewall vergessen. Ein Sicherheitsdienst kann einen Crawler blockieren, den robots.txt erlaubt. Wenn die Datei richtig aussieht und ChatGPT Sie trotzdem nicht lesen kann, prüfen Sie Cloudflare oder fragen Sie Ihren Hoster.