Die robots.txt ist eine schlichte Textdatei im Wurzelverzeichnis einer Domain, die Suchmaschinen-Crawlern mitteilt, welche Bereiche einer Website sie abrufen dürfen und welche nicht. Sie liegt immer an der gleichen Stelle, also zum Beispiel unter deine-domain.de/robots.txt, und sie ist für jeden öffentlich einsehbar. Technisch gehört sie zum Robots Exclusion Protocol, das bereits 1994 entstanden ist und im September 2022 als RFC 9309 endlich einen offiziellen Standard bekommen hat. Trotz ihres Alters ist sie bis heute das Erste, was ein Crawler von deiner Website liest.
Wichtig ist die Einordnung: Die robots.txt ist keine Sperre, sondern eine Bitte. Googlebot, Bingbot und andere seriöse Crawler halten sich daran, Scraper und Bots mit schlechten Absichten ignorieren sie komplett. Außerdem regelt sie nur den Zugriff, nicht die Indexierung. Wer diesen Unterschied nicht kennt, sperrt aus Versehen halbe Shops aus dem Crawling aus oder wundert sich, warum blockierte URLs trotzdem in den Suchergebnissen auftauchen. Genau deshalb lohnt sich ein genauer Blick auf diese Datei, gerade wenn du Traffic über Suche und Social gleichzeitig aufbaust.
Wie die robots.txt funktioniert
Bevor ein Crawler eine einzelne URL deiner Website abruft, holt er sich die robots.txt. Google speichert sie in der Regel bis zu 24 Stunden zwischen. Änderungen wirken also nicht sofort, sondern mit etwas Verzögerung. Die Datei gilt dabei immer nur für genau eine Kombination aus Protokoll, Host und Port. Deine Subdomain shop.deine-domain.de braucht daher eine eigene robots.txt, die von der Datei auf der Hauptdomain vollständig unabhängig ist. Das wird bei Shop-Subdomains und Landingpage-Systemen regelmäßig übersehen.
Inhaltlich arbeitet die Datei mit Gruppen. Jede Gruppe beginnt mit einer User-agent-Zeile und enthält darunter die Regeln für genau diesen Crawler. Ein Bot sucht sich die Gruppe, die am genauesten auf ihn passt, und ignoriert alle anderen. Googlebot liest also die Googlebot-Gruppe und nicht die allgemeine Gruppe mit dem Sternchen, sobald beide existieren. Antwortet dein Server mit einem 404, geht der Crawler von keinerlei Einschränkungen aus. Bei einem 5xx-Fehler pausiert Google das Crawling erst einmal, weil sich die Datei nicht sicher auswerten lässt. Ein instabiler Server bremst dein Crawling also indirekt aus.
Aufbau und Syntax einer robots.txt
Der Aufbau ist bewusst simpel. Vier Anweisungen reichen für fast jeden Fall. User-agent legt fest, für wen die folgenden Regeln gelten. Disallow sperrt einen Pfad. Allow gibt einen Unterpfad wieder frei. Sitemap verweist auf deine XML-Sitemap, und zwar immer als vollständige absolute URL inklusive https. Die Sitemap-Zeile steht unabhängig von den Gruppen und gilt für alle Crawler.
Google und Bing verstehen zusätzlich zwei Platzhalter. Das Sternchen steht für eine beliebige Zeichenfolge, das Dollarzeichen markiert das Ende einer URL. Damit sperrst du sämtliche Sortier-Parameter oder alle PDF-Dateien mit einer Zeile. Widersprechen sich zwei Regeln, gewinnt bei Google die mit dem längeren Pfad. Sind beide gleich lang, setzt sich Allow durch. Pfade sind case sensitive: /Sale und /sale sind zwei verschiedene Dinge.
Ein paar Grenzen solltest du kennen. Google verarbeitet maximal 500 Kibibyte der Datei, alles danach fällt weg. Crawl-delay ignoriert Google komplett, Bing und Yandex werten die Angabe aus. Kommentarzeilen mit Rautezeichen kosten nichts, helfen aber jedem, der die Datei nach dir anfasst.
Crawl-Budget und warum die Steuerung zählt
Crawl-Budget beschreibt, wie viele URLs Google in einem Zeitraum von deiner Website abruft. Es hängt davon ab, was dein Server verkraftet und was Google an deinen Inhalten interessiert. Für kleine Websites ist das irrelevant, Google nennt rund tausend URLs als Grenze, unterhalb derer du dir keine Gedanken machen musst.
Spannend wird es bei Shops und großen Content-Projekten. Sobald Filter und Sortierungen frei kombinierbar sind, entstehen aus dreihundert Produkten schnell hunderttausende URL-Varianten. Der Crawler läuft sich darin fest und findet neue Kategorieseiten spät oder gar nicht. Genau hier spielt die robots.txt ihre Stärke aus: Du sperrst die Parameter-Muster ohne eigenen Suchwert.
Wichtig bleibt die Reihenfolge. Erst analysierst du in den Server-Logs, wo das Budget verbrennt, dann sperrst du gezielt. Wer blind blockiert, verliert mehr Sichtbarkeit, als er an Effizienz gewinnt. Mit einer SEO-Agentur ist das der erste Schritt eines Audits, das je nach Projektgröße 1.500 bis 5.000 Euro kostet.
Robots.txt oder noindex: der entscheidende Unterschied
Hier passieren die meisten Fehler. Ein Disallow verhindert, dass ein Crawler den Inhalt einer URL abruft. Es verhindert nicht, dass die URL im Index landet. Verlinkt jemand extern darauf, nimmt Google sie trotzdem auf und zeigt sie ohne Beschreibung an, mit dem Hinweis, dass keine Informationen verfügbar sind. Ein Suchergebnis, das niemand anklickt.
Willst du eine Seite wirklich aus dem Index bekommen, brauchst du ein noindex im Meta-Robots-Tag oder im HTTP-Header. Damit Google dieses noindex überhaupt sieht, muss die Seite crawlbar bleiben. Beides gleichzeitig zu setzen, also Disallow plus noindex, hebt sich gegenseitig auf. Die alte Abkürzung, ein Noindex direkt in die robots.txt zu schreiben, funktioniert seit dem 1. September 2019 nicht mehr, weil Google diese undokumentierte Anweisung damals abgeschaltet hat.
Ein Punkt wird gern vergessen: Deine robots.txt ist öffentlich. Trägst du dort interne Verzeichnisse, Testumgebungen oder Kundendownloads ein, lieferst du eine Landkarte genau der Bereiche, die niemand sehen soll. Zugriffsschutz gehört auf die Server-Ebene, nicht in eine öffentliche Textdatei.
Die robots.txt in der Praxis: Shopify, WordPress und Social Crawler
Bei Shopify steckt die Datei hinter dem Template robots.txt.liquid, das sich seit Juni 2021 im Theme bearbeiten lässt. Der Standard sperrt Warenkorb, Checkout, Kundenkonto und die interne Suche. WordPress liefert dagegen eine virtuelle Datei aus, die physisch gar nicht existiert, bis ein Plugin wie Yoast sie überschreibt.
Für Paid Media ist ein Crawler entscheidend. AdsBot-Google prüft die Zielseiten deiner Google-Ads-Kampagnen und hält sich bewusst nicht an die Sternchen-Gruppe, er braucht eine eigene Regel. Sperrst du ihn aus, meldet das Konto Zielseiten als nicht erreichbar. Als Performance Marketing Agentur prüfen wir das in jedem neuen Setup zuerst.
Genauso wichtig sind die Social Crawler. facebookexternalhit, LinkedInBot und der Crawler von X holen sich Titel, Beschreibung und Vorschaubild geteilter Links. Blockierst du sie, erscheint dein Beitrag als nackter Link ohne Bild und die Klickrate bricht ein. Für eine LinkedIn Agentur ist das ein teurer, vermeidbarer Fehler.
Typische Fehler in der robots.txt
Der teuerste Klassiker ist ein Disallow auf den kompletten Root der Live-Domain. Meist passiert das beim Relaunch, wenn die robots.txt der Staging-Umgebung auf den Produktivserver wandert. Innerhalb weniger Tage verschwinden die Rankings, die Erholung dauert Wochen.
Fast genauso schädlich ist das Sperren von CSS- und JavaScript-Dateien. Google rendert deine Seiten wie ein Browser. Fehlen die Ressourcen, sieht der Crawler ein kaputtes Layout und bewertet die mobile Darstellung schlecht.
Dazu kommen die Dauerbrenner. Die Datei liegt in einem Unterordner statt im Root und wird nie gefunden. Die Sitemap-Zeile fehlt oder steht als relativer Pfad drin. Groß- und Kleinschreibung passt nicht zu den echten URLs. Oder nach einer Änderung wird nichts getestet, obwohl der robots.txt-Bericht in der Search Console genau dafür da ist.
Neu ist die Frage nach den KI-Crawlern. GPTBot, ClaudeBot und Google-Extended lassen sich über die robots.txt aussperren. Wer komplett blockt, taucht in KI-Antworten seltener als Quelle auf. Sprich das mit deiner Social Media Agentur ab, bevor jemand eine Zeile ergänzt.
Fazit
Die robots.txt ist klein, aber sie steht ganz am Anfang der Kette. Sie entscheidet, was Crawler von deiner Website überhaupt sehen, und ein einziger falscher Slash kostet dich Sichtbarkeit, die du dir über Monate erarbeitet hast. Behandle sie deshalb wie ein produktives Stück Infrastruktur: dokumentiert, versioniert und nach jedem Deploy geprüft.
Merk dir vor allem drei Dinge. Erstens regelt die Datei nur das Crawling und nicht die Indexierung, dafür brauchst du noindex. Zweitens ist sie öffentlich, Geheimnisse gehören also nicht hinein. Drittens betrifft sie nicht nur Google, sondern auch Ads- und Social-Crawler, die über Vorschaubilder und Anzeigenqualität mitentscheiden. Wenn du das im Griff hast, arbeitet die Datei still für dich statt gegen dich.
Wenn du die technische Steuerung deiner robots.txt professionell angehen willst, meld dich gerne. Über unsere Kontakt-Seite kannst du jederzeit eine unverbindliche Anfrage stellen.
