109 Robots.txt: Was es ist und wie es für eine Website funktioniert (Googlebot, Suchmaschinen-Crawler, Crawler-Traffic)
Was ist robots.txt? Es handelt sich um eine technische Datei mit Zugriffsregeln für Suchmaschinen-Roboter: Sie teilt Googlebot und anderen Suchmaschinen-Crawlern mit, welche Bereiche einer Website gecrawlt werden dürfen und welche besser unberührt bleiben. Im Wesentlichen ist sie eines der wichtigsten Werkzeuge zur Steuerung der Indexierung und des Crawler-Traffics im Rahmen einer systematischen Website-Optimierung.
Definition und Rolle der robots.txt-Datei für eine Website
Robots.txt-Datei Eine robots.txt-Datei ist ein Textdokument, das Anweisungen (wie z. B. „Disallow“ und „Allow“) für verschiedene Bots enthält. Wenn ein Bot eine Website besucht, prüft er zuerst die robots.txt-Datei und entscheidet dann, welche URLs er anfragt. Dies hat folgende Auswirkungen:
- Einsparung des Crawling-Budgets (weniger unnötige Anfragen);
- Priorität beim Scannen wichtiger Seiten;
- Reduzierung der Serverlast durch Verwaltung des Crawler-Datenverkehrs.
Wichtig: robots.txt steuert das Crawling, nicht die „garantierte Entfernung einer Seite aus der Suche“. Dies erfordert oft andere Mechanismen (mehr dazu im Abschnitt über noindex und X-Robots-Tag in den folgenden Abschnitten).
Wo sollte die robots.txt-Datei gespeichert werden und welche Protokolle werden berücksichtigt?
Die robots.txt-Datei befindet sich in oberstes Verzeichnis (Stammverzeichnis der Website), sodass es unter einer Adresse wie dieser erreichbar ist: https://example.com/robots.txtBefindet sich die Datei in einem tieferen Verzeichnis (z. B. /folder/robots.txt), wird sie von den Robotern ignoriert.
Beachten Sie außerdem, dass die Regeln auf Host- und Protokollebene angewendet werden. Das heißt: http Und https — Es handelt sich um unterschiedliche Versionen, und während der Migration ist es wichtig, die Verfügbarkeit und Relevanz der Datei zu überprüfen. Im Rahmen von robots.txt-Spezifikation Es gibt Argumente für verschiedene Systeme, darunter FTPFür SEO in der Praxis sind jedoch HTTP/HTTPS die wichtigsten.
Wie Googlebot und andere Crawler Regeln lesen (robots.txt-Spezifikation und UTF-8)
Von robots.txt-Spezifikation Der Bot wählt einen Regelblock aus, indem er Benutzeragent (zum Beispiel Googlebot) und wendet die am besten geeigneten Anweisungen an. Häufig verwendet:
Disallow — verbietet das Scannen des Pfades; Allow — erlaubt den Zugriff innerhalb des verbotenen Pfades (nützlich für präzise Ausnahmen).
Die Datei muss korrekt kodiert sein: Verwenden Sie eine UTF-8-Robots.txt-Datei, um sicherzustellen, dass Regeln und Pfade eindeutig sind, insbesondere wenn die URL nicht standardmäßige Zeichen enthält.
Bei robots.txt geht es um Crawling und Ressourcenkontrolle, nicht darum, „alles vor Google zu verbergen“.
Bei Web-Raketa betrachten wir robots.txt als Teil von „ein vollständiger Leitfaden zur Website-Indexierung": Es hilft Ihnen, eine Strategie aufzubauen, nicht Chaos zu stiften – indem es Bots auf Seiten lenkt, die organischen Traffic und Traffic generieren, der zu Conversions führt.
Robots.txt für SEO einrichten: Verboten/Zulassen, Seiten schließen und Beispiele
Grundlegende Syntax: User-Agent, Disallow, Allow
Falls Sie es bereits herausgefunden haben, Was ist robots.txt?Der nächste Schritt besteht darin, die Suchmaschinen so zu konfigurieren, dass Suchmaschinen-Crawler Zeit auf Seiten verbringen, die tatsächlich Umsätze generieren. Die Logik ist einfach: Wir steuern das Crawling so, dass eine höhere Sichtbarkeit in Google erreicht wird, indem wir die Indexierung wichtiger Kategorien, Karten und Inhalte priorisieren, anstatt endlose technische URLs zu indexieren.
Grundlegende Richtlinien:
- Benutzeragent — auf welchen Roboter die Regeln anwendbar sind (z. B. Googlebot oder für alle);
- Disallow – verhindert das Scannen des angegebenen Pfades;
- Erlauben – Ausnahme vom Verbot (Erlaubnis innerhalb der verbotenen Zone).
Ein wichtiger Grundsatz: Die Einrichtung der robots.txt-Datei für SEO ist eine Strategie, kein Chaos. Schließen Sie nur die Bereiche, die Ihr Crawling-Budget nicht belasten und keinen Mehrwert für die Suche bieten.
So schließen Sie Seiten in der robots.txt-Datei: Häufige Aufgaben für Shops und Dienste
In der Ukraine ist dies besonders häufig bei Online-Shops mit Filtern und Parametern der Fall, wo Tausende von Duplikaten auftreten können. Es empfiehlt sich außerdem, das Crawling der internen Such- und Servicebereiche einzuschränken.
Beispiele für typischerweise abgeschlossene Aufgaben:
1) Filter/Sortierung mit Parametern (um Duplikate zu vermeiden); 2) interne Suche; 3) Warenkorb, Konto, Kasse; 4) temporäre technische Bereiche (z. B. /tmp/).
Es ist wichtig, CSS/JS oder Bilder nicht versehentlich zu schließen, wenn diese für die korrekte Darstellung und Auswertung der Seite benötigt werden – andernfalls könnte die Indexierungsqualität beeinträchtigt werden.
Robots.txt-Beispiel: Sorgfältige, verlustfreie Traversierungsverwaltung
Nachfolgend finden Sie ein Beispiel, das Sie an Ihre Website anpassen können:
| Linie | Was bewirkt es? |
|---|---|
| User-Agent: | Regeln für alle Roboter |
| Nicht zulassen: /search | Schließt interne Suche |
| Nicht zulassen: /cart | Schließt den Korb |
| Nicht zulassen: /? | Beschränkt parametrisierte URLs (muss überprüft werden, um zu vermeiden, dass wichtige Seiten blockiert werden) |
| Erlauben: /Katalog/ | Lässt wichtige Abschnitte offen |
Einschränkung: Selbst eine optimal konfigurierte robots.txt-Datei entfernt eine Seite nicht aus dem Index, wenn sie bereits in den Suchergebnissen erscheint oder externe Links enthält. Das Entfernen oder Steuern der Indexierung erfordert andere Tools (wie z. B. den Meta-Robots-Befehl „noindex“ oder HTTP-Header). Dennoch bleibt die robots.txt-Datei entscheidend für die Conversion von Traffic – sie hilft Suchmaschinen-Bots, kommerziell wichtige Seiten schneller zu finden und häufiger zu crawlen.
„Bei einer korrekten robots.txt-Datei geht es vor allem um Fokussierung: weniger Spam-Crawling, mehr Aufmerksamkeit für die Seiten, die Leads generieren.“
Robots.txt-Fehler und zugehörige Tools: noindex vs. robots.txt, X-Robots-Tag, Passwortschutz
Häufige Fehler in der robots.txt-Datei und wie man sie diagnostiziert
Verständnis, Was ist robots.txt?Das ist wichtig, aber noch wichtiger ist es, Fehler zu vermeiden, die den organischen Traffic beeinträchtigen. In der Praxis treten Probleme am häufigsten dann auf, wenn eine Datei versehentlich etwas blockiert, das eigentlich ranken sollte.
Typisch robots.txt-Fehler:
- wichtige Bereiche (Kategorien, Karten, Blog) durch eine zu allgemeine Disallow-Anweisung blockieren;
- Das Schließen von CSS/JS/Bildern führt dazu, dass Google die Seite schlechter darstellt und den Inhalt möglicherweise falsch bewertet;
- Zulassen/KonfliktNicht zulassen (Die Regeln sind so gestaltet, dass der Roboter den falschen Weg wählt);
- Falscher Pfad (Tippfehler, falscher Schrägstrich, URL ohne Berücksichtigung der Groß-/Kleinschreibung);
- Falsche Kodierung (wir empfehlen UTF-8 ohne „exotische“ Zeichen), wodurch die Regeln unklar werden;
- Die Datei befindet sich nicht im Stammverzeichnis der Website oder ist nicht verfügbar (404/403) - dann verhalten sich die Bots „standardmäßig“.
Diagnose: Überprüfen Sie die Erreichbarkeit der robots.txt-Datei, vergleichen Sie die tatsächlichen URLs mit den Regeln und prüfen Sie die Berichte der Google Search Console (Crawling, Indexierung). Falls die Sichtbarkeit gesunken ist, überprüfen Sie zunächst die robots.txt-Datei und die blockierten Ressourcen.
„Die Datei Robots.txt sollte das Crawling steuern und Ihr Unternehmen nicht versehentlich von der Suche ausschließen.“
Noindex vs. robots.txt: Welche Option ist die richtige für die Indexierung?
Robots.txt Kontrolliert das Crawling: Der Roboter besucht die Seite möglicherweise nicht, dies garantiert jedoch nicht, dass die URL nicht in den Suchergebnissen erscheint (z. B. wenn Links darauf verweisen). Kein Index (Meta-Roboter) — ein Signal speziell für die Indexierung: Die Seite kann gecrawlt, aber nicht in den Index aufgenommen werden.
Praktischer Leitfaden:
Wenn Sie vermeiden möchten, Crawling-Budget für „unnötige“ URLs (Filter, Suche) zu verschwenden, verwenden Sie robots.txt. Wenn Sie eine Seite aus den Suchergebnissen entfernen, sie aber weiterhin crawlbar halten möchten (z. B. eine Dankesseite oder ein technisches Duplikat), ist noindex besser geeignet.
X-Robots-Tag und Passwortschutz: Wann die robots.txt-Datei nicht geeignet ist
Der X-Robots-Tag ist ein HTTP-Header, mit dem sich Indexierungsregeln für Dateien und Serverantworten (PDFs, Bilder oder ganze Vorlagen) festlegen lassen, wenn das Hinzufügen eines Meta-Tags schwierig ist. Er eignet sich gut für die systematische Indexierungssteuerung auf Serverebene.
Aber robots.txt ist nicht für private Inhalte geeignet: Es handelt sich um eine öffentliche Datei, die lediglich einen Hinweis darauf gibt, wo sich die privaten Inhalte befinden.
Wenn Sie den Zugriff wirklich einschränken müssen (z. B. auf persönliche Konten, Partnerpreisseiten oder im Admin-Bereich), verwenden Sie Passwortschutz (HTTP-Authentifizierung), Rollenbeschränkungen im CMS oder eine Abschottung auf Server-/Firewall-Ebene. Dies ist zuverlässig und sicher, im Gegensatz zur Zugriffsverschleierung über die robots.txt-Datei.
Häufig gestellte Fragen und Schlussfolgerungen: Robots.txt-Checkliste für effektive Suchmaschinenoptimierung
FAQ: Häufig gestellte Fragen zu robots.txt
Ist eine robots.txt-Datei immer notwendig? Bei sehr einfachen Websites ohne unnötige URLs (Suche, Filter, technische Bereiche) ist sie nicht zwingend erforderlich. In der Praxis ist es jedoch für fast jedes kommerzielle Projekt einfacher, die Datei im Stammverzeichnis zu belassen und das Crawling gezielt zu steuern. Dies reduziert das Risiko von Problemen bei wachsender Website und trägt dazu bei, den Traffic zu steigern und Conversions zu generieren.
Was ist bei der Migration von HTTP zu HTTPS zu beachten? Stellen Sie sicher, dass die Datei über die HTTPS-Version im Stammverzeichnis unter /robots.txt erreichbar ist. Prüfen Sie, ob die Regeln die neuen URLs nicht blockieren und ob Suchmaschinen-Roboter (einschließlich derer, die die HTTPS-Version verwenden) die neuen URLs finden können. GooglebotSie sollten 200-OK-Antworten und keine Weiterleitungen/403-Fehler erhalten. Nach der Migration ist es hilfreich, die Überprüfung in der Google Search Console erneut durchzuführen und die Crawling-Berichte einzusehen.
Kann man verhindern, dass bereits indexierte Inhalte erneut indexiert werden? Eine robots.txt-Datei allein garantiert keine Deindexierung. Meta robots noindex oder X-Robots-Tagsowie die Entfernungstools in der Search Console zum vorübergehenden Ausblenden. Robots.txt bezieht sich hier auf Crawling-Beschränkungen, nicht auf das „Entfernen aus den Suchergebnissen“.
Wie man die Arbeit überprüft GooglebotNutzen Sie die Google Search Console: URL-Inspektion und robots.txt-Diagnosetools (sofern in Ihrer Version der Benutzeroberfläche verfügbar) sowie Serverprotokolle, um die tatsächlichen Roboterbesuche und die von ihnen angeforderten URLs zu sehen.
Wie man reduziert Crawler-Verkehr Ohne SEO-Einbußen? Blockieren Sie in der robots.txt-Datei minderwertige und endlose URL-Bereiche (Parameter, interne Suche, technische Seiten), aber nicht wichtige Kategorien/Karten und Rendering-Ressourcen. Ziel ist es, das Crawling auf Seiten zu lenken, die organischen Traffic und Umsatz generieren.
Schlussfolgerung: robots.txt als Teil einer Strategie, nicht des Chaos
Zusamenfassend, Was ist robots.txt? Für Unternehmen: Dieses Crawling-Control-Tool unterstützt einen transparenten Ansatz für die Website-Promotion. Es ersetzt weder Optimierung, Content-Erstellung noch Linkbuilding, sondern fördert die systematische Website-Promotion – insbesondere bei wachsenden Projekten und exponentiell steigender URL-Anzahl. In Kombination mit noindex, X-Robots-Tag und einer geeigneten Architektur wird es Teil eines umfassenden Leitfadens zur Website-Indexierung und bildet die Grundlage für das Wachstum Ihres digitalen Geschäfts.
„Effektive Suchmaschinenoptimierung beginnt mit der Überwachung dessen, was indexiert, was gecrawlt und warum.“
Checkliste für die finale Einrichtung der robots.txt-Datei
Prüfen Sie, ob sich die Datei im Stammverzeichnis der Website befindet und mit dem Statuscode 200 OK und UTF-8-Kodierung zurückgegeben wird. Stellen Sie sicher, dass die Regeln eindeutig sind: Der User-Agent ist angegeben, sinnvolle Sperr-/Zulassungsregeln sind angewendet und es gibt keine versehentlichen Einschränkungen für kommerzielle Bereiche. Prüfen Sie außerdem, ob CSS/JS, wichtige Bilder und andere Ressourcen, die das Rendering beeinflussen, nicht blockiert sind. Prüfen Sie bei Migrationen und Redesigns zuerst die robots.txt-Datei, um die Sichtbarkeit bei Google nicht zu beeinträchtigen. Um Seiten aus dem Index zu entfernen, verwenden Sie noindex oder das X-Robots-Tag. Für privaten Zugriff schützen Sie die Seiten mit einem Passwort. Vergleichen Sie Ihre Regeln regelmäßig mit dem tatsächlichen Crawling-Verhalten der Suchmaschinen mithilfe der Daten und Protokolle der Search Console. So behalten Sie die Kontrolle über das Crawling und erzielen SEO-Erfolge für Ihr Unternehmen ohne unnötigen Aufwand.
