Robots.txt

Profi-Hilfe ab 5,95 €Die Datei robots.txt ist eine Textdatei, mit derer Hilfe festgelegt werden kann, welche Bereiche einer Website vom Crawler (Roboter) einer Suchmaschine durchsucht werden dürfen und welche nicht. Die bekanntesten Suchmaschinen, wie zum Beispiel Google, Bing und Yahoo halten sich auch tatsächlich an die vom Seitenbetreiber gemachten Vorgaben in der robots.txt.

Fehler in der Robots.txt vermeiden

Fehler in der Robots.txt sollten unbedingt vermieden werden. Schon kleine Syntax-Fehler können dazu führen, dass die Suchmaschinen Anweisungen nicht mehr beachten und Webseitenbereiche, die nicht gelistet werden sollten in den Suchmaschinen landen.

Noch schlimmere Auswirkungen kann es haben, wenn sie versehentlich die falschen Anweisungen geben. Dieses kann dazu führen, dass Bereiche oder im schlimmsten Fall die gesamte Website nicht mehr von den Suchmaschinen aufgenommen werden.

Darum sollten Sie die Robots.txt immer mit einem der kostenlosen Tools im Internet überprüfen.

Aufbau der Robots.txt

Die Robots.txt enthält zunächst immer die Information, für welchen Suchroboter die Anweisungen gelten und dann die tatsächliche Anweisung:

User-agent: Roboter
Disallow: xyz


Der User-agent kann dabei verschieden Werte haben:

User-Agent: * - meint alle Suchmaschinen
Usaer-agent: Googlebot - betrifft ausschließlich Google
Usaer-agent: Slurp - betrifft ausschließlich Yahoo
Usaer-agent: bingbot - betrifft ausschließlich Bing


In der Ausschlußanweisung können sowohl einzelne Seiten, Verzeichnisse oder aber die gesamte Website gesperrt werden:
Disallow: - keine Seite ist für Robots gesperrt
Disallow: / - alle Seiten sind für Robots gesperrt
Disallow: /Verzeichnis/ - Das gesamte Verzeichnis ist für Robots gesperrt
Disallow: seite.html - Die einzelne Webseite ist für Robots gesperrt