Einfach selbst optimieren mit der Hilfe von easyseo.de
robots.txt - Generator
Suchmaschinen besitzen Programme, die Spider genannt werden. Diese durchsuchen Ihre Webseiten nach Links. Alle gefunden Links werden dann, entsprechend der Spiderprogrammierung, soweit verfolgt, dass die Spider erkennen, wohin genau die Links führen.

Mit der Datei Robots.txt, die im Hauptverzeichnis der Domain liegen muss, legen Sie entsprechende Sperren bzw. Freigaben für die Suchmaschinen fest. Dieses Tool hilft Ihnen nun, Ihre robots.txt zu erstellen, die Sie nur noch auf Ihren Speicherplatz (Server) legen müssen.
Schritt 1
In der Datei Robots.txt wird festgelegt, welche Dateien, Verzeichnisse, Inhalte oder Bereiche Ihrer Webseiten als gesperrt oder frei zugänglich markiert sind.

Wählen Sie eine Option aus:

Erlaubt allen Spidern, Ihre Webseiten zu indizieren.
Verbietet allen Spidern, Ihre Webseiten zu indizieren.
Verbietet allen Spidern, Verzeichnisse oder Dateien zu indizieren.
Verbietet bestimmten Spidern, Verzeichnisse oder Dateien zu indizieren.