Braucht Ihre Homepage eine robots.txt-Datei?

Windows+Linux / Englisch / Open Source. Wer eine Homepage hat, will meistens auch gefunden werden. Da ist der Frust groß, wenn die eigene Seite bei Google nicht auftaucht. Das kann durchaus an der Datei robots.txt liegen. Allerdings nur, wenn sie vorhanden ist. Diese Datei kann nämlich nur eins: verbieten.

In der Datei robots.txt können Sie automatischen Programmen, die rund um die Uhr das Internet abgrasen, verbieten, auf Ihre Seiten zuzugreifen. Sie können das Verbot pauschal für alle diese Robots aussprechen oder für bestimmte. Sie können Ihre Seiten komplett sperren oder nur bestimmte Bereiche.

Ist die Datei nicht vorhanden, gibt es dementsprechend auch keine Verbote. Ihre Seiten stehen allen Suchmaschinen offen. Tauchen sie trotzdem nicht bei Google auf, stellt sich eine ganz andere Frage: Haben Sie Ihre Seiten überhaupt schon angemeldet? Am besten holen Sie das gleich nach. Einfach die Adresse hier eintragen:
https://www.google.com/webmasters/tools/submit-url
Dazu müssen Sie sich an Ihrem Google-Konto anmelden.

Damit eine fehlende robots.txt-Datei zum Problem werden könnte, müsste zusätzlich der Server falsch konfiguriert sein. Dann könnte ein Robot versuchen, auf die Datei zuzugreifen und dabei auf ungewöhnliche Fehlermeldungen stoßen, so dass der Vorgang abbricht. Dieser Fall ist aber sehr unwahrscheinlich.

Wenn Sie eine robots.txt-Datei anlegen möchten, dann speichern Sie sie im Hauptordner Ihres Webservers. Möchten Sie allen alles erlauben, schreiben Sie folgendes hinein:
User-Agent: *
Disallow:

Die Zeile "User-Agent" bezeichnet, für wen das Verbot gilt. * bedeutet: für alle. Die Zeile "Disallow" spricht das Verbot aus. Wenn da weiter nichts steht, heißt das, alle Zugriffe sind erlaubt.

Mehr zum Thema:Vorhang auf, hier kommt Ihr Internetauftritt: Wie Sie mit wenig Aufwand eine Website erstellen