robots.txt: Crawling regeln und private Seiten richtig schützen

1. Entscheide zuerst, wer eine Seite sehen darf

Für den Start deines österreichischen Betriebs bereitest du eine öffentliche Leistungsseite und einen Bereich mit Angebotsentwürfen vor. Schreibe beide Aufgaben getrennt auf: Welche Inhalte dürfen alle Besucher lesen, und welche sollen nur vereinbarte Personen öffnen können? Ein Suchroboter ist dabei nur eine mögliche Besucherart. Prüfe den Entwurf auch mit einem gewöhnlichen Browser ohne Anmeldung. Wenn dabei vertrauliche Unterlagen sichtbar werden, ist das eine Aufgabe für den Zugangsschutz deiner Website. Ein Eintrag in einer Hinweisdatei behebt dieses Problem nicht. Besprich deshalb vor dem Upload, wer den privaten Bereich einrichtet und wie ihr den Zugang gemeinsam abnehmt.

2. Suche die Datei bei der richtigen Webadresse

Die robots.txt gehört laut RFC 9309 an den obersten Pfad des jeweiligen Webdienstes, etwa https://www.example.org/robots.txt. Sie ist kein DNS-Eintrag. Notiere für deine Prüfung die vollständige Adresse aus der Browserzeile. Bei einer Vorschauadresse oder einer zusätzlichen Subdomain fragst du den Website-Dienst nach der dort ausgelieferten Datei. Verlasse dich nicht auf einen Bildschirm aus einem alten Projekt. Bitte um den aktuellen Dateistand und halte fest, welche veröffentlichte Website er betrifft. So vermeidest du, versehentlich an den Einstellungen einer unbeteiligten Testumgebung zu arbeiten. Die Datei sollte als lesbarer Text erscheinen; eine hübsche Fehlerseite allein bestätigt ihren Inhalt nicht.

3. Lass Regeln anhand konkreter Seiten erklären

Die Datei kann mit User-agent eine Crawlergruppe ansprechen und mit Allow oder Disallow passende Pfade behandeln. Lass dir deshalb jede geplante Regel an einer konkreten Seite erklären. Frage etwa: Darf ein angesprochener Crawler die öffentliche Leistungsübersicht weiterhin abrufen? Welche Regel betrifft die Vorschau? Übernimm keinen kompletten Dateivorschlag aus einem fremden Shop. Hebe vor einer beauftragten Änderung eine Kopie des bisherigen Inhalts auf und vereinbare eine kurze Liste der danach zu prüfenden Adressen. Ob eine Seite in Suchergebnissen erscheint, ist eine zusätzliche Frage; aus einer einzelnen Crawling-Regel folgt weder eine automatische Aufnahme noch eine sichere Entfernung.

4. Schütze Entwürfe beim Website-Dienst

Für private Inhalte brauchst du eine wirksame Zugangskontrolle beim Web- oder Dateidienst. RFC 9110 beschreibt HTTP-Authentifizierung; welche Lösung zu deinem Projekt passt, klärst du mit dem verantwortlichen Betreiber. Lege zuerst fest, wer Zugriff benötigt, und nutze die dafür vorgesehenen Funktionen. Teile keine dauerhaften Zugangsdaten über öffentlich sichtbare Seiten. Prüfe zusätzlich den direkten Link zu einem Dokument, nicht nur die Seite, die darauf verweist. Eine Datei sollte nicht offen abrufbar bleiben, während bloß das Menü ausgeblendet wird. robots.txt ist selbst öffentlich; verwende sie daher nicht als Verzeichnis geheimer Ordnernamen oder als Aufbewahrungsort für Passwörter.

5. Ordne die Aufgabe dem richtigen Bereich zu

Wenn deine Agentur eine Änderung vorschlägt, bitte um die genaue Aufgabe und den betroffenen Dienst. Für eine robots.txt-Datei ist normalerweise die Website-Konfiguration relevant. Ein Nameserverwechsel verschiebt diese Datei nicht automatisch und richtet auch keine Anmeldung ein. Die folgende Übersicht hilft beim Auftrag: Sie beschreibt Arbeitspakete, keine pauschale Erlaubnis, bestehende Einstellungen zu verändern. Vereinbare bei jeder Aufgabe, wer sie ausführt und wer das Ergebnis prüft. Wenn du die Website selbst verwaltest, halte die Fundstelle der Einstellung und den letzten funktionierenden Stand für spätere Änderungen fest.

6. Prüfe den Start mit einer kurzen Abnahmeliste

Gehe vor der Veröffentlichung deine eigene Liste durch, idealerweise mit einer zweiten Person. Verwende dafür nur deine Website und deine vereinbarten Testzugänge. Eine öffentliche Seite muss ohne Anmeldung funktionieren; ein privater Bereich soll den festgelegten Zugang verlangen. Öffne außerdem eine ausgewählte Datei über ihren direkten Link. Vergleiche anschließend die aktuelle robots.txt mit dem freigegebenen Stand. Dokumentiere Datum, vollständige URLs und das beobachtete Ergebnis. Wenn etwas nicht passt, korrigiert zuerst der zuständige Website-Dienst den konkreten Punkt. Ein erneuter Domainkauf oder ein vorsorglicher DNS-Umbau ist dafür kein sinnvoller erster Schritt.

• Öffentliche Seite ohne Anmeldung aufrufen.
• Privaten Bereich und direkten Dateilink getrennt prüfen.
• Freigegebene Crawler-Regeln mit dem aktuellen Stand vergleichen.
• Ergebnis und zuständigen Kontakt dokumentieren.

7. Melde eine Abweichung mit überprüfbaren Angaben

Eine Meldung wie „der Roboter kommt nicht durch“ ist für eine gezielte Prüfung zu ungenau. Schicke deinem Website-Team die betroffene URL, den Zeitpunkt samt Zeitzone und den genauen Fehlertext. Falls verfügbar, ergänze den HTTP-Status und den Inhalt der Antwort. RFC 9110 beschreibt HTTP-Antworten; eine Statusnummer allein ersetzt jedoch nicht die Prüfung deines konkreten Aufrufs. Sage auch dazu, ob du angemeldet warst und welches Ergebnis du erwartet hast. Warte nach einer Korrektur nicht auf ein versprochenes Ranking, sondern wiederhole zuerst denselben vereinbarten Funktionstest. Übermittle vertrauliche Dokumente und Zugangsdaten dabei nicht in einem öffentlichen Fehlerbericht.

8. Plane Domain und Website-Verwaltung getrennt ein

Eine neue standardmäßige .at-Domain kostet bei atdomain.at derzeit 12,99 € Gesamtpreis im ersten Jahr. Die Verlängerung liegt derzeit bei 15,99 € Gesamtpreis je weiterem Jahr. Wir unterstützen DNS-Verwaltung mit unseren Standard-Nameservern und eigene Nameserver; Hosting und E-Mail-Postfächer verkaufen wir nicht. Die Pflege einer robots.txt-Datei und der Schutz deiner Website-Inhalte gehören deshalb in die Planung mit deinem Website-Dienst. Wenn du Unterstützung bei der Domain oder DNS benötigst, helfen wir auf Anfrage innerhalb unserer tatsächlichen Zugriffsmöglichkeiten. Suche für ein neues Projekt zuerst einen passenden verfügbaren Namen und kläre danach die Website-Funktionen, die du wirklich brauchst.