robots.txt
Eine Textdatei, die Suchmaschinen-Crawlern mitteilt, welche Bereiche sie crawlen dürfen.
Was bedeutet robots.txt?
Die robots.txt ist eine Textdatei im Stammverzeichnis deiner Website, die Suchmaschinen-Crawlern Anweisungen gibt, welche Bereiche sie crawlen dürfen und welche nicht. du ist ein wichtiges Instrument zur Steuerung des Crawl-Budgets und zum Schutz sensibler Bereiche. Achtung: robots.txt verhindert nicht die Indexierung – dafür brauchen du noindex-Tags.
Verwandte Begriffe
Weitere Begriffe im SEO-Lexikon
robots.txt für dein Unternehmen nutzen?
Wir zeigen dir, wie du robots.txt gewinnbringend in deinem Unternehmen einsetzen.
Kostenlos beraten lassen