Robots.txt und SEO
Was ist die Robots.txt eigentlich? Robots.txt ist eine Datei, die Suchmaschinen-Spider anweist, bestimmte Seiten oder Abschnitte einer Website nicht zu durchforsten. Die meisten großen Suchmaschinen (einschließlich Google, Bing und Yahoo) erkennen und beachten die Angaben in der Robots.txt. Diese Datei muss unbedingt im Hauptverzeichnis einer Domain liegen, darf sich also nicht in einem Unterordner befinden. Außerdem muss der Name zwangläufig „robots.txt“ lauten. Achtung: Es handelt…