Gemeint ist damit hier nur die robots.txt -- und diese kann es in sich haben, wenn man auch nur ein falsches Zeichen benutzt. So kann man, wie ich gestern selbst erfahren habe, z. B. die Suchmaschinen-Robots unfreiwillig komplett aussperren. Was habe ich dabei gelernt: Man kann keine Regeln erfassen, die das besuchen von Links mit Ankern (.../#anker-im-text) einschränkt. Denn das explizite Einschließen des "#" ist nicht möglich, da es für die robots.txt als Kommentarzeichen gilt.