Narzędzia dla webmastera
Robots.txt validator
Roboty, to programy, które podróżują po internecie i zbierają dane z różnych stron internetowych. Następnie analizują te dane i jeśli napotkają odnośniki do inncych stron, ruszają dalej. Plik robots.txt mówi robotom które pliki i katalogi na Twoim serwerze mogą przeglądać. robots.txt musi znajdować się w katalogu głównym serwera i posiadać z góry zdefiniowaną strukturę. To narzędzie pozwoli sprawdzić, czy Twój plik robots.txt jest poprawny.
Tego narzędzia użyto 10590 razy.
