Plik robots.txt służy do zarządzania robotami indeksującymi Google. Indeksacja ta rozpoczyna się na naszej stronie po przez skan treści i linków. Jeżeli w naszym artykule pojawiają się linki na strony zewnętrzne, które nie są powiązane z naszą stroną, możemy sprawić by roboty indeksujące ominęły te linki.
Wystarczy oznaczyć taki link tagiem: noindex
Najprostsza, przykładowa treść pliku robots.txt powinna wygląda np. tak:
User-agent: *
Allow: /
Przykładowa treść pliku robots.txt w Sellingo może wygląda np. tak:
User-Agent: *
Disallow: /public/libraries
Allow: /
Sitemap: http://ADRESTWOJEGOSKLEPU.pl/sitemap.xml
Gdzie Disallow wskazuje na bibliotekę, która nie musi być indeksowana i dodatkowo podany jest adres Sitemap sklepu, ułatwiający robotom indeksowanie witryny.
Więcej o pliku robots.txt znajdziesz np. na stronach:
