Главная


Файл robots.txt

robot-txt     Файл robots.txt – это очень важный и универсальный инструмент управления, он разрешает доступ поисковым “паукам” Google и Яндекс к Вашему сайту.Файл robots.txt используется для:

  1. Автоматического обнаруживания Sitemap;

  2. Блокировки доступа “пауков” к “закрытым ” разделам Вашего сайта;

  3. Блокировка доступа поисковиков к утилитам, скриптам индексирования и т.д;

  4. Возможность избежать индексирования дублей страниц;

     Файл robots.txt важно поместить в корневой каталог и название файла должно быть набрано в нижнем регистре. Если название будет введено как-то иначе, поисковые системы просто не учтут его и он обязательно должен быть в текстовом формате.

    Почему так важен этот файл для Вашего сайта? Все очень просто. Он предотвращает доcтуп поисковых машин к страницам и подкаталогам сайта, которые Вы хотите от них скрыть.



Комментарии