Настройка и создание robots.txt для битрикс

Не секрет, что для правильной seo-оптимизации необходим файл robots.txt, Это тот самый инструмент, который сообщает поисковым системам  о параметрах индексирования сайта.  В роботе Яндекса используется сессионный принцип работы, на каждую сессию формируется определенный пул страниц, которые планирует загрузить робот. Сессия начинается с загрузки файла robots.txt. Если файл отсутствует, не является текстовым или на запрос робота возвращается HTTP-статус отличный от 200 OK, робот считает, что доступ к документам не ограничен.

В битрикс robots.txt можно сформировать специальным инструментом по пути в системе администрирования: Маркетинг — Настройка robots.txt или по ссылке: /bitrix/admin/seo_robots.php.

Оптимальным набором параметров является:

Таким образом мы закрываем для индексации форму регистрации так и ряд страниц, т.к. они могут сформировать дубли страниц.

Читать  Ошибка! IP адрес клиента изменился, продолжение невозможно. Переносим Bitrix

Вообще «robots txt» для битрикс формируется системой весьма корректно, единственно необходимо поправить его в соответствии с проектом, а по сути важные параметры система формирует сама, помимо этого буквально в 2 клика в настройках robots.txt можно удалить или наоборот добавить нужный параметр, а при создании sitemap ссылка в robots.txt формируется сама

 

Добавить комментарий

Ваш e-mail не будет опубликован.