Robots.txt - специальный текстовый файл, размещаемый в корне каждого сайта. Данный документ содержит подробные инструкции для поисковых роботов относительно того, что им надо индексировать, а что - нет. Правильная настройка Robots.txt обязательна, если Вам необходима корректная индексация Вашего сайта.
Как создать правильный Robots.txt? Эффективное и быстрое решение для создания и настройки Robots.txt – воспользоваться онлайн сервисом на нашем сайте. В результате работы генератора Robots.txt Вы получите текст, который необходимо сохранить в файл под названием robots.txt и загрузить в корневой каталог Вашего сайта.
