Robots.txt и Sitemap.xml: зачем они нужны и как их составить

Seo продвижение веб-ресурса и его позиция в поиске напрямую зависят от того, как часто и быстро поисковики индексируют страницы сайта и вносят данные в свои базы. Чтобы дать понять поисковым роботам, какие страницы надо индексировать, а какие нельзя трогать, в корневой папке сайта должны быть два файла – Robots.txt и Sitemap.xml. Их создают после того, как выполнена внутренняя оптимизация веб-ресурса.

Зачем нужен файл Robots.txt

Поисковые боты индексируют все, что находят. Однако на каждом сайте есть контент, который не подлежит индексации по разным причинам. К примеру, админпанель с приватной информацией, формы отправки данных и прочие страницы.

Robots.txt ограничивает действия поисковых ботов. В нем прописываются четкие инструкции для «веб-пауков», что им можно и что нельзя делать.

Как составлять Robots.txt

Robots.txt можно составить в любом текстовом редакторе, он имеет простую структуру. В нем по определенным правилам записываются директивы для поисковых систем.

Основные директивы Robots.txt:

• User-Agent – указывает перечень ботов, для которых прописаны инструкции;
• Disallow – запрещает сканирование отдельных страниц, папок или всего ресурса в целом;
• Allow – разрешает поисковым ботам доступ к конкретным частям сайта;
• Sitemap – указывает путь к файлу с картой сайта для индексации.

Для Яндекса важно дополнительно использовать директиву Host для указания основного зеркала.

Все команды в Robots.txt размещаются в отдельных строках.

Ошибки при составлении Robots.txt могут свести «на нет» все Seo продвижение. Поэтому важно соблюдать правила его написания:

• каждая директива пишется в отдельной строке;
• команды нельзя брать в кавычки;
• в конце директивы недопустимы знаки препинания.

Поисковики реагируют на регистр букв, поэтому имена папок и файлов должны быть прописаны точно так, как они указаны на сайте.

Создание файла Sitemap.xml

Sitemap.xml, или карта сайта – это файл, который содержит сведения об индексируемых страницах. Она создается после того, как проведена внутренняя оптимизация сайта и удалены дубли.

Карту сайта лучше всего генерировать автоматически. Это можно сделать с помощью любого из многочисленных онлайн-сервисов или средствами «админки». Для каждой страницы указывается адрес, также можно заполнить ряд необязательных параметров – частоту обновления контента, приоритет, дату последнего обновления.

Если вы хотите пройти обучение, как создать sitemap.xml и robots.txt, или вообщем хотите обучиться Seo от профессионалов в сфере продвижения сайтов, пройдите по ссылке тут для более подробного ознакомления!