Robots.txt и Sitemap.xml

Robots.txt и Sitemap.xml: зачем они нужны и как их составить

Seo продвижение веб-ресурса и его позиция в поиске напрямую зависят от того, как часто и быстро поисковики индексируют страницы сайта и вносят данные в свои базы.