Файл robots.txt — текстовый файл, используемый для управления страницами, индексируемыми поисковиком. Он может запретить поисковому роботу не только двигаться по сайту, но и индексировать его содержание. Работа с данным файлом, конечно же, требует определенных навыков и знаний, но и вовсе отказаться от его использования не представляется возможным.
Следует отметить, что продвижение сайта своими руками напрямую связано с умением грамотно составлять файл robots.txt. Ведь если этот файл составлен неграмотно, количество проиндексированного контента на вашем сайте значительно снизится, и вы не достигнете основной цели оптимизации — позволить поисковому роботу как можно больше проиндексировать качественного и полезного контента.
Например, для закрытия сайта от индексации, для того чтобы поисковые системы не смогли его найти, достаточно лишь в файле robots.txt прописать «Disallow: /».
Также, используя различные конструкции, можно не только закрыть от индексации некоторые разделы сайта, открыть другие, но и работать с определенными страницами. Помните, что работая с robots.txt нужно быть аккуратным и внимательным, ведь можно совершенно случайно закрыть раздел с уникальной и полезной информацией.
Так, чтобы запретить индексацию части страницы, или какой- то конкретной ссылки, следует использовать теги noindex nofollow.
Чтобы проверить проводится ли индексация какого-либо раздела сайта, нужно воспользоваться одним из сервисов: «Проверить robots.txt» или «Проверить URL».
Если вы используете инструмент «Проверить robots.txt», то нужно указать сайт, с которого будет загружен robots.txt, а затем и список адресов для проверки. После того, как вы нажмете кнопку «Проверить», по каждому из адресов будет виден результат проверки.
Если же вы используете инструмент «Проверить URL», то в соответствующую строку вам нужно будет ввести адрес любой из страниц из проверяемого раздела.