Поисковые роботы

Поисковый робот или по-другому краулер это особая программа, являющаяся частью систем поиска. Эта программа необходима для обработки сайтов с целью занесения информации о них в базу какого-либо поисковика.

По принципу работы роботы похожи на обычные браузеры. Они рассматривают содержание страниц, затем сохраняют их в преобразованном виде на сервере поисковых машин, далее отправляются по ссылкам на следующие страницы.

Поисковый робот в процессе индексации сайта пытается найти файл robots.txt. Это текстовый файл, который имеет расширение txt. Данный файл возможно открыть через обычный блокнот. Размещается он в корневой директории ресурса. В robots.txt записываются особые команды для роботов, которые позволяют запретить индексирование каких-либо определенных страниц или разделов сайта. Прописать данные инструкции очень важно для самостоятельной раскрутки сайта.

Также это дает возможность управлять процессом склеивания доменов. Необходимо учитывать, что робот не занимается обработкой сканируемых документов. Он только их считывает, сохраняет, а дальше их обрабатывают программы. Единственное действие, выполняемое ботом кроме чтения документов, это обработка исключений для роботов.

Можно выделить основные типы роботов поисковых систем:

• индексирующий робот;
• робот, индексирующий изображения;
• робот, отслеживающий зеркала сайта (повторяющиеся сайты);
• проверочный робот, отслеживающий работоспособность сайта.

Индексирующий робот получает и перерабатывает страницы сайтов, а также хранит их для создания базы поиска.

Робот, индексирующий изображения, учитывает графическую информацию, а потом выдает ее в необходимом разделе системы поиска. Например, картинки Google или Яндекс картинки.

Робот, отслеживающий зеркала сайта, выявляет зеркала сайта и проверяет их. Если сайты совпадают по разным адресам, то тогда выводится сайт, указанный как основное зеркало.

Робот, отслеживающий работоспособность сайтов, производит следующие действия — проверяет доступность сайтов, добавляемых через поисковую систему.

Указанные выше роботы являются основными, но существуют и другие роботы, индексирующие пиктограммы, видео, данные с частообновляемых сайтов и другие.

Понимание работы поисковых роботов и правильная настройка сайта под них относится к внутренним факторам продвижения сайта.

_________________
Что-то не понятно? Задай вопрос в комментариях, уведомление об ответе придет на оставленный email
Понравилось? Расскажи друзьям: