+380(44)221-20-90

Словарь терминов

Поисковый робот

Поисковый робот (бот, краулер, паук, webscutter, webrobots) – это программа, которая ищет для поисковой системы страницы различных интернет-ресурсов и вносит их в базу этой системы.

Принцип работы:

Бот является программой браузерного типа. Его работа заключается в постоянном мониторинге сети. Он посещает сайты, которые уже есть в индексе поисковика. Если он находит ссылки на их страницах, то проходит и по ним, находя так новые сайты. В этом случае найденный ресурс также попадает в индекс.

Кроме того, в базу данных попадают и изменения на страницах сайта, а также отмечается частоту их появления. Исходя из этого показателя формируется расписание посещения этого ресурса: если он обновляется раз в неделю, то бот приходит тоже раз в неделю. Новостные сайты боты посещают зачастую несколько раз в час.

В случае, если на новый сайт нет ссылок, ресурс следует внести в специальный реестр наподобие Центра вебмастеров Google или панели вебмастера Яндекс.

Виды поисковых роботов

Яндекс:

  • Yandex/1.01.001 I — основной индексирующий бот,
  • Yandex/1.01.001 (P) — индексатор изображений,
  • Yandex/1.01.001 (H) — поиск зеркал сайта,
  • Yandex/1.03.003 (D) — выявляет соответствие страницы параметрам индексации,
  • YaDirectBot/1.0 (I) — индексация сайтов рекламной сети Яндекса,
  • Yandex/1.02.000 (F) — индексация фавиконов сайтов.

Пауки Google:

  • Робот Googlebot — основной бот,
  • Googlebot News — индексация новостей,
  • Google Mobile — работает с сайтами для мобильных устройств,
  • Googlebot Images — работает с изображениями,
  • Googlebot Video — индексация видео,
  • Google AdsBot — анализ качества целевой страницы,
  • Google Mobile AdSense и Google AdSense — индексация сайтов рекламной сети Google.

Боты других поисковых систем функционально схожи с перечисленными выше.


Возврат к списку

right