Как работает поисковый робот
На эту тему есть подробный faq на Яндексе по адресу http://help.yandex.ru/webmaster/?id=995296
Подробный, но не достаточно информативный. Так, например, на прямой вопрос, причём, заданный самому себе: «Что такое робот поисковой системы и что он делает?» Яндекс себе и отвечает:
Робот (англ. crawler) хранит список URL, которые он может проиндексировать, и регулярно выкачивает соответствующие им документы. Если при анализе документа робот обнаруживает [...]
Имена поисковых роботов Яндекса
Как выглядят роботы Яндекса, мы уже видели. Теперь допразведданые от коллег-поисковых роботов:
Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот
Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок
Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов
Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons)
Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму [...]
День без Google - русский дубль
Русские альтернативы мировому поисковому лидеру
Общий поиск
Quintura
— визуальная поисковая система, работающая по принципу «Увидеть на карте — Найти в Интернете».
Gogo.ru
различает коммерческие ссылки и содержательные ресурсы, форумы и блоги. База начитывает более 1,5 млрд. страниц, 100 000 фото и 960 000 роликов.
VisualWorld.ru
— русская версия Visual Thesaurus, справочного проекта семантико-энциклопедичного поиска с визуализацией словосвязей.
Вертикальный поиск
PhotoDate.ru
ищет [...]