Как работает поисковый робот
На эту тему есть подробный faq на Яндексе по адресу http://help.yandex.ru/webmaster/?id=995296
Подробный, но не достаточно информативный. Так, например, на прямой вопрос, причём, заданный самому себе: «Что такое робот поисковой системы и что он делает?» Яндекс себе и отвечает:
Робот (англ. crawler) хранит список URL, которые он может проиндексировать, и регулярно выкачивает соответствующие им документы. Если при анализе документа робот обнаруживает [...]
Стр. 1 из 11