p.s. те, кто писали поисковики just for fun поделитесь пожалуйста вашим опытом.
правильно ли я понимаю, что в поисковике есть три основные компоненты — паук для сбора информации, кластеризатор-построитель индекса и сообственно сам индекс? какая из этих частей самая сложная?