А>простите, что не в тему, но что такое спайдер, зачем он нужен и чем хорош?

спайдер — паук.

Лазит по ссылкам на сайте и индексирует контент.
По этим данным потом осуществляется поиск по сайту и выдача ссылочек, на страницах которых была найдена искомая фраза.

Тот который я сейчас настраиваю — Yader, написанный на asp