Здравствуйте, ути-пути, Вы писали:

УП>Здравствуйте, Doom100500, Вы писали:

D>>Известных роботов можно детектить и отдавать контент.

УП>Как детектить?

По user agent
List of All User Agents for Top Search Engines

Здравствуйте, ути-пути, Вы писали:

УП>Здравствуйте, Doom100500, Вы писали:

D>>Известных роботов можно детектить и отдавать контент.

УП>Как детектить?

По user agent
List of All User Agents for Top Search Engines

EDIT:
Не годный ответ, т.к. парсер может его ставить какой хочет.