А вот скажем если я потихоньку пилю сайт, но не хочу его выкладывать в паблик до окончательной доработки — какие есть грамотные приёмы для его предварительного индексирования роботами?
Для ограничения доступа во время разработки думаю прописать в htaccess deny для всех и allow только для домашнего IP и для IP роботов яндекса и гугла. Как грамотно прописать директивы для этих самых роботов с учетом наличия у яндекса и гугла кучи доменов и поддоменов и возможно наличия динамических IP-адресов?