А вот скажем если я потихоньку пилю сайт, но не хочу его выкладывать в паблик до окончательной доработки — какие есть грамотные приёмы для его предварительного индексирования роботами?
Для ограничения доступа во время разработки думаю прописать в htaccess deny для всех и allow только для домашнего IP и для IP роботов яндекса и гугла. Как грамотно прописать директивы для этих самых роботов с учетом наличия у яндекса и гугла кучи доменов и поддоменов и возможно наличия динамических IP-адресов?
Здравствуйте, α, Вы писали:
α>Для ограничения доступа во время разработки думаю прописать в htaccess deny для всех и allow только для домашнего IP и для IP роботов яндекса и гугла. Как грамотно прописать директивы для этих самых роботов с учетом наличия у яндекса и гугла кучи доменов и поддоменов и возможно наличия динамических IP-адресов?
В Гугле за разный контент для робота и браузера положен бан (или сильная пессимизация). В Яндексе, полагаю, тоже.
Здравствуйте, α, Вы писали:
α>А вот скажем если я потихоньку пилю сайт, но не хочу его выкладывать в паблик до окончательной доработки — какие есть грамотные приёмы для его предварительного индексирования роботами? α>Для ограничения доступа во время разработки думаю прописать в htaccess deny для всех и allow только для домашнего IP и для IP роботов яндекса и гугла. Как грамотно прописать директивы для этих самых роботов с учетом наличия у яндекса и гугла кучи доменов и поддоменов и возможно наличия динамических IP-адресов?
Нельзя такое сделать. Гугл отдаёт твой сайт в поиске, а юзер получает отлуп? Это явно не то, что хочет гугл. Или выкладывай как есть и не или не выкладывай.
