Сегодня гугель снова прислал письмо "New Page indexing issues detected", где указал несколько страниц, ссылки на которые я нигде не публикую, а даю только при определенных условиях (покупателям, тестировщикам и т.п.). Их нет в sitemap, на них нет ссылок на страницах сайта, доступных для всех. Очевидно, гугель находит их в поступающих к нему big data (например, в письмах на GMail). Раньше он их успешно индексировал и показывал в поиске, но я ему это обломал, поставив принудительный возврат ошибки 404.
Что нужно в таких случаях делать с этим противоестественным интеллектом, чтоб он не собирал мусор не пойми откуда?
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, TailWind, Вы писали:
TW>>Может их в robots.txt прописать или как он там называется
ЕМ>Он свободно доступен для скачивания любому, а мне нет резона светить эти ссылки. Если б они все были в отдельных каталогах — еще туда-сюда, но увы.
Здравствуйте, Matrix_Failure, Вы писали:
M_F>Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>>Здравствуйте, TailWind, Вы писали:
TW>>>Может их в robots.txt прописать или как он там называется
ЕМ>>Он свободно доступен для скачивания любому, а мне нет резона светить эти ссылки. Если б они все были в отдельных каталогах — еще туда-сюда, но увы.
M_F>Так добавить там noindex на самих страницах
Добавить несложно, но есть подозрение, что гуглу поуху эти теги...
, но что-то никто не прокомментировал.
ЕМ>Что нужно в таких случаях делать с этим противоестественным интеллектом, чтоб он не собирал мусор не пойми откуда?
Ну по user agent ещё на сервере проверять можно и 404 если это гугл бот
, но что-то никто не прокомментировал.
ЕМ>Сегодня гугель снова прислал письмо "New Page indexing issues detected", где указал несколько страниц, ссылки на которые я нигде не публикую, а даю только при определенных условиях (покупателям, тестировщикам и т.п.). Их нет в sitemap, на них нет ссылок на страницах сайта, доступных для всех.
Я в robots.txt их закрываю, и дальнейшие сообщения игнорирую.
Здравствуйте, Qt-Coder, Вы писали:
S>>Я в robots.txt их закрываю, и дальнейшие сообщения игнорирую.
QC>Надо ли добиваться полного устранения замечаний гугла? Не сказывается ли это на ранжировании сайта? А то меня тоже заколебал своими проблемами.
Не знаю, надо или нет, но я не добиваюсь.
Среди замечаний гугля есть и, например, что у меня на сайте нет страницы, которой там и не должно быть. Кто-то поставит ссылку на domain.com/orrrrder.htm, например. Ну да, такой нет страницы, но я не хочу ничего делать с этим.
Я не замечал, чтобы это как-то сказывалось на ранжировании.
Здравствуйте, Евгений Музыченко, Вы писали:
J>>по user agent ещё на сервере проверять можно и 404 ЕМ>Не пробовали прочитать исходное сообщение до того, как спешить ответить?
т.е. там уже стоит фильтр по UА, проверка на гугл бота которому 404 отлуп идет по этим страницам но они открываются обычным юзерам, клиентам по их прямым ссылкам из почты?
Здравствуйте, Sharowarsheg, Вы писали:
S>Я в robots.txt их закрываю
В robots.txt можно складывать ссылки, которые просто нежелательно индексировать. Ссылки, которые нужно уберечь от бесконтрольного распространения, туда не складывают.
Здравствуйте, javacoder, Вы писали:
J>там уже стоит фильтр по UА, проверка на гугл бота которому 404 отлуп идет по этим страницам но они открываются обычным юзерам, клиентам по их прямым ссылкам из почты?
Здравствуйте, Евгений Музыченко, Вы писали:
S>>Я в robots.txt их закрываю
ЕМ>В robots.txt можно складывать ссылки, которые просто нежелательно индексировать. Ссылки, которые нужно уберечь от бесконтрольного распространения, туда не складывают.
Да, это так. Я говорил про то, чтобы уменьшить беспокойство консоли гугловской, а не про охрану секретных лицензионных генераторов.
Здравствуйте, Sharowarsheg, Вы писали:
S>Я говорил про то, чтобы уменьшить беспокойство консоли гугловской
А толку его уменьшать с двух десятков ссылок до полутора? Все равно ж там большей частью кривы посторонние ссылки на то, чего на сайте никогда не было.
TW>>Может их в robots.txt прописать или как он там называется
ЕМ>Он свободно доступен для скачивания любому, а мне нет резона светить эти ссылки. Если б они все были в отдельных каталогах — еще туда-сюда, но увы.
Положить ссылку в подкаталог и этот подкаталог в robots.txt
Или лучше выделить не индексируемый каталог на сайте и туда все ссылки
Закрывать robots.txt это типичная ошибка джунов сео) Robots не влияет на индекасацию, он носит рекомендательный характер для краулера.
Если страница уже в индексе и ее закрыть в роботс, то она будет в индексе годами висеть, т.к. краулер не перейдет по ней больше.
Если есть внешние ссылки на страницу, краулер игнорирует robots
Чтобы страница выпала из индекса надо
— либо отдавать 404
— либо добавить метатег noindex
— либо закрыть страницу паролем
После этого надо на переиндексацию ее отправить, например, indexing api или руками в консоли.
Если надо срочно удалить из выдачи, есть удаление страницы в консоли, но это только из выдачи а не из индекса.
А так, если уже отдается 404 и таких страниц не тысячи в выдаче, то забить.
Здравствуйте, eustin, Вы писали:
E>Чтобы страница выпала из индекса надо E>- либо отдавать 404
Так многих страниц из того списка нет на сайте больше года — по ним отдается 404, но гуглу это по барабану.
E>После этого надо на переиндексацию ее отправить, например, indexing api или руками в консоли.
Отправлял несколько раз — "some page indexing issues were not fixed".
E>А так, если уже отдается 404 и таких страниц не тысячи в выдаче, то забить.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Что нужно в таких случаях делать с этим противоестественным интеллектом, чтоб он не собирал мусор не пойми откуда?
ничего ты с ним не сделаешь — у меня сотни 404, которые найдены по кривым ссылкам, куча удаленных страниц, все это висит мертвым грузом годами, если не десятилетиями
Здравствуйте, icezone, Вы писали:
I>Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>>Что нужно в таких случаях делать с этим противоестественным интеллектом, чтоб он не собирал мусор не пойми откуда?
I>ничего ты с ним не сделаешь — у меня сотни 404, которые найдены по кривым ссылкам, куча удаленных страниц, все это висит мертвым грузом годами, если не десятилетиями
Я эту кривизну просто заворачиваю через 301 на заглавную страницу (ну или что-то более осмысленное). Файл редиректов уже толстый, но всё равно оно в режиме "добавил и забыл", так что неважно.
