в Search console пишет Crawled — currently not indexed для всего сайта, 25 страниц.
Много лет всё было в порядке. Еще месяц назад все страницы были проиндексированы. Неожиданно выкинул, хотя я ничего не менял.

В чем может быть дело, что предпринять?

Здравствуйте, CRT, Вы писали:

CRT>в Search console пишет Crawled — currently not indexed для всего сайта, 25 страниц.
CRT>Много лет всё было в порядке. Еще месяц назад все страницы были проиндексированы. Неожиданно выкинул, хотя я ничего не менял.

CRT>В чем может быть дело, что предпринять?

у них апдейты кучно пошли, последний 4-5 октября был
возможно попал в категорию спам-контент

Здравствуйте, CRT, Вы писали:

CRT>В чем может быть дело, что предпринять?

Гугл вообще стал криво искать. Находит не то, что ты искал. Похоже, тупой ИИ к поику подключили.

Здравствуйте, Maniacal, Вы писали:

M>Здравствуйте, CRT, Вы писали:

CRT>>В чем может быть дело, что предпринять?

M>Гугл вообще стал криво искать. Находит не то, что ты искал. Похоже, тупой ИИ к поику подключили.

теперь он в топ выводит всякий спам к сожалению, очень трудно пробиться наверх. к примеру free работает..

Здравствуйте, Morgan, Вы писали:

M>>Гугл вообще стал криво искать. Находит не то, что ты искал. Похоже, тупой ИИ к поику подключили.

M>теперь он в топ выводит всякий спам к сожалению, очень трудно пробиться наверх. к примеру free работает..

Кстати, только обратил внимание. Гугл на запросы выдаёт сначала наводящие вопросы, на которые сам же и отвечает в стиле ChatGPT. Раньше эта фича у Яндекса появилась, теперь и у гугла, не скажу точно с какого времени. Наверное, с того, как он впал в маразм и начал выводить результаты поиска не заданный запрос.

Здравствуйте, Maniacal, Вы писали:

M>Гугл на запросы выдаёт сначала наводящие вопросы, на которые сам же и отвечает в стиле ChatGPT.

Хм, как это можно увидеть?

Search console не может загрузить мой sitemap.xml, говорит General HTTP error
И robots.txt тоже не может. Какая ошибка — не говорит.
Через браузер я их могу загрузить
Возможно в этом проблема.

На моем shared хостинге стоял включенным ModSecurity. Я его отключил, но всё равно не помогает ни с sitemap.xml ни с robots.txt

Не пойму в чем дело...

Здравствуйте, Евгений Музыченко, Вы писали:

ЕМ>Хм, как это можно увидеть?

Наверное это всё же это экспертная система... Смог повторить путь своего пытливого ума. Проверил, отсебятину не несёт, только цитирует, хотя выглядело подозрительно.
микроволновка без поворотного столика->Что такое инверторная технология в микроволновке?->Что взрывается в микроволновке?

...Об этом пишет кулинарный сайт Simple recipies со ссылкой на экспертов...

Проверил, это цитата, а не краткое изложение содержимого сайта.

Здравствуйте, Maniacal, Вы писали:

M>Наверное это всё же это экспертная система... Смог повторить путь своего пытливого ума. Проверил, отсебятину не несёт, только цитирует, хотя выглядело подозрительно.

Если Вы о том, что между несколькими первыми результатами гугл вставляет серию "релевантных результатов", которые можно разворачивать на месте, то этому уже много лет. Никогда не видел там отсебятины — это всегда цитаты, с ссылками на сайты.

Здравствуйте, CRT, Вы писали:

CRT>Search console не может загрузить мой sitemap.xml, говорит General HTTP error
CRT>На моем shared хостинге стоял включенным ModSecurity. Я его отключил, но всё равно не помогает ни с sitemap.xml ни с robots.txt
CRT>Не пойму в чем дело...

логи есть?

Здравствуйте, icezone, Вы писали:

CRT>>Search console не может загрузить мой sitemap.xml, говорит General HTTP error
CRT>>На моем shared хостинге стоял включенным ModSecurity. Я его отключил, но всё равно не помогает ни с sitemap.xml ни с robots.txt
CRT>>Не пойму в чем дело...

I>логи есть?

логи-то есть, но я не вижу в этих логах запроса sitemap.xml и robots.txt от гугла, хотя я сегодня и вчера несколько раз пытался из Search console запросить их.
Вчера, правда, ModSecurity еще был включен. Сегодня первым делом с утра отключил.

Еще мой хостер переезжал на другие сервера в августе. Но сайт работает, все страницы открываются. В записях DNS они всё подправили сами.

Здравствуйте, CRT, Вы писали:

а если попробовать сервисы диагностики
https://pagespeed.web.dev/
https://search.google.com/test/rich-results

Здравствуйте, icezone, Вы писали:


I>а если попробовать сервисы диагностики
I>https://pagespeed.web.dev/

Пишет Unable to resolve <url моего сайта>



I>https://search.google.com/test/rich-results


URL is not available to Google

Crawl failed on Oct 18, 2023, 6:35:55 PM
Crawled as: Google Inspection Tool smartphone
Crawl allowed?: Yes
Page fetch Failed: Robots.txt unreachable
Indexing allowed? N/A



Ничего не пойму, сайт нормально открывается

Здравствуйте, CRT, Вы писали:

CRT> На моем shared хостинге стоял включенным ModSecurity. Я его отключил, но всё равно не помогает ни с sitemap.xml ни с robots.txt

CRT> Не пойму в чем дело...

Может твой шаред-хостер блокирует работу гугловых роботов. Например, используемая защита от ддоса может блокировать диапазоны адресов куда попадает гугл. Стоит попинать хостера.

Здравствуйте, CRT, Вы писали:

CRT>Не пойму в чем дело...

Какой код ошибки HTTP? Если верить этому скриншоту, то там внизу должен быть указан код HTTP ошибки (на скриншоте код 403).

Здравствуйте, Aquilaware, Вы писали:



A>Какой код ошибки HTTP? Если верить этому скриншоту, то там внизу должен быть указан код HTTP ошибки (на скриншоте код 403).

у меня код не указан

Здравствуйте, CRT, Вы писали:

CRT>Пишет [i]Unable to resolve <url моего сайта>
CRT>URL is not available to Google

CRT>Ничего не пойму, сайт нормально открывается

ну это явно dns глючит, проверять тут из разных точек https://www.whatsmydns.net/

Здравствуйте, icezone, Вы писали:


I>ну это явно dns глючит, проверять тут из разных точек https://www.whatsmydns.net/

хостер ответил "I have updated the WAF settings for your domain" и теперь https://pagespeed.web.dev/ и https://search.google.com/test/rich-results нормально могут проверить сайт.
Интересно что за WAF и сколько он мне еще трафика режет...

Здравствуйте, CRT, Вы писали:

CRT>Интересно что за WAF и сколько он мне еще трафика режет...



What A F*ck =)

Здравствуйте, CRT, Вы писали:

CRT>Здравствуйте, icezone, Вы писали:


I>>ну это явно dns глючит, проверять тут из разных точек https://www.whatsmydns.net/

CRT>хостер ответил "I have updated the WAF settings for your domain" и теперь https://pagespeed.web.dev/ и https://search.google.com/test/rich-results нормально могут проверить сайт.
CRT>Интересно что за WAF и сколько он мне еще трафика режет...

web application firewall, хостер тупо забыл его настроить при переезде
обычно эта штука режет sql-инжекты, если у тебя статика, то он нафиг не нужен

я бы держался от такого хостера подальше