в Search console пишет Crawled — currently not indexed для всего сайта, 25 страниц.
Много лет всё было в порядке. Еще месяц назад все страницы были проиндексированы. Неожиданно выкинул, хотя я ничего не менял.
Здравствуйте, CRT, Вы писали:
CRT>в Search console пишет Crawled — currently not indexed для всего сайта, 25 страниц. CRT>Много лет всё было в порядке. Еще месяц назад все страницы были проиндексированы. Неожиданно выкинул, хотя я ничего не менял.
CRT>В чем может быть дело, что предпринять?
у них апдейты кучно пошли, последний 4-5 октября был
возможно попал в категорию спам-контент
Здравствуйте, Maniacal, Вы писали:
M>Здравствуйте, CRT, Вы писали:
CRT>>В чем может быть дело, что предпринять?
M>Гугл вообще стал криво искать. Находит не то, что ты искал. Похоже, тупой ИИ к поику подключили.
теперь он в топ выводит всякий спам к сожалению, очень трудно пробиться наверх. к примеру free работает..
Здравствуйте, Morgan, Вы писали:
M>>Гугл вообще стал криво искать. Находит не то, что ты искал. Похоже, тупой ИИ к поику подключили.
M>теперь он в топ выводит всякий спам к сожалению, очень трудно пробиться наверх. к примеру free работает..
Кстати, только обратил внимание. Гугл на запросы выдаёт сначала наводящие вопросы, на которые сам же и отвечает в стиле ChatGPT. Раньше эта фича у Яндекса появилась, теперь и у гугла, не скажу точно с какого времени. Наверное, с того, как он впал в маразм и начал выводить результаты поиска не заданный запрос.
Search console не может загрузить мой sitemap.xml, говорит General HTTP error
И robots.txt тоже не может. Какая ошибка — не говорит.
Через браузер я их могу загрузить
Возможно в этом проблема.
На моем shared хостинге стоял включенным ModSecurity. Я его отключил, но всё равно не помогает ни с sitemap.xml ни с robots.txt
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Хм, как это можно увидеть?
Наверное это всё же это экспертная система... Смог повторить путь своего пытливого ума. Проверил, отсебятину не несёт, только цитирует, хотя выглядело подозрительно.
микроволновка без поворотного столика->Что такое инверторная технология в микроволновке?->Что взрывается в микроволновке?
...Об этом пишет кулинарный сайт Simple recipies со ссылкой на экспертов...
Проверил, это цитата, а не краткое изложение содержимого сайта.
Здравствуйте, Maniacal, Вы писали:
M>Наверное это всё же это экспертная система... Смог повторить путь своего пытливого ума. Проверил, отсебятину не несёт, только цитирует, хотя выглядело подозрительно.
Если Вы о том, что между несколькими первыми результатами гугл вставляет серию "релевантных результатов", которые можно разворачивать на месте, то этому уже много лет. Никогда не видел там отсебятины — это всегда цитаты, с ссылками на сайты.
Здравствуйте, CRT, Вы писали:
CRT>Search console не может загрузить мой sitemap.xml, говорит General HTTP error CRT>На моем shared хостинге стоял включенным ModSecurity. Я его отключил, но всё равно не помогает ни с sitemap.xml ни с robots.txt CRT>Не пойму в чем дело...
Здравствуйте, icezone, Вы писали:
CRT>>Search console не может загрузить мой sitemap.xml, говорит General HTTP error CRT>>На моем shared хостинге стоял включенным ModSecurity. Я его отключил, но всё равно не помогает ни с sitemap.xml ни с robots.txt CRT>>Не пойму в чем дело...
I>логи есть?
логи-то есть, но я не вижу в этих логах запроса sitemap.xml и robots.txt от гугла, хотя я сегодня и вчера несколько раз пытался из Search console запросить их.
Вчера, правда, ModSecurity еще был включен. Сегодня первым делом с утра отключил.
Еще мой хостер переезжал на другие сервера в августе. Но сайт работает, все страницы открываются. В записях DNS они всё подправили сами.
Здравствуйте, CRT, Вы писали:
CRT> На моем shared хостинге стоял включенным ModSecurity. Я его отключил, но всё равно не помогает ни с sitemap.xml ни с robots.txt
CRT> Не пойму в чем дело...
Может твой шаред-хостер блокирует работу гугловых роботов. Например, используемая защита от ддоса может блокировать диапазоны адресов куда попадает гугл. Стоит попинать хостера.
Здравствуйте, CRT, Вы писали:
CRT>Пишет [i]Unable to resolve <url моего сайта> CRT>URL is not available to Google
CRT>Ничего не пойму, сайт нормально открывается
Здравствуйте, CRT, Вы писали:
I>>я бы держался от такого хостера подальше
CRT>а к какому держаться поближе? (Для shared и поддержка ASP NET)
У меня shared уже лет пятнадцать на HostGator. Не знаю, есть ли у них ASP.NET. Проблем с сетью, кроме типичной для shared периодической блокировки IP в почтовых серверах, не возникало. Несколько раз порывался от них уйти из-за тормозной поддержки, но обнаруживал, что в других местах shared еще хуже.
Здравствуйте, rudzuk, Вы писали:
R>Может твой шаред-хостер блокирует работу гугловых роботов. Например, используемая защита от ддоса может блокировать диапазоны адресов куда попадает гугл. Стоит попинать хостера.
Вау, скорее всего в десяточку.
Только вчера настраивал fail2ban на сервере, хотел сегодня заняться баном тех кто на разные уязвимости на сайт запросы делает.
там опции можно настроить, если n раз запращивается урл/файл которого нет, то этот IP банится, если повторно лезет, то там чуть ли не вечный бан.
иди к хостеру, пусть IP гугла вобьет в белый список или отключит эту проверку.
Если есть ssh и права, запусти команду и посмотри что забанено
# экран
iptables -L
# в файл, только что бы права были на создания файла в каталоге
iptables -L >log.txt
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>У меня shared уже лет пятнадцать на HostGator. Не знаю, есть ли у них ASP.NET. Проблем с сетью, кроме типичной для shared периодической блокировки IP в почтовых серверах, не возникало. Несколько раз порывался от них уйти из-за тормозной поддержки, но обнаруживал, что в других местах shared еще хуже.
Аналогично, но сейчас гатор убрал на бизнесе безлим жесткого диска, безлим доменов, поднял цены.
Посчитал, посчитал да взял VDS, тк сразу на несколько лет вперед оплачиваю, цена +/- та же
VDS сейчас дешевые.
А поставив на голую VDS панель https://www.keyhelp.de/
вот такими командами:
wget https://install.keyhelp.de/get_keyhelp.php -O install_keyhelp.sh ; bash install_keyhelp.sh ;
И у тебя свой хостинг, не CPanel, но лучше чем руками конфиги править + мульти PHP + VPN можешь для себя любимого сделать, тебе конечно нафиг не надо, а вот для тех кто в РФ актуально.
Крясота.....
Сейчас думаю и нафиг я вообще за хостинг платил?
ну и настроить fail2ban тк атаки буквально на все ssh, мыло, сайты
по умолчанию в fail2ban не сильно агрессивная защита, закручиваю гайки сам.
PS:
для тех кто будет VDS делать
1. При установке www.keyhelp.de логин keyhelp замени на любое другое имя лучше бессвязные символы
2. в каталоге /home/keyhelp/www/keyhelp/ создай файл .htaccess с содержимым, что бы с прямым IP взломщики не поняли что у тебя keyhelp и не стали его долбить:
RewriteEngine On
RewriteCond %{HTTP_HOST} 123.234.456.678
RewriteRule (.*) http://my_site.com/$1 [R=301,L]
3. закрой доступ для root ч/з ssh
3.1 заведи юзера альтернативно правам рута
sudo useradd -o -u 0 -g 0 -s /bin/bash newroot
но не newroot, а кракозябры 20-30 символов и логинься ч/з него
3.2. /еtс/group
добавь к своим юзерам запрет по SSH
keyhelp_nossh:x:1003: ,root,keyhelp
только перед этой строчкой надо проверить коннект с новым логином newroot
Здравствуйте, AWSVladimir, Вы писали:
AWS>И у тебя свой хостинг, не CPanel, но лучше чем руками конфиги править
Тому, кто сам живет на линуксе и привык его администрировать — возможно, и лучше. Но я не потяну администрировать линукс, торчащий в глобальную сеть. И даже винду не потяну, ибо привык сидеть за NAT, а вот отслеживать появление сетевых уязвимостей и методы противодействия — не привык, хлопотно это.
