Re[4]: гугл выкинул сайт из индекса
От: icezone  
Дата: 18.10.23 13:33
Оценка: 4 (1)
Здравствуйте, CRT, Вы писали:

а если попробовать сервисы диагностики
https://pagespeed.web.dev/
https://search.google.com/test/rich-results
Re[6]: гугл выкинул сайт из индекса
От: icezone  
Дата: 18.10.23 23:30
Оценка: 4 (1)
Здравствуйте, CRT, Вы писали:

CRT>Пишет [i]Unable to resolve <url моего сайта>

CRT>URL is not available to Google

CRT>Ничего не пойму, сайт нормально открывается


ну это явно dns глючит, проверять тут из разных точек https://www.whatsmydns.net/
Re: гугл выкинул сайт из индекса
От: Maniacal Россия  
Дата: 17.10.23 09:48
Оценка: +1
Здравствуйте, CRT, Вы писали:

CRT>В чем может быть дело, что предпринять?


Гугл вообще стал криво искать. Находит не то, что ты искал. Похоже, тупой ИИ к поику подключили.
Отредактировано 17.10.2023 9:56 Maniacal . Предыдущая версия .
Re: гугл выкинул сайт из индекса
От: CRT  
Дата: 18.10.23 10:07
Оценка: +1
Search console не может загрузить мой sitemap.xml, говорит General HTTP error
И robots.txt тоже не может. Какая ошибка — не говорит.
Через браузер я их могу загрузить
Возможно в этом проблема.

На моем shared хостинге стоял включенным ModSecurity. Я его отключил, но всё равно не помогает ни с sitemap.xml ни с robots.txt

Не пойму в чем дело...
Отредактировано 18.10.2023 17:31 CRT . Предыдущая версия .
Re[8]: гугл выкинул сайт из индекса
От: icezone  
Дата: 19.10.23 12:50
Оценка: +1
Здравствуйте, CRT, Вы писали:

CRT>Здравствуйте, icezone, Вы писали:



I>>ну это явно dns глючит, проверять тут из разных точек https://www.whatsmydns.net/


CRT>хостер ответил "I have updated the WAF settings for your domain" и теперь https://pagespeed.web.dev/ и https://search.google.com/test/rich-results нормально могут проверить сайт.

CRT>Интересно что за WAF и сколько он мне еще трафика режет...

web application firewall, хостер тупо забыл его настроить при переезде
обычно эта штука режет sql-инжекты, если у тебя статика, то он нафиг не нужен

я бы держался от такого хостера подальше
Re[10]: гугл выкинул сайт из индекса
От: Евгений Музыченко Франция https://software.muzychenko.net/ru
Дата: 19.10.23 17:11
Оценка: +1
Здравствуйте, CRT, Вы писали:

I>>я бы держался от такого хостера подальше


CRT>а к какому держаться поближе? (Для shared и поддержка ASP NET)


У меня shared уже лет пятнадцать на HostGator. Не знаю, есть ли у них ASP.NET. Проблем с сетью, кроме типичной для shared периодической блокировки IP в почтовых серверах, не возникало. Несколько раз порывался от них уйти из-за тормозной поддержки, но обнаруживал, что в других местах shared еще хуже.
гугл выкинул сайт из индекса
От: CRT  
Дата: 17.10.23 09:21
Оценка:
в Search console пишет Crawled — currently not indexed для всего сайта, 25 страниц.
Много лет всё было в порядке. Еще месяц назад все страницы были проиндексированы. Неожиданно выкинул, хотя я ничего не менял.

В чем может быть дело, что предпринять?
Отредактировано 18.10.2023 10:06 CRT . Предыдущая версия . Еще …
Отредактировано 18.10.2023 10:05 CRT . Предыдущая версия .
Re: гугл выкинул сайт из индекса
От: icezone  
Дата: 17.10.23 09:26
Оценка:
Здравствуйте, CRT, Вы писали:

CRT>в Search console пишет Crawled — currently not indexed для всего сайта, 25 страниц.

CRT>Много лет всё было в порядке. Еще месяц назад все страницы были проиндексированы. Неожиданно выкинул, хотя я ничего не менял.

CRT>В чем может быть дело, что предпринять?


у них апдейты кучно пошли, последний 4-5 октября был
возможно попал в категорию спам-контент
Re[2]: гугл выкинул сайт из индекса
От: Morgan  
Дата: 17.10.23 10:17
Оценка:
Здравствуйте, Maniacal, Вы писали:

M>Здравствуйте, CRT, Вы писали:


CRT>>В чем может быть дело, что предпринять?


M>Гугл вообще стал криво искать. Находит не то, что ты искал. Похоже, тупой ИИ к поику подключили.


теперь он в топ выводит всякий спам к сожалению, очень трудно пробиться наверх. к примеру free работает..
Independent software developer
Re[3]: гугл выкинул сайт из индекса
От: Maniacal Россия  
Дата: 18.10.23 09:20
Оценка:
Здравствуйте, Morgan, Вы писали:

M>>Гугл вообще стал криво искать. Находит не то, что ты искал. Похоже, тупой ИИ к поику подключили.


M>теперь он в топ выводит всякий спам к сожалению, очень трудно пробиться наверх. к примеру free работает..


Кстати, только обратил внимание. Гугл на запросы выдаёт сначала наводящие вопросы, на которые сам же и отвечает в стиле ChatGPT. Раньше эта фича у Яндекса появилась, теперь и у гугла, не скажу точно с какого времени. Наверное, с того, как он впал в маразм и начал выводить результаты поиска не заданный запрос.
Re[4]: гугл выкинул сайт из индекса
От: Евгений Музыченко Франция https://software.muzychenko.net/ru
Дата: 18.10.23 09:38
Оценка:
Здравствуйте, Maniacal, Вы писали:

M>Гугл на запросы выдаёт сначала наводящие вопросы, на которые сам же и отвечает в стиле ChatGPT.


Хм, как это можно увидеть?
Re[5]: гугл выкинул сайт из индекса
От: Maniacal Россия  
Дата: 18.10.23 10:13
Оценка:
Здравствуйте, Евгений Музыченко, Вы писали:

ЕМ>Хм, как это можно увидеть?


Наверное это всё же это экспертная система... Смог повторить путь своего пытливого ума. Проверил, отсебятину не несёт, только цитирует, хотя выглядело подозрительно.
микроволновка без поворотного столика->Что такое инверторная технология в микроволновке?->Что взрывается в микроволновке?

...Об этом пишет кулинарный сайт Simple recipies со ссылкой на экспертов...

Проверил, это цитата, а не краткое изложение содержимого сайта.
Re[6]: гугл выкинул сайт из индекса
От: Евгений Музыченко Франция https://software.muzychenko.net/ru
Дата: 18.10.23 10:20
Оценка:
Здравствуйте, Maniacal, Вы писали:

M>Наверное это всё же это экспертная система... Смог повторить путь своего пытливого ума. Проверил, отсебятину не несёт, только цитирует, хотя выглядело подозрительно.


Если Вы о том, что между несколькими первыми результатами гугл вставляет серию "релевантных результатов", которые можно разворачивать на месте, то этому уже много лет. Никогда не видел там отсебятины — это всегда цитаты, с ссылками на сайты.
Re[2]: гугл выкинул сайт из индекса
От: icezone  
Дата: 18.10.23 11:02
Оценка:
Здравствуйте, CRT, Вы писали:

CRT>Search console не может загрузить мой sitemap.xml, говорит General HTTP error

CRT>На моем shared хостинге стоял включенным ModSecurity. Я его отключил, но всё равно не помогает ни с sitemap.xml ни с robots.txt
CRT>Не пойму в чем дело...

логи есть?
Re[3]: гугл выкинул сайт из индекса
От: CRT  
Дата: 18.10.23 12:15
Оценка:
Здравствуйте, icezone, Вы писали:

CRT>>Search console не может загрузить мой sitemap.xml, говорит General HTTP error

CRT>>На моем shared хостинге стоял включенным ModSecurity. Я его отключил, но всё равно не помогает ни с sitemap.xml ни с robots.txt
CRT>>Не пойму в чем дело...

I>логи есть?


логи-то есть, но я не вижу в этих логах запроса sitemap.xml и robots.txt от гугла, хотя я сегодня и вчера несколько раз пытался из Search console запросить их.
Вчера, правда, ModSecurity еще был включен. Сегодня первым делом с утра отключил.

Еще мой хостер переезжал на другие сервера в августе. Но сайт работает, все страницы открываются. В записях DNS они всё подправили сами.
Отредактировано 18.10.2023 12:35 CRT . Предыдущая версия . Еще …
Отредактировано 18.10.2023 12:32 CRT . Предыдущая версия .
Отредактировано 18.10.2023 12:32 CRT . Предыдущая версия .
Отредактировано 18.10.2023 12:32 CRT . Предыдущая версия .
Re[5]: гугл выкинул сайт из индекса
От: CRT  
Дата: 18.10.23 15:59
Оценка:
Здравствуйте, icezone, Вы писали:


I>а если попробовать сервисы диагностики

I>https://pagespeed.web.dev/

Пишет Unable to resolve <url моего сайта>



I>https://search.google.com/test/rich-results



URL is not available to Google

Crawl failed on Oct 18, 2023, 6:35:55 PM
Crawled as: Google Inspection Tool smartphone
Crawl allowed?: Yes
Page fetch Failed: Robots.txt unreachable
Indexing allowed? N/A



Ничего не пойму, сайт нормально открывается
Re[2]: гугл выкинул сайт из индекса
От: rudzuk  
Дата: 18.10.23 17:52
Оценка:
Здравствуйте, CRT, Вы писали:

CRT> На моем shared хостинге стоял включенным ModSecurity. Я его отключил, но всё равно не помогает ни с sitemap.xml ни с robots.txt


CRT> Не пойму в чем дело...


Может твой шаред-хостер блокирует работу гугловых роботов. Например, используемая защита от ддоса может блокировать диапазоны адресов куда попадает гугл. Стоит попинать хостера.
avalon/3.0.2
Re[2]: гугл выкинул сайт из индекса
От: Aquilaware  
Дата: 18.10.23 18:06
Оценка:
Здравствуйте, CRT, Вы писали:

CRT>Не пойму в чем дело...


Какой код ошибки HTTP? Если верить этому скриншоту, то там внизу должен быть указан код HTTP ошибки (на скриншоте код 403).
Re[3]: гугл выкинул сайт из индекса
От: CRT  
Дата: 18.10.23 18:50
Оценка:
Здравствуйте, Aquilaware, Вы писали:



A>Какой код ошибки HTTP? Если верить этому скриншоту, то там внизу должен быть указан код HTTP ошибки (на скриншоте код 403).


у меня код не указан
Re[7]: гугл выкинул сайт из индекса
От: CRT  
Дата: 19.10.23 12:01
Оценка:
Здравствуйте, icezone, Вы писали:


I>ну это явно dns глючит, проверять тут из разных точек https://www.whatsmydns.net/


хостер ответил "I have updated the WAF settings for your domain" и теперь https://pagespeed.web.dev/ и https://search.google.com/test/rich-results нормально могут проверить сайт.
Интересно что за WAF и сколько он мне еще трафика режет...
Re[8]: гугл выкинул сайт из индекса
От: falcoware Россия https://falcoware.com/rus/
Дата: 19.10.23 12:07
Оценка:
Здравствуйте, CRT, Вы писали:

CRT>Интересно что за WAF и сколько он мне еще трафика режет...




What A F*ck =)
https://falcoware.com/rus/ — Бесплатные Игры!!!
Re[9]: гугл выкинул сайт из индекса
От: CRT  
Дата: 19.10.23 13:11
Оценка:
Здравствуйте, icezone, Вы писали:


I>я бы держался от такого хостера подальше


а к какому держаться поближе? (Для shared и поддержка ASP NET)
Отредактировано 19.10.2023 13:12 CRT . Предыдущая версия .
Re[10]: гугл выкинул сайт из индекса
От: icezone  
Дата: 19.10.23 14:20
Оценка:
Здравствуйте, CRT, Вы писали:

CRT>а к какому держаться поближе? (Для shared и поддержка ASP NET)


увы, тут не подскажу
сам только VPS линуксовые держу
Re[10]: гугл выкинул сайт из индекса
От: falcoware Россия https://falcoware.com/rus/
Дата: 19.10.23 17:17
Оценка:
Здравствуйте, CRT, Вы писали:


CRT>а к какому держаться поближе? (Для shared и поддержка ASP NET)


https://vdska.ru/page/windows — купить вдсник с виндой за 4 уе в месяц? И не будет проблем с баном?
https://falcoware.com/rus/ — Бесплатные Игры!!!
Re[3]: гугл выкинул сайт из индекса
От: AWSVladimir  
Дата: 20.10.23 14:28
Оценка:
Здравствуйте, rudzuk, Вы писали:

R>Может твой шаред-хостер блокирует работу гугловых роботов. Например, используемая защита от ддоса может блокировать диапазоны адресов куда попадает гугл. Стоит попинать хостера.


Вау, скорее всего в десяточку.
Только вчера настраивал fail2ban на сервере, хотел сегодня заняться баном тех кто на разные уязвимости на сайт запросы делает.
там опции можно настроить, если n раз запращивается урл/файл которого нет, то этот IP банится, если повторно лезет, то там чуть ли не вечный бан.
иди к хостеру, пусть IP гугла вобьет в белый список или отключит эту проверку.
Если есть ssh и права, запусти команду и посмотри что забанено
# экран
iptables -L

# в файл, только что бы права были на создания файла в каталоге
iptables -L >log.txt
Re[11]: гугл выкинул сайт из индекса
От: AWSVladimir  
Дата: 20.10.23 14:38
Оценка:
Здравствуйте, Евгений Музыченко, Вы писали:

ЕМ>У меня shared уже лет пятнадцать на HostGator. Не знаю, есть ли у них ASP.NET. Проблем с сетью, кроме типичной для shared периодической блокировки IP в почтовых серверах, не возникало. Несколько раз порывался от них уйти из-за тормозной поддержки, но обнаруживал, что в других местах shared еще хуже.


Аналогично, но сейчас гатор убрал на бизнесе безлим жесткого диска, безлим доменов, поднял цены.
Посчитал, посчитал да взял VDS, тк сразу на несколько лет вперед оплачиваю, цена +/- та же
VDS сейчас дешевые.
А поставив на голую VDS панель https://www.keyhelp.de/
вот такими командами:
wget https://install.keyhelp.de/get_keyhelp.php -O install_keyhelp.sh ; bash install_keyhelp.sh ;

И у тебя свой хостинг, не CPanel, но лучше чем руками конфиги править + мульти PHP + VPN можешь для себя любимого сделать, тебе конечно нафиг не надо, а вот для тех кто в РФ актуально.
Крясота.....
Сейчас думаю и нафиг я вообще за хостинг платил?

ну и настроить fail2ban тк атаки буквально на все ssh, мыло, сайты
по умолчанию в fail2ban не сильно агрессивная защита, закручиваю гайки сам.

PS:
для тех кто будет VDS делать
1. При установке www.keyhelp.de логин keyhelp замени на любое другое имя лучше бессвязные символы
2. в каталоге /home/keyhelp/www/keyhelp/ создай файл .htaccess с содержимым, что бы с прямым IP взломщики не поняли что у тебя keyhelp и не стали его долбить:
RewriteEngine On
RewriteCond %{HTTP_HOST} 123.234.456.678
RewriteRule (.*) http://my_site.com/$1 [R=301,L]

3. закрой доступ для root ч/з ssh
3.1 заведи юзера альтернативно правам рута
sudo useradd -o -u 0 -g 0 -s /bin/bash newroot
но не newroot, а кракозябры 20-30 символов и логинься ч/з него
3.2. /еtс/group
добавь к своим юзерам запрет по SSH
keyhelp_nossh:x:1003: ,root,keyhelp
только перед этой строчкой надо проверить коннект с новым логином newroot
Отредактировано 20.10.2023 15:07 AWSVladimir . Предыдущая версия .
Re[12]: гугл выкинул сайт из индекса
От: Евгений Музыченко Франция https://software.muzychenko.net/ru
Дата: 20.10.23 17:30
Оценка:
Здравствуйте, AWSVladimir, Вы писали:

AWS>И у тебя свой хостинг, не CPanel, но лучше чем руками конфиги править


Тому, кто сам живет на линуксе и привык его администрировать — возможно, и лучше. Но я не потяну администрировать линукс, торчащий в глобальную сеть. И даже винду не потяну, ибо привык сидеть за NAT, а вот отслеживать появление сетевых уязвимостей и методы противодействия — не привык, хлопотно это.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.