Похоже у нас очень плохо написан запрос пэдженеции для форумов. Когда страница очень глубокая это приводит к диким тормозам. Новый индекс это несколько улучшил. Но основная проблема осталась.
Надо править код. Там кто-то лютых вложенных запросов нахерачил. Запрос с:
WHERE
t1.rn BETWEEN 40226 AND 40245
выполняется по 20 секунд и жрет процессор как не в себя.
Запрос редкостной глупости. Вместо того, чтобы сначала выбрать сроки и потом для них считать что-то, происходит скан всех записей до 40226 с массой вложенных запросов к другим таблицам.
Ну роботы поисковиков и т.п. убивают сайт долбя в этот запрос.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Здравствуйте, bnk, Вы писали:
bnk>А у вас с ним какие теперь отношения после двух политик — вы вообще больше не разговариваете что ли?
Что-то вспомнилось...
Позвольте! Неужели же Аристарх Платонович не может ничего ему сказать?
— Аристарх Платонович не может ему ничего сказать, так как Аристарх Платонович не разговаривает с Иваном Васильевичем с тысяча восемьсот восемьдесят пятого года.
— Как это может быть?
— Они поссорились в тысяча восемьсот восемьдесят пятом году и с тех пор не встречаются, не говорят друг с другом даже по телефону.
Здравствуйте, Pzz, Вы писали:
Pzz>Здравствуйте, VladD2, Вы писали:
Pzz>>>Ну вроде приличные из них понимают robots.txt. Может хоть их как-то ограничить?
VD>>Если бы я понимал, что с ними делать...
Pzz>Положи в корень robots.txt вот с таким содержимым:
Pzz>
Pzz>User-agent: *
Pzz>Disallow: /
Pzz>
Тогда же вообще ничего индексироваться не будет. Я бы только AI-ботов забанил, от них больше всего вреда IMHO.
Здравствуйте, VladD2, Вы писали:
Pzz>>Ну вроде приличные из них понимают robots.txt. Может хоть их как-то ограничить?
VD>Если бы я понимал, что с ними делать...
Положи в корень robots.txt вот с таким содержимым:
Здравствуйте, Pzz, Вы писали:
Pzz>А нельзя хоть на время этих роботов задвинуть куда подальше?
Если бы я знал как. Я далек от девопса. По уму их конечно пускать надо только по ночам и давать готовые зипы с архивами, а не позволять сканировать весь сайт. Но они ведь могут и под обычных юзеров мимикрировать. Плюс это могу быть сканеры кого угодно. Те кто нас ддосил тоже делали похожие вещи долбя в тяжелые страницы.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Здравствуйте, VladD2, Вы писали:
VD>Запрос редкостной глупости. Вместо того, чтобы сначала выбрать сроки и потом для них считать что-то, происходит скан всех записей до 40226 с массой вложенных запросов к другим таблицам.
Функцию генерировавшую этот запрос поправил. Но паблишить не умею. Трясите АВК, чтобы он опубликовал изменения.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Здравствуйте, VladD2, Вы писали:
VD>Здравствуйте, VladD2, Вы писали:
VD>>Запрос редкостной глупости. Вместо того, чтобы сначала выбрать сроки и потом для них считать что-то, происходит скан всех записей до 40226 с массой вложенных запросов к другим таблицам.
VD>Функцию генерировавшую этот запрос поправил. Но паблишить не умею. Трясите АВК, чтобы он опубликовал изменения.
VD>Image: gSpIpH6.png
А у вас с ним какие теперь отношения после двух политик — вы вообще больше не разговариваете что ли?
Здравствуйте, VladD2, Вы писали:
Pzz>>А нельзя хоть на время этих роботов задвинуть куда подальше?
VD>Если бы я знал как. Я далек от девопса. По уму их конечно пускать надо только по ночам и давать готовые зипы с архивами, а не позволять сканировать весь сайт. Но они ведь могут и под обычных юзеров мимикрировать. Плюс это могу быть сканеры кого угодно. Те кто нас ддосил тоже делали похожие вещи долбя в тяжелые страницы.
Ну вроде приличные из них понимают robots.txt. Может хоть их как-то ограничить?
Здравствуйте, Pzz, Вы писали:
Pzz>Здравствуйте, VladD2, Вы писали:
Pzz>>>А нельзя хоть на время этих роботов задвинуть куда подальше?
VD>>Если бы я знал как. Я далек от девопса. По уму их конечно пускать надо только по ночам и давать готовые зипы с архивами, а не позволять сканировать весь сайт. Но они ведь могут и под обычных юзеров мимикрировать. Плюс это могу быть сканеры кого угодно. Те кто нас ддосил тоже делали похожие вещи долбя в тяжелые страницы.
Pzz>Ну вроде приличные из них понимают robots.txt. Может хоть их как-то ограничить?
а подобие iptables в винде есть? может забанить по ip самых жирных, да и хватит
Здравствуйте, wl., Вы писали:
Pzz>>Ну вроде приличные из них понимают robots.txt. Может хоть их как-то ограничить?
wl.>а подобие iptables в винде есть? может забанить по ip самых жирных, да и хватит
Здравствуйте, bnk, Вы писали:
bnk>Тогда же вообще ничего индексироваться не будет. Я бы только AI-ботов забанил, от них больше всего вреда IMHO.
Ну да. Но ИМХО лучше чтобы не индексировалось, чем чтобы ничего не работало.
Я бы начал с такого варианта. Может он вообще не поможет, тогда в эту сторону можно дальше и не копать. А если поможет, можно уже поиграть с настройками в сторону ослабления ограничений.
VD>Похоже у нас очень плохо написан запрос пэдженеции для форумов. Когда страница очень глубокая это приводит к диким тормозам. Новый индекс это несколько улучшил. Но основная проблема осталась.
VD>Надо править код. Там кто-то лютых вложенных запросов нахерачил. Запрос с: VD>
WHERE
t1.rn BETWEEN 40226 AND 40245
VD>выполняется по 20 секунд и жрет процессор как не в себя. VD>Запрос редкостной глупости. Вместо того, чтобы сначала выбрать сроки и потом для них считать что-то, происходит скан всех записей до 40226 с массой вложенных запросов к другим таблицам.
