Типовой шароварный сайт, только английский язык, несколько продуктов платных и бесплатных. Всё это дело держу на shared хостинге + Amazon CloudFront для дистрибутивов. Начиная с апреля месяца, в логах появились IP и целые подсети (в основном Россия и Украина, но была и Норвегия), которые накручивают закачки и нагрузку на сайт. Сайт на CMS, но статический, нагрузку выдерживает, суммарно получается 100-150 лишних ГБ в месяц и лишних 20-30 долларов за CloudFront. Вроде не очень критично, но не приятно. Пока раз в день блокирую новые IP и подсети через .htaccess — 80% отсекается. Сталкивались ли вы с подобным? Как боролись? Что посоветуете?
Здравствуйте, pfranz, Вы писали:
P>Типовой шароварный сайт, только английский язык, несколько продуктов платных и бесплатных. Всё это дело держу на shared хостинге + Amazon CloudFront для дистрибутивов. Начиная с апреля месяца, в логах появились IP и целые подсети (в основном Россия и Украина, но была и Норвегия), которые накручивают закачки и нагрузку на сайт. Сайт на CMS, но статический, нагрузку выдерживает, суммарно получается 100-150 лишних ГБ в месяц и лишних 20-30 долларов за CloudFront. Вроде не очень критично, но не приятно. Пока раз в день блокирую новые IP и подсети через .htaccess — 80% отсекается. Сталкивались ли вы с подобным? Как боролись? Что посоветуете?
У меня 150 Гигов в день и атаки случаются часто. Не проще ли сделать nginx + VPS отдельный за 3 евро в месяц и не париться?
Здравствуйте, falcoware, Вы писали:
F>Здравствуйте, pfranz, Вы писали:
P>>Типовой шароварный сайт, только английский язык, несколько продуктов платных и бесплатных. Всё это дело держу на shared хостинге + Amazon CloudFront для дистрибутивов. Начиная с апреля месяца, в логах появились IP и целые подсети (в основном Россия и Украина, но была и Норвегия), которые накручивают закачки и нагрузку на сайт. Сайт на CMS, но статический, нагрузку выдерживает, суммарно получается 100-150 лишних ГБ в месяц и лишних 20-30 долларов за CloudFront. Вроде не очень критично, но не приятно. Пока раз в день блокирую новые IP и подсети через .htaccess — 80% отсекается. Сталкивались ли вы с подобным? Как боролись? Что посоветуете?
F>У меня 150 Гигов в день и атаки случаются часто. Не проще ли сделать nginx + VPS отдельный за 3 евро в месяц и не париться?
а какие VPS для дистрибьютивов за 3 евро в месяц рекомендуешь (какой хостер)?
Здравствуйте, icezone, Вы писали:
I>я похожую тему поднимал в прошлом году, тоже накручивали закачки и тоже Россия+Украина I>закрыл подсетки в файрволе — пока отстали
А есть понимание какой смысл в таких действиях? Чего они добиваются?
Здравствуйте, copypaste, Вы писали:
C>А есть понимание какой смысл в таких действиях? Чего они добиваются?
Я предполагаю, это горе-хакеры вымогатели.
1. в автоматическом режиме сканируем интернет
2. в автоматическом режиме начинаем "ddos атаку" с ботнета на найденные сайты (хз по каким критериям)
3. в автоматическом режиме шлем письмо "заплатите $200 и мы отстанем"
на каком то этапе проблема (глючит скрипт отправки email/определения ящика админа etc) и "жертва" даже не понимает что происходит.
то что горе хакеры в автоматическом режиме сканят интернет и пытаются атаковать по известным уязвимостям — это факт.
Здравствуйте, pfranz, Вы писали:
P>Типовой шароварный сайт,[...] Пока раз в день блокирую новые IP и подсети через .htaccess — 80% отсекается. Сталкивались ли вы с подобным? Как боролись? Что посоветуете?
У меня три последних дня по нескольку сотен загрузок в час пытаются сделать. Лезут с машин «Амазона» и «Арубы», причем параллельно с нескольких — такое ощущение, что запросы синхронизированы. Банить по IP бесполезно — забанил одни, на следующий день — другие. Маскируются под нормальный браузер — «Хром» или «Огнелис».
Пока проблему решил следующим образом: в .htaccess добавил условие — если закачивается *.exe и нет реферера, то перенаправляем на страницу загрузки.
Было такое пол года-год. Делают многократные обращения к скрипту скачивания и не продолжают закачку. Работают разные адреса. Блокировал каждый день отдельные адреса с которых было наибольшее количество обращений тк иногда ложили сайт. Пытался анализировать. Смысла в таких DDoS атаках не понял. Какой с этого профит??
Обращались к перл скрипту. Он значительно грузил сервер. Решил проблему тем, что переписал перл скрипты на php. Нагрузка на сервер сразу многократно упала, а потом и DDoSы отвалились.
Если кто объяснит для каких целей эти дидосеры работают и какой получают профит, буду благодарен.
1) Есть боты (например AhrefsBot судя по UA) которые пытаются качать старые версии приложения, но получают 403 т.к. качают по временной ссылке. Каждый час больше дестяка запросов от этого бота на скачивание файлов.
2) Кто-то (по UA похоже на IE), опять же пытался качать файлы и опять же по временной ссылке получал 410. При этом меняя Referer в каждом запросе.
3) Кто-то (по UA похоже хром или сафари) качал файл чанками (206 HTTP Status). Судя по логам это довольно частое явление.
В общем похоже боты так или иначе будут пытатся качать файлы. На твоём местя я бы сделал вот что:
1) Заблокировал легальных ботов (оставил бы только ботов Google, Bing, Байду, duckduckgo и Yandex). Думаю тот же AhrefsBot отстанет если заблокировать его в robots.txt
2) Сделал бы временные ссылки на файлы с привязкой к IP пользователю и на время в несколько часов. Я такие сделал чтобы прямые ссылки на скачивание не бросали на каких-то сторонних ресурсах.
3) Поставил бы reCAPTCHA (ту где нужно галочку ставить I'm not a robot) перед скачиванием файла. Вроде её даже можно как-то невидимой сделать. Думаю такая простая каптча вряд ли как-то сильно повлияет на скачивание нормальных пользователей.
Думаю такие меры существенно могли бы сократить паразитный трафик без особого контроля с моей стороны.
Мы были здесь. Но пора идти дальше. (с) Дуглас Коупленд, Рабы "Микрософт"
Здравствуйте, salnicoff, Вы писали:
S>Пока проблему решил следующим образом: в .htaccess добавил условие — если закачивается *.exe и нет реферера, то перенаправляем на страницу загрузки.
у тебя чистый Apache, без Nginx? можно ограничить запросы с одного IP
S>>Пока проблему решил следующим образом: в .htaccess добавил условие — если закачивается *.exe и нет реферера, то перенаправляем на страницу загрузки.
F>Так ты потеряешь 50% чистых скачек, поскольку нынешние браузеры неохотно отдают(вернее часто не показывают) реферов. =)
Назовите хотя бы один, который так делает по умолчанию.
Здравствуйте, Closer, Вы писали:
C>1) Заблокировал легальных ботов (оставил бы только ботов Google, Bing, Байду, duckduckgo и Yandex). Думаю тот же AhrefsBot отстанет если заблокировать его в robots.txt
И не надейтесь. Указаниям в robots.txt следуют только Google, Yandex и т. п., остальные банятся либо по IP, либо по user-agent'у на уровне .htaccess.
Здравствуйте, icezone, Вы писали:
S>>Пока проблему решил следующим образом: в .htaccess добавил условие — если закачивается *.exe и нет реферера, то перенаправляем на страницу загрузки.
I>у тебя чистый Apache, без Nginx?
Чистый.
I> можно ограничить запросы с одного IP
Можно. Только статистика будет все равно портиться.
Здравствуйте, icezone, Вы писали:
I>Здравствуйте, salnicoff, Вы писали:
S>>Назовите хотя бы один, который так делает по умолчанию.
I>если к тебе перейдут с сайта на https, то реферер будет пустой
Здравствуйте, icezone, Вы писали:
I>все от внешних ссылок будет зависеть, если протокол не указан, то реферера не будет I>сам с этим столкнулся
Тогда этому человеку будет показана страница, на которой есть линк на скачку. Кликает по линку — переходит с моего https сайта этот же самый мой https сайт. Реферер будет, скачка пошла.
S>Тогда этому человеку будет показана страница, на которой есть линк на скачку. Кликает по линку — переходит с моего https сайта этот же самый мой https сайт. Реферер будет, скачка пошла.
Войну с роботами человек проиграет. Достаточно посмотреть фильм "Терминатор".
