Непрерывные скачивания
От: icezone  
Дата: 15.02.17 09:52
Оценка: :)
Началось прошлой осенью и продолжается до сих пор — с одного IP непрерывно скачивают дистрибутивы.
Набегает пара гигабайт в сутки. Заблокировал IP — начали качать с другого из той же подсети.
Заблокировал подсеть — переключились на другую. Сейчас заблокировал уже 6 подсетей,
начали качать с VPS, но уже поменьше.
В чем прикол?
Re: Непрерывные скачивания
От: Submitter  
Дата: 15.02.17 10:14
Оценка:
Здравствуйте, icezone, Вы писали:

I>Началось прошлой осенью и продолжается до сих пор — с одного IP непрерывно скачивают дистрибутивы.

I>Набегает пара гигабайт в сутки. Заблокировал IP — начали качать с другого из той же подсети.
I>Заблокировал подсеть — переключились на другую. Сейчас заблокировал уже 6 подсетей,
I>начали качать с VPS, но уже поменьше.
I>В чем прикол?

Может пожаловаться хостеру? Может он что придумает?
Re: Непрерывные скачивания
От: Polarizer  
Дата: 15.02.17 10:44
Оценка:
Здравствуйте, icezone, Вы писали:

I>В чем прикол?


как вариант, кто-то раздает от своего имени, чтоб исключить переход на ваш сайт.

сделать для этих IP скрипт и отдавать муру какую нибудь, или поставить на таймаут.
Re[2]: Непрерывные скачивания
От: Matrix_Failure http://matrixfailure.wordpress.com/
Дата: 15.02.17 13:16
Оценка: :)
Здравствуйте, Polarizer, Вы писали:

P>сделать для этих IP скрипт и отдавать муру какую нибудь,


Раздавать этим IP в файле с тем же именем электронную книгу по борьбе с алкоголизмом
Re: Непрерывные скачивания
От: Слава  
Дата: 15.02.17 13:26
Оценка:
Здравствуйте, icezone, Вы писали:

I>В чем прикол?


Сделайте скачивание через сессии и капчу.
Re[2]: Непрерывные скачивания
От: icezone  
Дата: 15.02.17 13:31
Оценка:
Здравствуйте, Submitter, Вы писали:

S>Может пожаловаться хостеру? Может он что придумает?


хостеру, от которого скачивания идут?
это только сейчас началось, раньше качали просто от провайдеров
Re[2]: Непрерывные скачивания
От: icezone  
Дата: 15.02.17 13:32
Оценка:
Здравствуйте, Polarizer, Вы писали:

P>как вариант, кто-то раздает от своего имени, чтоб исключить переход на ваш сайт.

P>сделать для этих IP скрипт и отдавать муру какую нибудь, или поставить на таймаут.

а в чем смысл такого проксирования? ежесекундно дергать все файлы с моего сайта, который нигде не заблокирован
Re[2]: Непрерывные скачивания
От: icezone  
Дата: 15.02.17 13:33
Оценка:
Здравствуйте, Слава, Вы писали:

С>Сделайте скачивание через сессии и капчу.


это из серии добрых советов?
Re: Непрерывные скачивания
От: Tee Moore  
Дата: 15.02.17 13:34
Оценка:
Здравствуйте, icezone, Вы писали:
I>В чем прикол?

Было что то отдаленно напоминающее твой случай.
Больше было похоже на какой то сбой или зависание, чем чьё то злонамерение.
Но чей сбой не понял. Тоже приходилось блокировать ИП.
Потом кажется перезагрузка сервака помогала. До следующего раза.
Кажется возникала такая хрень в момент заливки свежего файла. Т.е. удалялся старый и аплоадился новый.
Re[2]: Непрерывные скачивания
От: icezone  
Дата: 15.02.17 13:43
Оценка:
Здравствуйте, Tee Moore, Вы писали:

TM>Больше было похоже на какой то сбой или зависание, чем чьё то злонамерение.


нет, тут все сложнее — сперва качали все дистрибутивы одновременно,
после блокировки начали качать только самые большие файлы.

походил по IP, на некоторых заглушка сайта стоит, некоторые в блеклистах
Re[3]: Непрерывные скачивания
От: Polarizer  
Дата: 15.02.17 13:58
Оценка:
Здравствуйте, icezone, Вы писали:

I>а в чем смысл такого проксирования? ежесекундно дергать все файлы с моего сайта, который нигде не заблокирован


Надо посмотреть на заголовок Referer в запросе "злоумышленников"

Если он есть, и указывает на ваш сайт, значит кто-то спецом его вставил чтобы hotlinking не сработал.
Значит какой-то файловый архив хулиганит.

Как вариант, сделать спецверсию и в нее внедрить переход на спецлинк из меню помощи или техподдержки в программе, если такие есть. Или просто линк в program group. Когда сработает, будет ясно, откуда юзеры качающие спецверсию.

Хз толко зачем это надо))
Re[4]: Непрерывные скачивания
От: icezone  
Дата: 15.02.17 14:19
Оценка:
Здравствуйте, Polarizer, Вы писали:

P>Надо посмотреть на заголовок Referer в запросе "злоумышленников"


пусто там, user-agent тоже не указан
судя по статистике — установок нет по этим скачиваниям

я сперва думал, что это slow-http атака на сайт, но nginx пофиг на эти запросы
лишние 2 гига в сутки моему серверу тоже никак е мешают
Re[3]: Непрерывные скачивания
От: Слава  
Дата: 15.02.17 14:20
Оценка:
Здравствуйте, icezone, Вы писали:

С>>Сделайте скачивание через сессии и капчу.

I>это из серии добрых советов?

Ну вот на сайте Оракла какое-то время назад нельзя было скачать JDK без регистрации. Так что капча — это еще по-божески.
Re: Непрерывные скачивания
От: Grayscaler Россия  
Дата: 15.02.17 14:26
Оценка: :))
Здравствуйте, icezone, Вы писали:

I>В чем прикол?


Похоже на атаку по сжиранию траффика, но 2GB в сутки — ни о чём.
Возможно кто-то слепил для себя сервис вроде speedtest.net и твоими файлами просто меряют скорость или мониторят что-то.
Re[4]: Непрерывные скачивания
От: icezone  
Дата: 15.02.17 14:34
Оценка: +1
Здравствуйте, Слава, Вы писали:

С>Ну вот на сайте Оракла какое-то время назад нельзя было скачать JDK без регистрации. Так что капча — это еще по-божески.


шаровара и Оракл — две большие разницы
Re[2]: Непрерывные скачивания
От: icezone  
Дата: 15.02.17 14:38
Оценка:
Здравствуйте, Grayscaler, Вы писали:

G>Похоже на атаку по сжиранию траффика, но 2GB в сутки — ни о чём.


либо мониторят изменения в файле...

G>Возможно кто-то слепил для себя сервис вроде speedtest.net и твоими файлами просто меряют скорость или мониторят что-то.


возможно, но после нескольких блокировок могли бы и передумать
Re: Непрерывные скачивания
От: nen777w  
Дата: 15.02.17 14:46
Оценка:
I>Началось прошлой осенью и продолжается до сих пор — с одного IP непрерывно скачивают дистрибутивы.
I>Набегает пара гигабайт в сутки. Заблокировал IP — начали качать с другого из той же подсети.
I>Заблокировал подсеть — переключились на другую. Сейчас заблокировал уже 6 подсетей,
I>начали качать с VPS, но уже поменьше.
I>В чем прикол?

А можно где то подробнее почитать как это проверить и как с этим бороться?
Re[3]: Непрерывные скачивания
От: XOOIOOX  
Дата: 15.02.17 14:48
Оценка:
У меня было подобное. С каких-то китайских айпишников качали с "обрывами" (т.е. с недокачкой) 10-20 гигов в день. Заблочил нафиг.
Re[4]: Непрерывные скачивания
От: icezone  
Дата: 15.02.17 15:50
Оценка:
Здравствуйте, XOOIOOX, Вы писали:

XOO>У меня было подобное. С каких-то китайских айпишников качали с "обрывами" (т.е. с недокачкой) 10-20 гигов в день. Заблочил нафиг.


запросы идут каждую секунду с одного IP сутками, это не проблемы с докачкой
при блокировке IP он меняется на соседний и процесс продолжается
Re[2]: Непрерывные скачивания
От: icezone  
Дата: 15.02.17 15:52
Оценка:
Здравствуйте, nen777w, Вы писали:

N>А можно где то подробнее почитать как это проверить и как с этим бороться?


проверить просто — посещаемость не меняется, а трафик растет
в логах куча запросов с одного адреса к одному файлу

блокировать тоже просто — через файрфол на сервере
Re[3]: Непрерывные скачивания
От: tip-top  
Дата: 15.02.17 16:03
Оценка:
Здравствуйте, icezone, Вы писали:

I>блокировать тоже просто — через файрфол на сервере

Можно попробовать не блокировать, а ограничить через limit_req.
Re[5]: Непрерывные скачивания
От: Disker  
Дата: 15.02.17 17:31
Оценка:
Здравствуйте, icezone, Вы писали:

I>пусто там, user-agent тоже не указан


Так может для этих условий и сделать фильтр?
У меня примерно так сделано.
Re[6]: Непрерывные скачивания
От: icezone  
Дата: 15.02.17 17:44
Оценка:
Здравствуйте, Disker, Вы писали:

D>Так может для этих условий и сделать фильтр?

D>У меня примерно так сделано.

все руки никак не дойдут — вижу ступеньку на графике, смотрю по логам адрес и блокирую.
уверен, что начнут подставлять фейковые данные в запрос.

меня больше интересует не как заблокировать, а в чем смысл сего действа?
Re: Непрерывные скачивания
От: Masterspline  
Дата: 15.02.17 18:30
Оценка:
I>Началось прошлой осенью и продолжается до сих пор — с одного IP непрерывно скачивают дистрибутивы.
I>Набегает пара гигабайт в сутки. Заблокировал IP — начали качать с другого из той же подсети.
I>Заблокировал подсеть — переключились на другую. Сейчас заблокировал уже 6 подсетей,
I>начали качать с VPS, но уже поменьше.
I>В чем прикол?

Я не очень разбираюсь в шареваре, и, возможно, задам странный вопрос. Но, зачем блокировать эти скачивания? Чем они мешают? Ведь работает железка, канал не забивается, деньги не теряются, на трафик плевать. При этом любая попытка противодействия может привести неочевидным способом к неприятностям для тебя или для нормальных твоих пользователей (риск, конечно небольшой, но реальный). Так зачем блокировать эти скачивания?
Re[2]: Непрерывные скачивания
От: icezone  
Дата: 15.02.17 18:56
Оценка:
Здравствуйте, Masterspline, Вы писали:

M>Я не очень разбираюсь в шареваре, и, возможно, задам странный вопрос. Но, зачем блокировать эти скачивания? Чем они мешают? Ведь работает железка, канал не забивается, деньги не теряются, на трафик плевать. При этом любая попытка противодействия может привести неочевидным способом к неприятностям для тебя или для нормальных твоих пользователей (риск, конечно небольшой, но реальный). Так зачем блокировать эти скачивания?


дык, смысл не заблокировать, а понять для чего это делается...
может они как-то навредить хотят, а я не в курсе

ну и статистику портят, фильтровать приходится
Re: Непрерывные скачивания
От: kov_serg Россия  
Дата: 15.02.17 20:08
Оценка:
Здравствуйте, icezone, Вы писали:

I>В чем прикол?

webArchive ?
Re[2]: Непрерывные скачивания
От: icezone  
Дата: 15.02.17 20:35
Оценка:
Здравствуйте, kov_serg, Вы писали:

_>webArchive ?


нет, не они
адреса пока светить не хочу, но две подсетки Ростелекомовские
Re[3]: Непрерывные скачивания
От: CEMb  
Дата: 16.02.17 02:29
Оценка:
Здравствуйте, icezone, Вы писали:

I>но две подсетки Ростелекомовские


Упс. А это ни какой-нибудь Факло опять мутит с трафиком? У него были какие-то хитрые схемы прошива роутов для прогона трафика через свой сайт. Может какая такая же муть. К тому же он чё-то, помнится, тебе угрожал, а так как с головой у него не всё в порядке, то мало ли, может он тебе вредит порчей статистики
Re[4]: Непрерывные скачивания
От: hrensgory Россия  
Дата: 16.02.17 07:23
Оценка:
15.02.2017 17:20, "Слава" пишет:

> Ну вот на сайте Оракла какое-то время назад нельзя было скачать JDK без

> регистрации. Так что капча — это еще по-божески.

Старожилы такого не помнят. Регистрацию просили (а может и просят)
только для скачивания достигших end-of-life версий, типа JDK 1.4 и т.п.

Сам Оракл, т.е. БД — его да, всегда раздавали только с регистрацией.

--
WBR,
Serge.
Posted via RSDN NNTP Server 2.1 beta
Re[7]: Непрерывные скачивания
От: autopsist  
Дата: 16.02.17 07:27
Оценка:
Здравствуйте, icezone, Вы писали:

I>меня больше интересует не как заблокировать, а в чем смысл сего действа?


Как вариант "выбрать много трафика" чтобы тебя провайдер закрыл за перерасход квоты.
Re: Непрерывные скачивания
От: zi  
Дата: 16.02.17 09:26
Оценка:
Здравствуйте, icezone, Вы писали:

I>Началось прошлой осенью и продолжается до сих пор — с одного IP непрерывно скачивают дистрибутивы.

I>Набегает пара гигабайт в сутки. Заблокировал IP — начали качать с другого из той же подсети.
I>Заблокировал подсеть — переключились на другую. Сейчас заблокировал уже 6 подсетей,
I>начали качать с VPS, но уже поменьше.
I>В чем прикол?

подключи cloudflare, включи на нем "cache everything" и забудь
Re[8]: Непрерывные скачивания
От: icezone  
Дата: 16.02.17 10:42
Оценка:
Здравствуйте, autopsist, Вы писали:

A>Как вариант "выбрать много трафика" чтобы тебя провайдер закрыл за перерасход квоты.


ну если за пару месяцев не было перерасхода, то смысл продолжать?
у меня запас по трафику огромный
Re[4]: Непрерывные скачивания
От: icezone  
Дата: 16.02.17 10:49
Оценка:
Здравствуйте, CEMb, Вы писали:

CEM>Упс. А это ни какой-нибудь Факло опять мутит с трафиком? У него были какие-то хитрые схемы прошива роутов для прогона трафика через свой сайт. Может какая такая же муть. К тому же он чё-то, помнится, тебе угрожал, а так как с головой у него не всё в порядке, то мало ли, может он тебе вредит порчей статистики


откуда он про мои сайты знает?

я сначала думал это какие-то скрипт-киддис балуются, но уж больно долго,
а теперь с провайдерских адресов на VPS перешли.

вот вчера заблокировал очередной IP, в awstats на 20тыс. хитов стало меньше
Re[2]: Непрерывные скачивания
От: icezone  
Дата: 16.02.17 10:53
Оценка:
Здравствуйте, zi, Вы писали:

zi>подключи cloudflare, включи на нем "cache everything" и забудь


я уже говорил — меня не защита интересует, а для чего качают?

хотели бы сервер положить — начали бы качать с нескольких адресов, но они предпочитают менять их по очереди

если мониторят какие-то изменения, то нафига каждую секунду запросы слать?
Re: Непрерывные скачивания
От: Икс Россия  
Дата: 16.02.17 12:02
Оценка:
Здравствуйте, icezone, Вы писали:

I>Началось прошлой осенью и продолжается до сих пор — с одного IP непрерывно скачивают дистрибутивы.

I>Набегает пара гигабайт в сутки. Заблокировал IP — начали качать с другого из той же подсети.
I>Заблокировал подсеть — переключились на другую. Сейчас заблокировал уже 6 подсетей,
I>начали качать с VPS, но уже поменьше.
I>В чем прикол?

Какой-то школьник лепит какой-то скрипт и ставит эксперименты, ваш файл просто выбрал наугад (localhost он ещё не освоил).
Разные подсети (и ростелеком) говорят о том что качает с домашнего компа, ростелеком при каждом подкючении наверное меняет подсети.
Из-за подобных дебилов, кстати, на определённых подсетях (я тоже на ростелекоме) меня гугл задолбал своей капчей, ибо "С вашей подсети идет позрительный трафик"
Отредактировано 16.02.2017 12:06 Икс . Предыдущая версия .
Re[2]: Непрерывные скачивания
От: icezone  
Дата: 16.02.17 14:52
Оценка:
Здравствуйте, Икс, Вы писали:

Икс>Какой-то школьник лепит какой-то скрипт и ставит эксперименты, ваш файл просто выбрал наугад (localhost он ещё не освоил).

Икс>Разные подсети (и ростелеком) говорят о том что качает с домашнего компа, ростелеком при каждом подкючении наверное меняет подсети.

да, похоже так и есть
других вариантов я пока не нашел
Re[7]: Непрерывные скачивания
От: rean  
Дата: 16.02.17 15:15
Оценка:
deleted
Отредактировано 22.04.2019 9:50 deleted2 . Предыдущая версия .
Re[9]: Непрерывные скачивания
От: autopsist  
Дата: 16.02.17 15:20
Оценка:
Здравствуйте, icezone, Вы писали:

I>Здравствуйте, autopsist, Вы писали:


A>>Как вариант "выбрать много трафика" чтобы тебя провайдер закрыл за перерасход квоты.


I>ну если за пару месяцев не было перерасхода, то смысл продолжать?

I>у меня запас по трафику огромный

Ну они же наверное не знают твоих лимитов.
Re[8]: Непрерывные скачивания
От: icezone  
Дата: 16.02.17 15:51
Оценка:
Здравствуйте, rean, Вы писали:

R>Вероятно какой-то «чайник» из Китая


не из Китая, наши это

R>У меня было однажды подобное, только этим занимался... гугл. Ежедневно индекстировал по несколько раз одни и те же бинарники.


запросы идут каждую секунду 24 часа в сутки, но качают медленно
Re: Непрерывные скачивания
От: Aquilaware  
Дата: 18.02.17 03:52
Оценка:
Здравствуйте, icezone, Вы писали:

I>Началось прошлой осенью и продолжается до сих пор — с одного IP непрерывно скачивают дистрибутивы.

I>В чем прикол?

Было один в один. Вы просто перешли дорогу кому-то. Это такая разновидность дешевой атаки на вас, что поотжирать ресурсы и погрузить в траты, в идеале — в denial of service, но что б дешево.

Apache умирал, бага в нем такая была что если параллельно более 50 ниток на один файл он изьедал весь CPU и веб сервер переставал отвечать на запросы.
Решал проблему так — крутился скрипт-анализатор веб логов nginx, и когда он видел много бесмысленных попыток скачать файл, отправлял клиента в баню по IP на неделю.

Потом перешли на более серьезную технику — IIS/Azure/CDN, там эта проблема отпала так как есть встроенные защиты.

Вы, кстати, можете догадаться кому перешли дорогу анализируя IP от провайдеров на пример стран. Наверняка вы знаете коньюктуру вашего рынка, игроков, кто откуда. Это даст вам подсказку.
Re[2]: Непрерывные скачивания
От: icezone  
Дата: 18.02.17 11:47
Оценка:
Здравствуйте, Aquilaware, Вы писали:

A>Было один в один. Вы просто перешли дорогу кому-то. Это такая разновидность дешевой атаки на вас, что поотжирать ресурсы и погрузить в траты, в идеале — в denial of service, но что б дешево.


Похоже, что это была проба пера. Сегодня оперативку выжрали, пока не понял на чем, смотрю логи.

A>Apache умирал, бага в нем такая была что если параллельно более 50 ниток на один файл он изьедал весь CPU и веб сервер переставал отвечать на запросы.


У меня Apache спрятан за nginx, поэтому никакого влияния на сервер не было.

A>Вы, кстати, можете догадаться кому перешли дорогу анализируя IP от провайдеров на пример стран. Наверняка вы знаете коньюктуру вашего рынка, игроков, кто откуда. Это даст вам подсказку.


Не тот масштаб чтобы конкурента валить, скорее случайно попал под раздачу.
Re: Непрерывные скачивания
От: sin_cos Земля  
Дата: 21.02.17 02:01
Оценка:
Здравствуйте, icezone, Вы писали:

I>Началось прошлой осенью и продолжается до сих пор — с одного IP непрерывно скачивают дистрибутивы.

I>Набегает пара гигабайт в сутки. Заблокировал IP — начали качать с другого из той же подсети.
I>Заблокировал подсеть — переключились на другую. Сейчас заблокировал уже 6 подсетей,
I>начали качать с VPS, но уже поменьше.
I>В чем прикол?

пусть качают, что в этом плохого?
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.