Здравствуйте, Лазар Бешкенадзе, Вы писали:
ЛБ> ответ меня немного озадачил:
ЛБ>Я примерно представляю что такое DOS атака. Хотел бы знать что и как следует предупреждать?
Ответ зависит от ценности твоего сайта для атакующих.
Здравствуйте, Stanislaw K, Вы писали:
SK>Здравствуйте, Лазар Бешкенадзе, Вы писали:
ЛБ>> ответ меня немного озадачил:
ЛБ>>Я примерно представляю что такое DOS атака. Хотел бы знать что и как следует предупреждать?
SK>Ответ зависит от ценности твоего сайта для атакующих.
Скорее от ценности твоего сайта для тебя и твоего бизнеса )
Здравствуйте, ArtDenis, Вы писали:
AD>Скорее от ценности твоего сайта для тебя и твоего бизнеса )
Бизнеса вроде нет. Я, конечно, не отказался бы от того чтобы это когда-нибудь вылилось в бизнес, но если такое и будет то не очень скоро. Соответственно с деньгами, платежами и т. п. работы никакой нет.
Но для меня это ценно и было бы неприятно получить что-нибудь такое:
С другой стороны компьютер у меня включен круглосуточно с декабря, куча проходимцев с непонятными запросами, но того что можно было бы назвать атакой еще не наблюдал. Вот сейчас дело дошло до защиты от пока не существующих атак и хотелось бы послушать добрых советов.
Прежде всего стоит поставить мониторинг с алертами — чтобы не проспать подозрительную активность. Ну и чтобы понимать, в случае такой активности, что именно происходит, какой тип атаки, и от чего, собственно, защищаться-то Для простого личного сайта или начинающего бизнеса с небольшим количеством посетителей goaccess вполне хватит.
Далее, накидывать защиту по мере необходимости:
— fail2ban
— тайм лимитер, если применим
— можно закрыться Cloudflare
— капчу можно поставить, если есть формы
Дальнейшие какие-то шаги уже будут для более продвинутой защиты и с более конкретными целями. Но на первых порах всего что выше хватит за глаза.
ЛБ>С другой стороны компьютер у меня включен круглосуточно с декабря, куча проходимцев с непонятными запросами,
От этого помогает fail2ban.
Для защиты от чего-то большего, с чем не сможет справится fail2ban, сервер нужно переносить в датацентр и там уже будут возможны иные методы защиты, недоступные дома.
ЛБ> Вот сейчас дело дошло до защиты от пока не существующих атак и хотелось бы послушать добрых советов.
Мне нужно подробное описание всех неизвестных угроз, с которыми мы столкнемся в будущем. (с)
Здравствуйте, Stanislaw K, Вы писали:
ЛБ>>С другой стороны компьютер у меня включен круглосуточно с декабря, куча проходимцев с непонятными запросами,
SK>От этого помогает fail2ban.
Пока они делают свои запросы с частотой раз в секунду мне это совсем не мешает а даже забавляет. Ну получают свои 400, 404, 413, 414. Могу даже 418 отдать — не жалко.
Этот fail2ban в соседней ветке товарищ уже посоветовал вместе с goaccess. Я поглядел:
Его можно прикрутить и для защиты от DoS и для защиты от назойливых попыток залогиниться. Но последнее мне не нужно — у меня нет регистрации, все анонимно. А для DoS мне тоже кое-что не нравится. Я было решил такое сделать у себя в сервисе но для работы с брандмауэром (ipfw) нужны права root и мой друг наотрез отказался гонять от имени root сервис который глядит в Internet. Сейчас делаю отдельным сервисом который слушает только на 127.0.0.1. Но это только DoS.
SK>Мне нужно подробное описание всех неизвестных угроз, с которыми мы столкнемся в будущем. (с)
Здравствуйте, Лазар Бешкенадзе, Вы писали:
ЛБ>Пока они делают свои запросы с частотой раз в секунду мне это совсем не мешает а даже забавляет. Ну получают свои 400, 404, 413, 414. Могу даже 418 отдать — не жалко.
"Не жалко", это когда отдаешь 200 и стримишь им туда академическое издание "Уголовный Кодекс с комментариями" с rate-limit 100kbps (ограничение скорости).
ЛБ>Этот fail2ban в соседней ветке товарищ уже посоветовал вместе с goaccess. Я поглядел: ЛБ>
by monitoring log files
ЛБ>Мне не нравится идея.
Не нравится чем?
Потому что идеологически это более правильно: fail2ban не смотрит в интернет, ничего не получает из сети а значит не является точкой атаки.
прочитал лог, нашел N обращений за M времени — внес ip bad.boys в блоклист на X времени.
через X времени попытки повторились — снова заносится на Y времени.
может блокировать доступ плохим мальчикам весь доступ, а может только к ssh (к которому они подбирали пароль) сохраняя http.
может для каждого защищаемого сервиса блокировать по индвидуальным правилам.
может анализировать логи как уже существующих известных сервисов, так и любых новых будущих ещё не созданных (лишь бы там был достаточно информативный лог).
может управлять любым распространенным firewall.
может блокировать доступ (создавать правила firewall) молча делая drop пакетов (вместо reject при котором отправитель уведомляется о событии). bad.boys придут в недоумение, не получая ответа от атакуемого сервиса но видя нормальную работу (другого) сервиса. и возможно даже наивно решат что у них получилось сделать DoS.
Плюс анализа логов в том, что можно тренировать/тестировать фильтры на уже собранных логах и на логах собранных/собираемых на другом/на нескольких других серверах.
Плюс fail2ban ещё и в том, что он, собирая и анализируя данные тут (на этом сервере), может управлять firewall там (на другом сервере/на пограничном маршрутизаторе), "дергая" rci, api или по ssh. (это, конечно, требует небольшого ручного "допиливания")
а. и ешё — fail2ban не жрет процессор. (в чём я подозреваю goaccess)
fail2ban умеетне сложно научить анализировать обращения к определенной веб странице (регистрации/логину/любой произвольной).
ЛБ>А для DoS мне тоже кое-что не нравится. Я было решил такое сделать у себя в сервисе но для работы с брандмауэром (ipfw) нужны права root и мой друг наотрез отказался гонять от имени root сервис который глядит в Internet.
Покажи другу fail2ban. Погоди, а почему он сам не беспокоится о защите своего сервера?
ЛБ> Сейчас делаю отдельным сервисом который слушает только на 127.0.0.1. Но это только DoS.
Я безусловно полностью поддерживаю саморазвитие.
SK>>Мне нужно подробное описание всех неизвестных угроз, с которыми мы столкнемся в будущем. (с) ЛБ>Со словом "подробное" ты перегнул, но где-то так.
Здравствуйте, Stanislaw K, Вы писали:
ЛБ>>Мне не нравится идея. SK>Не нравится чем?
Тем что один выводит на диск (причем форматировано под человека) а второй читает и анализирует. И это во время атаки. С подходом blocklistd сервис сам анализирует и выбирает что считать атакой. При этом команда на блокировку передается через сетевое соединение то есть если это loopback то все в оперативной памяти.
SK>Покажи другу fail2ban. SK>Погоди, а почему он сам не беспокоится о защите своего сервера?
Не его а нашего. Пока я был один я мог сам выбирать подходы. Когда нас стало двое мой волюнтаризм закончился и приходится искать компромиссы.
Между прочим, первая версия сервиса блокировок у нас работает уже сутки и два адреса были заблокированы:
185.146.233.219
5.230.122.201
Исландский и германский кулхацкеры. Собственно такие тоже не напрягали. Сходу делают 15-20 запросов и уходят. Видимо ищут какую-то конкретную уязвимость.
Непонятно как они могут отличить легитимный трафик от преступного. Предположим атакующий шлет IP пакеты с моим адресом в качестве обратного. Они будут блокировать мой адрес?
Здравствуйте, Лазар Бешкенадзе, Вы писали:
ЛБ>>>Мне не нравится идея. SK>>Не нравится чем?
ЛБ>Тем что один выводит на диск (причем форматировано под человека) а второй читает и анализирует. И это во время атаки.
Если тебя атакуют так, что становится критичным лаг записи на диск, то этот лаг будет последним что тебя беспокоит. Это раз.
Два — Нет, оно не пишет на диск и не читает с диска. оно работает в оперативной памяти, в дисковом кэше/кэше файловой системы. реальная запись на диск происходит уже много после.
Три — Анализируется в три такта процессора.
ЛБ>С подходом blocklistd сервис сам анализирует и выбирает что считать атакой.
То есть, сервис как-то слушает грязный трафик летящий от атакующих?
и как он среагирует, если вместо текстовой строки прилетит бинарный блоб? а если текстовая, но каждый символ
будет отделен от следующего несколькими cлужeбными (переводом строки, или beep и таб) — как в этой строке.
упадет и перестанет защищать, занесет атакующего в белый список пожизненно? уронит систему? вышлет пароли и кредитные карты?
(а в случае анализа логов этого, понятно, не произойдет)
ЛБ>При этом команда на блокировку передается через сетевое соединение то есть если это loopback то все в оперативной памяти.
Управлять через сетевое соединение очень плохая идея, даже если кажется что оно все в оперативной памяти (как-бы не выгружается в драйвер сетевой карты, в сетевую карту и обратно), к прямому управлению добавляются прокладки tcp стека со стороны "отправителя" и со стороны "получателя" (и firewall перед, между и после) — это все быстро, но это не нужные такты\нагрев процессора.
SK>>Покажи другу fail2ban. SK>>Погоди, а почему он сам не беспокоится о защите своего сервера?
ЛБ>Не его а нашего. Пока я был один я мог сам выбирать подходы. Когда нас стало двое мой волюнтаризм закончился и приходится искать компромиссы.
Покажи другу fail2ban.
ЛБ>Между прочим, первая версия сервиса блокировок у нас работает уже сутки и два адреса были заблокированы: ЛБ>Исландский и германский кулхацкеры. Собственно такие тоже не напрягали. Сходу делают 15-20 запросов и уходят. Видимо ищут какую-то конкретную уязвимость.
На 190% это сканботы. если уязвимость будет найдена, настоящая атака пойдет от других ботов с других адресов. Есть еще вероятность что это грязные белые хакеры (хотя обычно они это указывают в user-agent). это такие пассивные гомосексуалисты в белых плащах, которые под видом благородной помощи сканируют все хосты в сети и ищут как (старые) уязвимости так и выложенные в публичный доступ материалы "нарушающие права правообладателей", а когда находят то вначале пытаются тебя шантажировать а когда не получается стучат юристам.
ЛБ>Вот тут провайдер VPS дает защиту от DDoS:
ЛБ>https://www.ovhcloud.com/en/security/anti-ddos/
ЛБ>Непонятно как они могут отличить легитимный трафик от преступного.
С вероятностью 90% просто по объему. Возможно "по сигнатурам" нормальный трафик это определенная последовательность/скорость запросов ответов. если последовательность систематически аномально нарушается — такой трафик блокируют. На выявление аномалии уходит некоторое время (десятки минут).
ЛБ>Предположим атакующий шлет IP пакеты с моим адресом в качестве обратного. Они будут блокировать мой адрес?
Придут к тебе домой и силой вырвут сетевой кабель.
Здравствуйте, Stanislaw K, Вы писали:
ЛБ>>С подходом blocklistd сервис сам анализирует и выбирает что считать атакой.
SK>То есть, сервис как-то слушает грязный трафик летящий от атакующих?
Пока адрес не заблокирован ты читаешь все что к тебе идет. С твоим fail2ban то же самое иначе кто запишет в log то что он анализирует.
SK>и как он среагирует, если вместо текстовой строки прилетит бинарный блоб? а если текстовая, но каждый символ SK>будет отделен от следующего несколькими cлужeбными (переводом строки, или beep и таб) — как в этой строке.
Это уже какие-то вопросы не по теме. Нормальный у меня parsing.
SK>Покажи другу fail2ban.
Не собираюсь. Сервис блокировки простых DoS уже работает. Хотелось бы понять что еще стоит предусмотреть.
Здравствуйте, Лазар Бешкенадзе, Вы писали:
SK>>То есть, сервис как-то слушает грязный трафик летящий от атакующих?
ЛБ>Пока адрес не заблокирован ты читаешь все что к тебе идет. С твоим fail2ban то же самое иначе кто запишет в log то что он анализирует.
С "моим" fail2ban трафик получает специально предназначенный высокопроизводительный демон, до блеска вылизаный от всех детских и большинства взрослых проблем.
И вместо 100500 процессорных тактов анализа over9000 пакетов сырого трафика, анализируется одна короткая строка лога.
SK>>и как он среагирует, если вместо текстовой строки прилетит бинарный блоб? а если текстовая, но каждый символ SK>>будет отделен от следующего несколькими cлужeбными (переводом строки, или beep и таб) — как в этой строке.
ЛБ>Это уже какие-то вопросы не по теме. Нормальный у меня parsing.
Это именно по теме, одна из атак — иньекция (неожиданного). При том целью атаки может быть не сам сервис httpd, а этот /посредник/
SK>>Покажи другу fail2ban. ЛБ>Не собираюсь. Сервис блокировки простых DoS уже работает.
Здравствуйте, Stanislaw K, Вы писали:
ЛБ>>Пока адрес не заблокирован ты читаешь все что к тебе идет. С твоим fail2ban то же самое иначе кто запишет в log то что он анализирует.
SK>С "моим" fail2ban трафик получает специально предназначенный высокопроизводительный демон, до блеска вылизаный от всех детских и большинства взрослых проблем.
Какой еще специально предназначенный? Твой fail2ban читает то что пишет Web Server, читай Apache либо NginX.
SK>Это именно по теме, одна из атак — иньекция (неожиданного). При том целью атаки может быть не сам сервис httpd, а этот /посредник/
ЛБ>>>Пока адрес не заблокирован ты читаешь все что к тебе идет. С твоим fail2ban то же самое иначе кто запишет в log то что он анализирует.
SK>>С "моим" fail2ban трафик получает специально предназначенный высокопроизводительный демон, до блеска вылизаный от всех детских и большинства взрослых проблем.
ЛБ>Какой еще специально предназначенный? Твой fail2ban читает то что пишет Web Server, читай Apache либо NginX.
"Мой" fail2ban читает любые логи любых демонов/сервисов. и "мой" fail2ban может защищать любых демонов/сервисов SSH, SNTP, POP3 FTP, IMAP, HTTP HTTPs, IRC MQTT SQL RTSP ... любые существующие и любые из будущих ещё не созданных.
В том числе демонов не сетевых, а ведущих обмен иным способом/транспортом.
SK>>Это именно по теме, одна из атак — иньекция (неожиданного). При том целью атаки может быть не сам сервис httpd, а этот /посредник/ ЛБ>О каком еще посреднике идет речь?
А как этот твой blacklisted анализирует пакеты? он или принимает их, анализирует и отдает демону после анализа. или они в него копируются неким механизмом (тогда вопрос все ли пакеты копируются. или пакеты с некой magic последовательностью не копируются/копируются измененными/частично из за уязвимости в механизме копирования.)
Ещё вопрос на каком уровне и как он анализирует пакеты в сессии. для tcp и http вполне обычное дело, когда вначале прилетает последний пакет, а затем в случайном порядке несколько пакетов из середины. apache/nginx этот рядовой случай обрабатывает нормально, правильно собирает внутри себя последовательность.
Хватит ли буфера для анализа 200мб POST запроса, в котором угрозу несет 10 октетов в 193й мегабайт в сочетании с 4 октетами в 161м?
Во-вторых, я основательно его описание не читал, но представляю что он получает запросы на блокировку на "надежных" интерфейсах. Например loopback.
Я blocklistd не использую, написал свой сервис блокировки который слушает на адресе 127.0.0.1.
С вражеским трафиком работает мой основной сервис который шлет заказ на блокировку по UDP. В datagram 4 байта данных — IP адрес который следует блокировать.
SK>Хватит ли буфера для анализа 200мб POST запроса, в котором угрозу несет 10 октетов в 193й мегабайт в сочетании с 4 октетами в 161м?
Ты людей за идиотов держишь? Я сказал — у меня нормальный parsing. Если бы были проблемы типа переполнения буфера наверно с декабря кто-нибудь из проходимцев уложил бы мой сервис.
За изобретателей велосипедов. Само по себе тяга к саморазвитию — это очень хорошо, но просто по человечески хочется помочь им избежать граблей, уже пройденных их многочисленными предшественниками.
ЛБ>Я сказал — у меня нормальный parsing. Если бы были проблемы типа переполнения буфера наверно с декабря кто-нибудь из проходимцев уложил бы мой сервис.
Для простого личного сайта или начинающего бизнеса с небольшим количеством посетителей goaccess вполне хватит.