Здравствуйте, pzhy, Вы писали:
P>Здравствуйте, мыщъх, Вы писали:
P> Ph.D в этой теме, как автор сего чуда не знают что такое эвристики? P> Как можно ловить полиморфы без них?
что такое эвристики строго говоря не знает никто, ибо нет формального определения и потому эвристиком зачастую называют что угодно.
как ловить полиморфов. рассказываю.
1) самое простое, но не самое надежное -- если у нас есть 100500 сэмплов, то а полиморфный генератор не слишком крут, то все сводится к традиционному сигнатурному поиску со сложностью порядка O(log N), где N кол-во сэмплов, т.е. это решение хорошо масштабируется, однако, оно не работает с троянами, которых генерирует хакерский сервер и предотвращает отгрузку более одного сэмпла на тот же самый IP, т.е. банально на руках будут пускай десятки сэмплов и все разные -- тупик;
2) усовершенствованный вариант движка (1) позволяет парсить машинный или байт-код, игнорируя перестановки команд, вариации в регистрах, вычищая ненужный мусор, раскручивая "лапшу" из (без)условных переходов. сложность по прежнему O(log N) и достаточно значительно меньшее кол-во сэмплов для надежной детекции. кстати, (1) обеспечивает порядка 90%, а (2) порядка 96% — 98%. (отдельная песнь, если полиморфный генератор "криптует" код используя заранее написанные кодеры/декодеры, выбирая их наугад. в вирусах (обладающих репродуктивными функциями) все эти кодировщики присутствуют и достаточно одного сэмпла. трояны генерируются на серверной стороне и потому рейт детекции стремительно падает вниз;
3) усовершенствованный вариант движка (2) включает в себя эмулятор, "раскручивающий" упаковщик или навесной энкодер и добирающегося до "ядра" зловреда, на котором хорошо работает (1), но в силу тормознутости (3) и (2) нужно определить когда стоит задаействовать (2) и (3), а когда нет. эвристика этому может помочь, но ценой снижения рейта детекции. а без эвристики мы получаем тормоза. впрочем, когда не идет речь и задаче проверить over 9000 файлов, а всего лишь проверять файлы, поступающие из тырнета и флешек -- производительности (3) хватает с головой (а для известных упаковщиков пишутся статические распаковщики, работающие очень быстро);
4) для оптимизации (3) под каждого хитрожопого извращенного зловреда пишется свой модуль детекции, что упрощает (3) и (2) и сильно их ускоряет. в итоге сложность получается O(N log N), но производительность выше. или ниже? зависит от N... на самом деле это O(M log (M+N)), где M -- кол-во хитрожопой малвари. как видно, это решение не масштабируется;
5) при больших M становится выгодно писать универсальный транслятор машинного кода (байткода) в микрокод, выполнять оптимизацию и дальше применять (1) и (2) или на худой конец (3). мы получаем O(1), которое не зависит от M, но не для всех M можно такое и у этого подхода чудовищная латентность, то есть его рационально применять только при очень больших M;
6) поскольку большинство разработчиков малвари -- дебилы, то они могут морфить код, но забыть морфить иконку (или морфят ее так, что тривиальный фильтр отсекает все вариации). если иконка уникальная или стыбренная из того же "блокнота", то мы видим, что программа имеет иконку блокнота из поставки винды, но это не блокнот. дальше можно сразу ругнуться или врубить (3) для раскрутки упаковщика;
и это все в рамках сканера командной строки. у хипса гораздо больше возможностей по отлову зловредов.
практически каждый зловред (за редкими исключениями) каким бы полиморфным он ни был, имеет косяки реализации и тащит за собой предсказуемые фичи. а потому (4) и (6) работают на ура. и без всякой высшей математики и теории графов, которая нужна (5), для (2) так же желательная матчасть и знание особенностей ЦП и оси, а (1) требует владения алгоритмами мультипоиска. в школе они не рассматриваются, но изучаются в универах и описаны на вике.
вот такая теория детекции зловредов. если вы не видели их в живую и не знаете какой процент составляют полиморфы и насколько они полиморфны, будь вы хоть сто раз Ph.D. -- вы не в состоянии выбрать адекватный алгоритм детекции. многие антивирусы пошли по пути (1) и (4). в результате... качество детекции так себе. скорость -- на уровне асфальтового катка. разработка специфичных модулей детекции для (4) с их последующих тестированием отнимает время, в течении которого малварь плодиться и размножается, а затем тухнет как бычок в писуаре, задавленная конкурентами у которых есть (5).
ЗЫ. почитал таки описание "иммунитета" (а не только то, что человек говорил с голубого экрана). ну... для школьника это не так уж и плохо. по крайней мере, это не попов II, и перед нами не перекоцанный ClamAV, а собственная разработка. рассуждая отвлеченно -- если парень будет рыть в сторону куда прописываются зловреды для автозагрузки и добавит поддержку маков и мобильных устройств -- может получиться интересный ресерч. для школьника, конечно.
ЗЫ.ЗЫ. от преподавателей ждать глубоких знаний -- наивно. вот вы, товарищ, совершенно не представляете себе архитектуру антивируса и путаете эввристику с детекцией полиморфов.
americans fought a war for a freedom. another one to end slavery. so, what do some of them choose to do with their freedom? become slaves.
Здравствуйте, мыщъх, Вы писали:
М>ЗЫ.ЗЫ. от преподавателей ждать глубоких знаний -- наивно. вот вы, товарищ, совершенно не представляете себе архитектуру антивируса и путаете эввристику с детекцией полиморфов.
По ссылкам то ходил? Парень не сделал ровным счетом ничего, что можно назвать антивирусом. "Откопирайтил" несколько программ из поставки VS. Написал пару батников с рэндом генератором для иммитации деятельности. Все. На этом его труды закончились. И эвристика закончилась там же.
Здравствуйте, Sergey Astakhov, Вы писали:
SA>Дилетант такое писать не станет, а значит хорошей его программа никогда не будет.
Я немного не о том. Вот придет дилетант и выдаст идею, от которой мы все только мекать будем...
А реализация — да, конечно, идею подхватят и реализуют профессионалы. Тут в конце концов просто людские ресурсы нужны, одному человеку это может быть и не по силам.
Здравствуйте, LaPerouse, Вы писали:
LP>Я думаю, нет. Инженерные дисциплины — это в первую очередь опыт, знания и трудоспособность (умение выполнять большой объем работы в короткие сроки), и только потом — талант. Да даже и в науке время талантливых одиночек давно прошло. Но я еще могу представить, что юный гений (условно студент пятого курса) придумает что-то новое в математике. Но вот сделать реально работающую программу из разряда шедевров — никогда в это не поверю. В тот же продукт Касперского вбухано сотни человеколет работы не худших мозгов, за год такое не воспроизвести одному человеку каким бы гениальным он не был.
Да не надо программы. Вот выдаст он идею, от которой мы охнем и ахнем, хватит и этого. Программу потом доведут.
Во времена бурного развития такое сплошь и рядом бывает. Unerase Нортона для ДОС сделала ему имя.
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Да не надо программы. Вот выдаст он идею, от которой мы охнем и ахнем, хватит и этого. Программу потом доведут.
Дилетант не поймет идею, даже если ему ее объяснят. Как он придумает свою?
А я и не знал, что шизофазия — запрещенное оскорбительное слово.
Все-таки, чтобы выдать что-то аховое, надо разбираться в деталях. Что как раз и отличает
специалиста или грамотного человека от дилетанта. Так что боюсь, что нет.
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>А если он придумает идею, до которой мы все не додумались ? Невозможно ?
Не думаю. Все-таки чтобы что-то сказать кардинально новое и оригинальное в какой-либо области,
нужно неплохо знать уже существующую базу и в ней ориентироваться(разбираться).
Просто так, с разбега -- только в сказках.
Контрпримером, кмк, может выступить Эйнштейн. Но тут правда самоучка, а не дилетант.
Примеров можно кучу накапать из древней Греции, и вообще на заре становления научного знания.
Собственно, тогда все и были дилетантами. Но это не так интересно.
А Вы не могли бы привести пример из какой-нибудь области?
Здравствуйте, Sharov, Вы писали:
S>Не думаю. Все-таки чтобы что-то сказать кардинально новое и оригинальное в какой-либо области, S>нужно неплохо знать уже существующую базу и в ней ориентироваться(разбираться). S>Просто так, с разбега -- только в сказках.
S>А Вы не могли бы привести пример из какой-нибудь области?
Могу. Из своей собственной.
Я делал диссертацию по расчету некоторых физических свойств органических кристаллов. До этого я познакомился с одним методом расчета этих свойств для жидкостей, там он работал хорошо. Для кристаллов он работать не должен был, потому что не учитывает кристаллическую структуру (для жидкости ее нет). Тем не менее я попробовал, и получилось. Потом я узнал, что так нельзя, что это не учитывает то и то и третье, но когда мне это говорили, я отвечал одно — он же работает!
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Могу. Из своей собственной.
PD>Я делал диссертацию по расчету некоторых физических свойств органических кристаллов. До этого я познакомился с одним методом расчета этих свойств для жидкостей, там он работал хорошо. Для кристаллов он работать не должен был, потому что не учитывает кристаллическую структуру (для жидкости ее нет). Тем не менее я попробовал, и получилось. Потом я узнал, что так нельзя, что это не учитывает то и то и третье, но когда мне это говорили, я отвечал одно — он же работает!
Ну тогда если присутствует элемент угадывания, ткнуть пальцем в небо и попасть. Интуиция.
И дерзость. Ваш же пример показывает, что не хватает некой осмысленности что-ли.
И да, не очень Вы на дилетанта похожи раз диссер защищали. Явно не с улицы.
Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Может ли быть, что некий дилетант, в сущности мало знакомый с предметом, вдруг возьмет и сделает нечто такое (всерьез нечто такое), что заставить специалистов только ахнуть ? PD>Так вот — в ИТ такое возможно ?
Здравствуйте, LaptevVV, Вы писали:
LVV>Наша команда, очевидно, тоже все сыны того же чиновника. И даже круче — мы получили за свою работу 2 Умника и первый грант Старта. LVV>Пацан что-то сделал, а его тут оплевывают.
Здравствуйте, alzt, Вы писали:
A>Здравствуйте, LaptevVV, Вы писали:
LVV>>Наша команда, очевидно, тоже все сыны того же чиновника. И даже круче — мы получили за свою работу 2 Умника и первый грант Старта. LVV>>Пацан что-то сделал, а его тут оплевывают.
A>Как можно подобное писать после прочтения A>этого
