Приветствую, kochetkov.vladimir, вы писали:

k> Этот юзкейс является быстрым и эффективным решением ряда моих задач. Почему, собственно, нет?

Мне в принципе пофиг, просто в моих глазах ты ниже опустился.

Приветствую, kochetkov.vladimir, вы писали:

k> А ничего, что "самое интересное" у меня почти всегда разное? Каждый раз одноразовые скрипты писать? В этой области, все что мог я уже заавтоматизировал себе немерлом.

Веником не прикидывайся, ладно? В скрипт параметры фильтрации пробабушка завещала не передавать?

Здравствуйте, Lazytech, Вы писали:

L>Возможно, разные программы просто по-разному реагируют на нестандартные ситуации?

А как ты думаешь, что такое уязвимость (и её эксплуатация) ? Как раз вот непредусмотренная разработчиками "нестандартная" ситуация. Кстати, эксплуатация кривых парсеров различных документов (офис, акробат, медиаплееры) уже лет 5 как популярна. Если юзера заразят через CodeExecution уязвимость, подсунув специально кривосформированный OO документ, ему будет легче от осознания того факта, что разработчики ОО "по-разному" реагируют на "нестандартные" ситуации ? А именно: забив болт на проверку валидности/размеров/etc.

Здравствуйте, kochetkov.vladimir, Вы писали:

Ты запустил программу на пределе ее возможностей, или даже за пределом. Сколько бы тут ни говорили, что программа на пределе своих возможностей должна все же работать корректно — реально это только благое пожелание. Например, при исчерпании ресурсов GDI во времена NT4 — 2000 можно было без труда довести Windows до состояния, когда переставали изображаться иконки,, меню открывались без пунктов и не там где надо и т.д. Не знаю, поправили ли это сейчас. Но из этого факта отнюдь не следует, что Windows плохая система. Просто не надо от нее требовать того, чего она не может в силу своих особенностей. У тебя то же самое. Ты попытался использовать OO на пределе, ну он и прореагировал...

Но из того, что на пределе своих возможностей ПО работает даже пусть совсем неправильно — не надо делать вывод о его непригодности. Разгоняя процессор, можно выести его из строя. Но это не причина хаять процессоры — если над ними не издеваться, они обычно нормально работают.

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Довольно часто, по долгу службы, мне приходится работать с логами корпоративного прокси (как правило, расследуя инциденты об инсайдерстве). Никаких проблем с этим нет, логи ежедневно прогружаются в удобную business intelligence систему с элементами корелляции событий безопасности, к которой можно делать практически произвольные запросы. Есть также пара самописных приблуд, позволяющих получать из ее же хранилища простенькие выборки в формате сырых логов с целью дальнейшего их низкоуровневого анализа.
Тааааак... А где же SOC оборудованный по последнему слову техники?
ТКП на Symantec SIM + Symantec DLP не прислать?

KV>формат w3c, кто не знает: по сути, это текстовый CSV c разделителями в виде табуляции
CSV, если кто не знает, это типа Comma Separated Values

KV>оба ядра были заняты на 50-60%
У меня иной раз вставка картинки в ворд ставит всю систему раком (это к твоим претензиям ниже )...


KV>Стало интересно, а как себя поведет в такой ситуации OO? Скачал виндовый 3.2.0 build 9483, поставил, жму открыть, выбираю файл с логом. Оно просто зависло минут на 20 (вместе со всем остальным, т.к. проц был нагружен на 95-100%%), после этого я не выдержал и пошел курить, вернувшись — увидел на экране диалог с вопросом о том, в какой кодировке мой лог (а я откуда это знаю?) и какие там используются переносы строк — юниксовые или нет (а что, ему самому слабо было это распарсить?). Ок, кодировку оставил по умолчанию, указал, что переносы виндовые и вперед... Начав загружаться довольно шустро, оно прогресс-баром дошло где-то до 2/3 и намертво повисло (вместе со всем остальным). Висело около 10 минут, после чего тупо рухнуло вот с такой ошибкой:
Это было смело, учитывая, что OO все-таки на джаве писан...

KV>И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.
Хм.. Офис я ставлю раком по 10 раз на дню, причем чес-слово не специально...
Про excel мои коллеги уже много всего интересного и не всегда цензурного услышали... Тем не менее — как-то приходится мириться... Ну у нас-то ладно — все на халяву

KV>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут
Ну вы хоть Sawmill купите... А так — конечно, не предназначен

Здравствуйте, kochetkov.vladimir, Вы писали:

Слабенький какой-то вброс. Я могу написать тебе подобных историй про Management Console, что несколько дней будешь читать.

Здравствуйте, IID, Вы писали:


IID>А как ты думаешь, что такое уязвимость (и её эксплуатация) ? Как раз вот непредусмотренная разработчиками "нестандартная" ситуация. Кстати, эксплуатация кривых парсеров различных документов (офис, акробат, медиаплееры) уже лет 5 как популярна. Если юзера заразят через CodeExecution уязвимость, подсунув специально кривосформированный OO документ, ему будет легче от осознания того факта, что разработчики ОО "по-разному" реагируют на "нестандартные" ситуации ? А именно: забив болт на проверку валидности/размеров/etc.

Чисто в целях позанудствовать: скормить наивному пользователю "специально сформированный" лог под гигабайт весом будет сложно

Здравствуйте, Sheridan, Вы писали:

S>бджалд,

чочочо?. мат на моём rsdn?. да ещё и с безумными грамматическими ошибками?.
ох, может перед тем, как юзать незнакомые слова, которые говорят различные флудеры в сети, ты хоть узнаешь, как они пишутся и чего вообще такое написание?.

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Каждый раз одноразовые скрипты писать?
А почему нет? Вроде, для файла со структурой csv это несложно Или решили, что:

• скрипт не вынес бы такой нагрузки;
  
• быстрее сделать руками, чем придумать скрипт;

?

KV>В этой области, все что мог я уже заавтоматизировал себе немерлом.

Приветствую, neFormal, вы писали:

F> S>бджалд,

F> чочочо?. мат на моём rsdn?. да ещё и с безумными грамматическими ошибками?.
F> ох, может перед тем, как юзать незнакомые слова, которые говорят различные флудеры в сети, ты хоть узнаешь, как они пишутся и чего вообще такое написание?.

А както мамут высказался, мне и понравилось. Очень хорошее слово. Явно нехорошее, но в то же время произнести трудновато. Следовательно произносится сие слово только когда ну совсем нехорошо.

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут

Домохозяйки парсить будут в gnumeric из состава Gnome Office, потому что OOCalc таки и в самом деле противопоказано большие документы подсовывать. Как-то дал ему экселевскую таблицу размером 90 с чем-то мегабайт. OOCalc (в Linux) выжрал всю свободную оперативную память (около 3.7 Гб) и рухнул, автоматически пришибленный (свопа у меня нет). Gnumeric же файл нормально открыл через десяток секунд.

К сожалению, у Gmumeric-а есть свои недостатки, он в целом менее правильно понимает .xls — файл и в случае действительно сложных документов предпочтительнее OOCalc, если он его, конечно вообще суммеет открыть. Но с чисто .csv или не слишком сильно замороченными xls работает хорошо. Хотя, должен отметить, Gnome Office не очень заметно, но потихоньку совершенствуется, может и переплюнет OOo.

А идеальных программ нет. Помню у меня Word тупо вис при попытке открыть пустой файл большого объёма с расширением .doc

Здравствуйте, Pavel Dvorkin, Вы писали:

PD>Здравствуйте, kochetkov.vladimir, Вы писали:

PD>Ты запустил программу на пределе ее возможностей, или даже за пределом. Сколько бы тут ни говорили, что программа на пределе своих возможностей должна все же работать корректно — реально это только благое пожелание. Например, при исчерпании ресурсов GDI во времена NT4 — 2000 можно было без труда довести Windows до состояния, когда переставали изображаться иконки,, меню открывались без пунктов и не там где надо и т.д. Не знаю, поправили ли это сейчас. Но из этого факта отнюдь не следует, что Windows плохая система. Просто не надо от нее требовать того, чего она не может в силу своих особенностей.


Увы, из этого всё-таки следует, что Windows была плохо спроектирована. Я не хочу сказать, что Linux тут сильно лучше, потому что знаю, что есть несколько простых способов, работая под обычным пользователем, его затормозить до невменяемого состояния.

Меня в своё время учили при решении математических уравнений и построении графиков функций обязательно вычислять область допустимых значений. Поначалу мне это казалось блажью, но потом заценил, потому что очень полезно, помогает не вывести якобы правильное, но неверное решение. Так и при правильном проектировании ОС, да и любой программы, по-хорошему, должны определяться пределы её функционирования и не позволять прикладным программам, работающим от непривилегированного пользователя, вводить ОС в ступор.

Конечно, эксплуатация ОС или конкретной программы может быть рассчитана на определённую среду и условия, в которых разработчик считает, что подобных проблем не возникнет, но по-хорошему, тогда надо эти нюансы отдельно оговаривать.

Правда, отмечу, что в Linux, всё-таки, можно настроить лимиты так, что прикладная программа не отожрет ресурсов, больше, чем администратор дал ей.


PD> У тебя то же самое. Ты попытался использовать OO на пределе, ну он и прореагировал...

Неправильно прореагировал, к сожалению. Хотя, если есть где-то формальное предупреждение, что такие объёмы не для OO, тогда виноват пользователь, не читавший документацию

PD> Разгоняя процессор, можно выести его из строя. Но это не причина хаять процессоры — если над ними не издеваться, они обычно нормально работают.

Разгон процессора — это уже эксплуатация за пределами, гарантированными изготовителем.

Здравствуйте, Michael7, Вы писали:

M>Правда, отмечу, что в Linux, всё-таки, можно настроить лимиты так, что прикладная программа не отожрет ресурсов, больше, чем администратор дал ей.
Слышал я про одного аспиранта, который достаточно глубоко занимался тематикой планировщиков в ОС. Дак вот он, естественно, через какое-то время понял, что все они кривые и научился писать программы (естественно непривилегированные), которые выщелкивали почти все процессорное время на себя, что под виндой, что под линуксом. К слову, предложить идеальный планировщик, насколько я знаю, он тоже не смог...

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>

Создал big.csv

1.upto(1000000) { |i|
    $stdout.write("abcdef,#{i},#{i},111111,#{i},#{i},abcdef,111111111\n")
}

OO 3.1 (winxp) проглотил в секунду за милую душу (оно и понятно из картинки — почему), дал ошибку о превышении кол-ва строк


OO 3.1 (ubuntu 9.10) жевал ~2 минуты, импортировал все:


Наверное, файл мелкий, и версия не та?

Здравствуйте, ambel-vlad, Вы писали:

AV>Здравствуйте, kochetkov.vladimir, Вы писали:

AV>Слабенький какой-то вброс. Я могу написать тебе подобных историй про Management Console, что несколько дней будешь читать.

Я тебе даже больше скажу. Я потом еще и несколько дней на них отвечать буду, а ты, я надеюсь, мне. Потом подтянется местная публика... Йоу, у нас теперь есть чем тут заняться на ближайший месяц

Я в смысле, ты пиши давай, раз есть что, а там посмотрим, кто сколько дней чего читать будет.

Здравствуйте, DOOM, Вы писали:

DOO>Здравствуйте, kochetkov.vladimir, Вы писали:

DOO>Тааааак... А где же SOC оборудованный по последнему слову техники?

Он есть, но закрыт за семью NDA. Я не отмазываюсь, и рад бы это обсудить с тобой, но правда не могу Скажем так, через SOC сейчас проходят данные ээээ... с другого уровня абстракции, нежели логи ISA. И этого для задач мониторинга ИБ пока хватает. А для остального и придумали нас

DOO>ТКП на Symantec SIM + Symantec DLP не прислать?

А толку? Я ж решений подобного уровня не принимаю Да и тендера на развертывание подобных систем у нас пока не предвидится. Хотя, если под рукой есть готовое предложение (чтоб тебя не напрягать лишний раз), которое ты можешь прислать — кинь плс, лично мне было бы интересно глянуть.

KV>>формат w3c, кто не знает: по сути, это текстовый CSV c разделителями в виде табуляции
DOO>CSV, если кто не знает, это типа Comma Separated Values

От же-ш педант. Ок, "это — типа текстовый CSV, но с разделителями в виде табуляции"

DOO>Хм.. Офис я ставлю раком по 10 раз на дню, причем чес-слово не специально...
DOO>Про excel мои коллеги уже много всего интересного и не всегда цензурного услышали... Тем не менее — как-то приходится мириться... Ну у нас-то ладно — все на халяву

Дык я и не утверждаю, что в MSO все хорошо. Я говорю о том, что в ОО еще хуже.

KV>>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут
DOO>Ну вы хоть Sawmill купите... А так — конечно, не предназначен

Да BIIS вполне себе справляется. А задачи глянуть в логи за сегодня прямо сейчас, возникают не так часто, чтобы можно было серьезно говорить о вложении каких-либо средств в это.

Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Здравствуйте, kochetkov.vladimir, Вы писали:

PD>Ты попытался использовать OO на пределе, ну он и прореагировал...

Он не успел прореагировать. Его снес DEP из-за ошибки размещения в памяти, насколько я успел разобраться. А MSO, также на пределе, прореагировал гораздо корректнее ко мне, как к пользователю. О чем и речь.

Здравствуйте, Alexey F, Вы писали:
AF>Здравствуйте, kochetkov.vladimir, Вы писали:
KV>>Каждый раз одноразовые скрипты писать?
AF>А почему нет? Вроде, для файла со структурой csv это несложно Или решили, что:
AF>

AF>
• скрипт не вынес бы такой нагрузки;
  
  Нет, конечно же У меня один из первых таких "анализаторов" грузил логи веб-сервера отнюдь не меньшего объема в виде немерловского списка и всячески преобразовывал его в лучших традициях ФП (создавая при этом каждый раз новый список, ибо immutability и характер преобразований). За ночь оно прожевало лог полностью, но страшно представить, что в этот момент творилось на машине. А дотнетовский сборщик мусора мне после этого стало даже немного жалко, учитывая объем проделанной им за ночь работы
  
  AF>
• быстрее сделать руками, чем придумать скрипт;
  AF>

Именно поэтому. Если задача возникает нечасто и мне быстрее сделать ее руками, чем садиться за скрипт, то я делаю это руками, до тех пор пока... (см. "если").

Здравствуйте, Sheridan, Вы писали:
S>Приветствую, kochetkov.vladimir, вы писали:

k>> А ничего, что "самое интересное" у меня почти всегда разное? Каждый раз одноразовые скрипты писать? В этой области, все что мог я уже заавтоматизировал себе немерлом.
S>Веником не прикидывайся, ладно? В скрипт параметры фильтрации пробабушка завещала не передавать?

Это ж на каком уровне абстракции должны быть эти фильтры, чтобы ими можно было задать что вот сейчас мне нужно найти пользователя, который зашел на mail.ru, создал черновик письма, потом зашел на depositfiles и что-то туда залил, потом открыл этот черновик изменил его (вставил ссылку на закаченный файл), после чего отправил письмо и отпрапортавал об этом по аьске? Причем примерно в такой последовательности, т.к. сотрудников, работавших с теми же сайтами, но иначе было несколько? А через пару дней, мне понадобилось найти человека, планомерно (причем, в течении месяца, а не за один день) искавшего на всевозможных форумах и досках объявлений спрос на определенного рода услуги. Это какими параметрами фильтра прикажешь задавать? И повторяющихся задач реально немного, и они все уже давно "обскриптованы".

И, боюсь, что если бы я таки-разработал такую систему "фильтрации", то на ближайшие несколько лет необходимости зарабатывать на существование просто не было бы

Здравствуйте, Sheridan, Вы писали:
S>Приветствую, kochetkov.vladimir, вы писали:

k>> Этот юзкейс является быстрым и эффективным решением ряда моих задач. Почему, собственно, нет?
S>Мне в принципе пофиг, просто в моих глазах ты ниже опустился.

Главное, чтобы я в твоих глазах копать не начал, а так ничего, не страшно. Сегодня опустился, завтра поднимусь