Довольно часто, по долгу службы, мне приходится работать с логами корпоративного прокси (как правило, расследуя инциденты об инсайдерстве). Никаких проблем с этим нет, логи ежедневно прогружаются в удобную business intelligence систему с элементами корелляции событий безопасности, к которой можно делать практически произвольные запросы. Есть также пара самописных приблуд, позволяющих получать из ее же хранилища простенькие выборки в формате сырых логов с целью дальнейшего их низкоуровневого анализа.

Все это хорошо и сильно облегчает работу, если не принимать во внимание тот факт, что выборки из логов часто нужно делать в тот же день, когда имело место инсайдерство (ибо срочно) и тут BI уже ничем помочь не может, т.к. лог за текущий день прогружается в нее только на следующий. В этом случае, приходится забирать с прокси сырой лог и анализировать его всякими grepa'ами, logparser'ами и, как это ни странно, excel'ем, т.к. все, что мне нужно делать с логом первыми двумя, в excel'е тоже можно сделать, причем быстрее и нагляднее. Ну, и руководству итоговый отчет интересен в этом же формате, поэтому в 99% случаев я всю подобную работу делаю сразу в excel'е, чтобы по десять раз туда-сюда данные не импортировать.

Вот сегодня как раз и случился такой инцидент. Забираю час назад ростовский лог за текущий день — 718 метров, 1258014 строк (формат w3c, кто не знает: по сути, это текстовый CSV c разделителями в виде табуляции и установленными стандартом полями). В excel не влезет по любому (седьмой — позволяет только 1048576 строк), но данные мне нужны за кусок утра и кусок дня, поэтому не страшно. Данные прогружались минут 20 (успел выпить кофе и покурить), оба ядра были заняты на 50-60%, после этого выдал ошибку о том, что лог загружен не полностью ибо строк больше чем надо, при этом отожрал в памяти 1115324 байта. Совершенно комфортно я отфильтровал нужные мне периоды времени, сохранил результаты в новый xls-файл и, поработав с ними без каких-либо особых тормозов минут 15, отправил руководителю красивый отчет с результатами предварительного расследования инцидента.

Стало интересно, а как себя поведет в такой ситуации OO? Скачал виндовый 3.2.0 build 9483, поставил, жму открыть, выбираю файл с логом. Оно просто зависло минут на 20 (вместе со всем остальным, т.к. проц был нагружен на 95-100%%), после этого я не выдержал и пошел курить, вернувшись — увидел на экране диалог с вопросом о том, в какой кодировке мой лог (а я откуда это знаю?) и какие там используются переносы строк — юниксовые или нет (а что, ему самому слабо было это распарсить?). Ок, кодировку оставил по умолчанию, указал, что переносы виндовые и вперед... Начав загружаться довольно шустро, оно прогресс-баром дошло где-то до 2/3 и намертво повисло (вместе со всем остальным). Висело около 10 минут, после чего тупо рухнуло вот с такой ошибкой:

Сигнатура проблемы:
Имя события проблемы: APPCRASH
Имя приложения: soffice.bin
Версия приложения: 3.2.9476.500
Отметка времени приложения: 4b479537
Имя модуля с ошибкой: tlmi.dll
Версия модуля с ошибкой: 3.2.9476.500
Отметка времени модуля с ошибкой: 4b7eb1fb
Код исключения: c0000005
Смещение исключения: 0000fac9
Версия ОС: 6.1.7600.2.0.0.256.48
Код языка: 1049
Дополнительные сведения 1: 4bd2
Дополнительные сведения 2: 4bd2d73784592d21b5bca3fcd69da53b
Дополнительные сведения 3: 30fe
Дополнительные сведения 4: 30fe06f8a3a2424743a4f6858d50b449

Дополнительные сведения доставили особенно много радости. Перед обрушением оно отожрало 1279400 байт.

Ок, все с ним понятно, сел писать этот текст. По ходу, не смог точно воспроизвести версию ОО, запустил его еще раз чтобы глянуть. Оно мне предложило восстановить открытый файл после некорретного завершения. Не вопрос, думаю, пусть восстановит... Процесс восстановления длился чуть больше, около получаса, после чего оно опять тихо рухнуло. Запустив ОО в третий раз и отменив восстановление, я немедленно нарвался на предложение поучаствовать в опросе качества данного ПО...

Итак, что имело место при работе с Excel?

1) Он задал мне все вопросы, необходимые для импорта этого формата, до самого импорта, прочитав перед этим только первую строчку отчета с именами столбцов.
2) Во время импорта он не мешал мне работать, захватывая все доступные ему ресурсы компа.
3) Когда он не смог прогрузить весь файл, он не только сообщил об этом и исчерпывающе объяснил почему, но и оставил то, что смог прогрузить для дальнейшей работы.

Что имело место при работе с OO Calc?

1) Сразу после выбора файла он весьма долго тормозил непонятно на чем, тормозя при этом весь комп. После этого задал мне вопросы, непонятно каким боком относящиеся к текущему процессу с одной стороны, и непонятно почему интересующие его, т.к. он и сам мог за это время найти на них ответ, с другой.
2) Во время импорта я мог делать все что угодно, кроме работы за компом, ибо "звиняй хлопец, я тут твой лог гружу, нехрен мне мешать..."
3) В результате чего, он упал с невнятной ошибкой (причем, сообщение об ошибке было виндовое, ОО скорее всего и не успел осознать, что он падает)
4) Предложил повторить то, что уже закончилось с ошибкой в прошлый раз (мазохисты детектед) и таки свалился в такую же ошибку.
5) Напоследок, предложил еще и оценить продемонстрированное им качество (тролль-моде детектед).

И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.

Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут

Гы. Я разобрался, в чем причина падения и хочу извиниться за несправедливо оболганный мной OO Calc. Дело в том, что он даже не пытается открыть этот файл. Видя страшное расширение файла "w3c", он оказывается решает, что это какая-то неведомая ему херня, которую конечно же надо скормить именно writer'у (железная логика, ага). И уже незаметно запущенный writer, потужившись несколько минут и поставив всю систему раком, либо зависает на очень продолжительное время (подозреваю, что навсегда, до завершения процесса руками) либо выпиливается DEP'ом из-за каких-то шайтанов с обращениями к памяти, в зависимости от того, напрямую из writer'a открываешь этот файл или же через calc.

Разумеется, не желая быть обвиненным в необъективности, я тут же попробовал открыть этот файл из Word'а. Word вежливо объяснил мне, что открывать файлы > 512Mb он не будет и на этом эксперимент закончился.

И конечно же, я изменил расширение файла лога на "csv" и таки-попытался опять открыть его из calc'а. Он, попыхтев неможножко, открыл 65535 строк без каких-либо глюков и сказал, что дальше не может ибо ограничение (кстати, у него похоже это действительно зависит от разрядности операционки, в отличии от MSO). Соответственно, сравнивать его при этом с MSO будет необъективно, т.к. второй перелопачивает куда больший объем, со всеми вытекающими.

Вот такие дела

Здравствуйте, kochetkov.vladimir, Вы писали:


[Skip]

KV>И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.

KV>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут

1) kochetkov.vladimir — это зеркальное отражение Шеридана.
2) Есть серьезные сомнения в честности kochetkov.vladimir.
Если Винда отработает лучше Линукса, он прибежит на форум и будет этим фактом
как флагом размахивать, если наоборот — смолчит.
3) Open Office скорее всего запускался под Виндой.
4) Open Office — это все-таки не Юникс-вей. Это костыль для тех, кто пришел с Винды.
5) Я уже 10 лет не пользовался MS Office. Не нужно. Совсем. Ни для чего.
6) Последний раз когда я использовал MS Office (1999 год) — притащил с вордовым файлом вирус.
7) Разгребать логи с помощью Офиса — это действительно несколько...
(Правда должен сказать, что однажды Exel-ем строил кометные орбиты )

Здравствуйте, kochetkov.vladimir, Вы писали:

AF>>быстрее сделать руками, чем придумать скрипт;
KV>Именно поэтому. Если задача возникает нечасто и мне быстрее сделать ее руками, чем садиться за скрипт, то я делаю это руками, до тех пор пока... (см. "если").

Я тут немножко попропагандирую одноразовые скрипты, можно?
Вы это и без меня, скорее всего, знаете, но может кого-то убедит больше автоматизировать.

Универсальные "всемогутеры" для одноразовой задачи не нужны.

Одноразовый скрипт, в принципе, не обязан решать задачу полностью. Он может просто помочь доделать задачу вручную. Время на выполнение задачи сведётся к:

время написания скрипта + время ручной шлифовки,

что часто бывает меньше, чем просто:

время ручного выполнения задачи

.

За счёт этого время разработки скрипта сильно уменьшается — ведь все хитрые случаи можно:

• оставлять "как есть" (чревато проблемами — можно потерять необработанные записи среди остальных);
  
• оставлять "как есть", но указывать их местоположение (уже гораздо лучше);
  
• прерывать скрипт, предлагать обработать запись пользователю, продолжить после подтверждения правки (тоже неплохой вариант);
  
• другие средства уведомления пользователя (тут что фантазия подскажет).

Если идёт не редактирование, а поиск записи, сложную для скрипта запись можно включать в результат, обработав одним из вышеуказанных методов.

Одноразовые скрипты живут мало.

Одноразовый скрипт пишется на выброс. Значит, можно забыть многие правила, пренебречь концептуальной чистотой кода (к примеру, нужен отдельный метод, а мы лямбду написали и т.п.) — от него требуется простота ("настолько простой, что любому будет видно, что в нём нет ошибок" ©) и, собственно, работоспособность (иногда скорость выполнения, но тогда есть смысл соблюдать правила ).
Как результат — сокращается время написания.

Для одноразовых скриптов не подходит...

...ИМХО: всё то, что безвозвратно удаляет или искажает данные. Удаление файлов, запись в оригинальный файл (не копию).

---

К теме топика ещё в конце кусочек. А так далее идёт борьба с мельницами при помощи велосипедоварения (возможно, описываемая ниже идея — баян, но она упорно не гуглится и знакомые о ней ничего не знают )

Долой препятствия!

Можно делать так:

• Создаётся файл, куда-то сохраняется, в нём пишется скрипт, отдаётся интерпретатору, правятся синтаксические/логические ошибки, выполняется работа, результат куда-то сохраняется, файл удаляют или забывают про него. Меня всегда раздражала процедура сохранения куда-нибудь файла, а мусорить где попало мне не хотелось.
  
• Открывается интерпретатор с возможностью исполнения кода "на лету", в нём пишется скрипт (правятся ошибки...) и исполняется. Часто в интерпретаторах неудобно получать результат и редактировать код .
  
• Открывается IDE... Для одноразового скрипта, ИМХО — перебор и это будет только отталкивать от их написания.

Я предлагаю пойти дальше. Скрипт может исполнятся из любого окна, в котором можно вводить текст и откуда можно скопировать данные! Хоть блокнот, хоть адресная строка браузера (концептуально; я предпочитаю исполнять скрипты, записывая их в Notepad++ или открытом окошке блокнота (совсем мелкие)).

Изобретаем велосипед с изменяемой геометрией колеса.

Для вышеуказанного нам потребуется менеджер горячих клавиш в возможностью повесить запуск программы на комбинацию (или multimedia-клавишу, если у кого есть на клавиатуре) и небольшая написанная нами программа.
На него мы повесим, во-первых, любимый текстовый редактор пошустрее (подсветка синтаксиса используемого скриптового языка — это плюс).
Программа, которую нужно написать, должна:

• 1) Скопировать выделенный текст из текущего окна (под Windows — элементарная посылка Ctrl+C или Ctrl+Insert окну с фокусом ввода);
  
  Далее два пути:
  
• 2.a.1) Создать временный файл, в который записать заранее сформированный stub-файл (написанному на том же скриптовом языке, с подключением всех часто используемых библиотек и своей библиотечки (об этом ниже)) с добавленным скопированным текстом;
  
• 2.a.2) Отдать временный файл на скормление интерпретатору, перенаправив вывод в pipe и заботливо этот вывод запомнить;
  
• 2.a.3) Не забыть удалить временный файл;
  (этот вариант использовал я — он простой, работает в случае, если биндинга со скриптовым языком нет, так можно работать с далеко не скриптовыми, компилируемыми языками; про грабли — ниже);
  
  Либо:
  
• 2.b.1) Используя связку ЯП, на котором пишется программа со скриптовым ЯП (boost::python, нативный python-интерфейс, lua ещё имеет возможность встроиться и т.д.) подключить нужные библиотеки, скормить скопированный текст банальным exec-м, результат выполнения (вывод скрипта) запомнить;
  
  
• 3) Собственно, сохранить результат выполнения. Есть два варианта — поместить его в буфер обмена или поместить его в буфер обмена и вставить в то окно, откуда брали (эмуляция Ctrl+V или Shift+Insert). Я рекомендую изменять это поведение от ключей командной строки, настроив две комбинации клавиш в менеджере — со вставкой и без вставки.
  
  
• 4) Если произошла ошибка (интерпретатор завершился не с нулевым кодом возврата, функция exec выплюнула ошибку) — выдать её пользователю MessageBox-м, например.

Когда где-то год назад мне захотелось сделать вышеуказанное, я состряпал страшненький прототип (C++ + WinAPI), который во время выполнения скрипта светил чёрным консольным окошком. Для ожидания, когда скопируется текст, был использован простой Sleep (лень тогда было делать, да ). И я до сих пор им пользуюсь (пришлось немного исправить в этом году, но это bugfix)! Выкладывать её, думаю, смысла нет, но в общих чертах опишу подводные камни:

• Текст из буфера обмена принимать и устанавливать лучше в UNICODE. Я чуть с ума не сошёл, когда с очередным обновлением винды (тогда использовал ANSI-версии функций) стало зависеть от текущей раскладки — скопируется текст нормально или вся кириллица заменится на вопросительные знаки.
  
• Окну, из которого скопировали, лучше снова дать фокус ввода и вывести его наверх перед вставкой данных.
  
• Ctrl+C у меня не работало на некоторых программах, поэтому я выбрал Ctrl+Insert.
  
• Нельзя забывать про задержки или ожидания, когда окно будет готово к приёму данных.
  
• Возможны грабли с перенаправлением вывода у интерпретатора — к Python пришлось делать workaround.
  
• Stub-файл может содержать подключение нужных библиотек, workaround для какой-нибудь багофичи и т.п. Из-за того, что скопированный текст находится в хвосте stub-файла, при сообщении об ошибке съедет номер строки Но я сделал ровно 10 строк в stub'е, поэтому просто мысленно вычитаю 10 .

Приделываем к велосипеду антикрыло.

В нагрузку у нас получился замечательный калькулятор, позволяющий считать где угодно . Единственное, что меня раздражало — приходилось писать:

print ( 2 + 2 * sin ( 2 ) )
# или:
print 2 + 2 * sin ( 2 )

вместо простого:

2 + 2 * sin ( 2 )

Так же появилась идея сделать предустановленный набор функций и, выбирая одну из них, преобразовывать выделенный текст. Сказано — сделано — уже скрипт на python (+PyQt) копировал выделенный текст и позволял преобразовать его одной из функций, доступных из меню с возможностью замены или сохранения результата в буфере обмена.
К примеру:
Выделяем:

'Container', 'container', False, 'j'

Выбираем в открывшемся по горячей клавише меню (клавиатурой, буквами, а не стрелочками ): "&cpp->&for each", результат вставляется на место выделения:

for ( Container::iterator j = container.begin (); j != container.end (); ++j ) {}

Или:

2+2*sin(2)

Горячая клавиша + x (пункт меню "&xeval") — результат:

3.81859485365

Алгоритм примерно такой:

• При запуске собрать меню из определённых функций;
  
• После выбора пункта меню скопировать текст (на случай, если случайно нажали горячую клавишу, дабы не грохнуть содержимое буфера обмена);
  Можно копировать не текст, а отдавать скопированное пользовательской функции — так можно работать с файлами и со всем, что копируется и может распарситься скриптом.
  
• Если того требует фунция, распарсить текст на аргументы (можно в самой ф-ции... Я использую eval ( '"' + text + '"' ) );
  
• Запустить выбранную функцию, её возвращаемое значение преобразовать в текст, скопировать в буфер обмена и вставить (опционально) туда, откуда взяли.

Т.е. если в первом случае выделенный текст исполнялся как код, то во втором над выделенным текстом производятся заранее определённые манипуляции.

Дальнейшее облегчение скриптостроения.

Можно написать "библиотеку", в которую включать громоздкие и/или часто используемые операции. И подключать её, скажем, в stub-файле.
Для "меню" ("велосипед с антикрылом") у меня определены:

• Изменение регистра текста;
  
• Изменение закодированного через %-ы utf-8 текста;
  
• Открытие Wikipedia-статьи для выделенного слова;
  
• Несколько функций для получения путей к выделенным файлам (абсолютные пути, только имена и т.п.);
  
• eval ( ... );
  
• Несколько функций для работы с C++-кодом;
  
• Копирование полного пути к файлу (explorer при копи)
  
• И т.п.

Для варианта с выполнением кода ("велосипед с изменяемой геометрией колеса") определено несколько функций, но пора их обновить — часть выкинуть, добавить новые

Грабли.

А куда без них?

• Если не реализовать ввод (скажем, input и raw_input в python программа будет беспомощно висеть на фоне);
  
• У меня сильно упрощённый прототип без сохранения состояния, запуском интепретатора и т.п. — естественно, это вело к тормозам. Меню, кстати, тормозит — но это лично моя вина.
  
• Невозможность отладки — можно и прикрутить, но это как-то странно будет выглядеть.
  
• Не нарвитесь на патч Бармина!
  
• Ещё что-то упомянуть хотел, да вот забыл...

Так было сделано у меня:

	Скрытый текст
	В качестве подопытного выбран Python. stub-файл: # -*- coding: cp1251 -*- from __future__ import print_function # привыкаю потихоньку к новому синтаксису from __future__ import unicode_literals # важно! Иначе все строки с кириллицей придётся предварять 'u'. import sys sys.path.append ( r"D:\Development\bin\Python" ) import codecs, my, os, re, random from math import * # :shuffle: не люблю писать math.sin sys.stdout = codecs.getwriter ( 'cp1251' )( sys.stdout, errors = 'replace' ) # это workaround - из-за перенаправления вывода в pipe. # 9 строк вниз для того, чтобы ошибки выводились со строки №10. Параметры командной строки для программы: clipboard_runner run-type wait-time template-file program [program-parameters] run-type — с заменой или нет (-only_copy или -copy_to_place), wait-time — время задержки в ms (для того, чтобы окно успело отреагировать, у меня 150), template-file — имя/путь к stub-файлу, program — что запускать (у меня — Python) [program-parameters] — с какими параметрами запускать Перенаправления stderr в stdout из консоли делается так (рекомендую сделать нормально, через WinAPI pipe или аналог ): 2>&1 У Qt (у меня меню с преднаписанными функциями на python + PyQt) есть фича: при закрытии содержимое буфера обмена не сохранится. Я делал так: # Специально для того, чтобы в Windows сохранилось содержимое буфера обмена после # закрытия программы: app.sendEvent ( QApplication.clipboard (), QEvent ( QEvent.Clipboard ) ) где app — экземпляр QApplication.

Из велосипеда сделать автомобиль.

По-хорошему нужно было сделать программу с опциональным сохранением состояния (сохранение определённых функций on fly), подключающуюся к биндингу скриптового языка, нормальным GUI, кучей настроек, собственным менеджером горячих клавиш...

Создать opensource-проект, чтоли? Хотя, может, никому, кроме меня это не нужно .

---

Возвращаясь к исходной проблеме.

Телепат из меня фиговый. Скорее всего, формат лога сильно сложный, или время обработки его скриптом больше, чем время загрузки в Excel.
Но в бесконечно идеальном сферическом в вакууме мире, где скрипты на Python перемалывают гигабайты данных быстрее, чем бабочка машет крыльями, где в логе отдельным пунктом стоят имя пользователя и посещаемый им сайт, в этом случае (здесь

Автор: kochetkov.vladimir
Дата: 29.04.10

):

Это ж на каком уровне абстракции должны быть эти фильтры, чтобы ими можно было задать что вот сейчас мне нужно найти пользователя, который зашел на mail.ru, создал черновик письма, потом зашел на depositfiles и что-то туда залил, потом открыл этот черновик изменил его (вставил ссылку на закаченный файл), после чего отправил письмо и отпрапортавал об этом по аьске? Причем примерно в такой последовательности, т.к. сотрудников, работавших с теми же сайтами, но иначе было несколько?

я бы сделал фильтрацию скриптом вида:

with open ( r"D:\log.log", "r" ) as file :
    file.readline () # заголовок пропускаем
    for line in file :
        values = line.split ()
        # ...фильтрация...

по вхождению в определённое время (или пропустил бы это даже) и посещению файлов mail.ru и depositfiles и отправке сообщения icq. А уже потом руками среди меньшего числа записей хоть в том же Excel. Хотя раз уж Вы делали через Excel, это там сделать быстрее без промежуточных скриптов.

Здравствуйте, kochetkov.vladimir, Вы писали:

k> Довольно часто, по долгу службы, мне приходится работать с логами корпоративного прокси

Но больше всего меня возмутил совсем другой момент:

k> Это ж на каком уровне абстракции должны быть эти фильтры, чтобы ими можно было задать что вот сейчас мне нужно найти пользователя, который зашел на mail.ru, создал черновик письма, потом зашел на depositfiles и что-то туда залил, потом открыл этот черновик изменил его (вставил ссылку на закаченный файл), после чего отправил письмо и отпрапортавал об этом по аьске?

А у вас после посещения сотрудниками сортира образцы попадают сразу в хранилище или сначала проводится анализ на бак-посев?

Здравствуйте, Sheridan, Вы писали:
S>Приветствую, kochetkov.vladimir, вы писали:

k>> Этот юзкейс является быстрым и эффективным решением ряда моих задач. Почему, собственно, нет?
S>Мне в принципе пофиг, просто в моих глазах ты ниже опустился.

Главное, чтобы я в твоих глазах копать не начал, а так ничего, не страшно. Сегодня опустился, завтра поднимусь

Здравствуйте, IID, Вы писали:


IID>А как ты думаешь, что такое уязвимость (и её эксплуатация) ? Как раз вот непредусмотренная разработчиками "нестандартная" ситуация. Кстати, эксплуатация кривых парсеров различных документов (офис, акробат, медиаплееры) уже лет 5 как популярна. Если юзера заразят через CodeExecution уязвимость, подсунув специально кривосформированный OO документ, ему будет легче от осознания того факта, что разработчики ОО "по-разному" реагируют на "нестандартные" ситуации ? А именно: забив болт на проверку валидности/размеров/etc.

Чисто в целях позанудствовать: скормить наивному пользователю "специально сформированный" лог под гигабайт весом будет сложно

Я бы дал этому use case кодовое название "Извращенец"
Excel конечно более устойчив к таким вещам, т.к. имеет большее распространение и обкатан на самых безумных ситуациях.

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Каждый раз одноразовые скрипты писать?
А почему нет? Вроде, для файла со структурой csv это несложно Или решили, что:

• скрипт не вынес бы такой нагрузки;
  
• быстрее сделать руками, чем придумать скрипт;

?

KV>В этой области, все что мог я уже заавтоматизировал себе немерлом.

Здравствуйте, Eugeny__, Вы писали:

J>>>Наброс на наброс: А все потому, что ОО написан на Java!

D>>А он на C++ написан

E__>Тю, проблема, что-ли?

E__>Наброс на наброс на наброс: А все потому, что ОО написан на С++!

Осталось выяснить вопрос — а при чем же тут собственно ОО?

Здравствуйте, kochetkov.vladimir, Вы писали:

Ты запустил программу на пределе ее возможностей, или даже за пределом. Сколько бы тут ни говорили, что программа на пределе своих возможностей должна все же работать корректно — реально это только благое пожелание. Например, при исчерпании ресурсов GDI во времена NT4 — 2000 можно было без труда довести Windows до состояния, когда переставали изображаться иконки,, меню открывались без пунктов и не там где надо и т.д. Не знаю, поправили ли это сейчас. Но из этого факта отнюдь не следует, что Windows плохая система. Просто не надо от нее требовать того, чего она не может в силу своих особенностей. У тебя то же самое. Ты попытался использовать OO на пределе, ну он и прореагировал...

Но из того, что на пределе своих возможностей ПО работает даже пусть совсем неправильно — не надо делать вывод о его непригодности. Разгоняя процессор, можно выести его из строя. Но это не причина хаять процессоры — если над ними не издеваться, они обычно нормально работают.

Здравствуйте, kochetkov.vladimir, Вы писали:

А вот мой опыт домашнего использования ОО вполне позитивен. Да, бывает, что падает. Но я бы сказал частота сравнима с МС Офисом. При этом например, я потоянно редактирую и читаю и документы 2003 и 2007 офиса — конвертирует довольно быстро и корректно. Документы Ворда 2007 Writer показывает лучше, чем например халявный MS Word Viewer.

ОО — лучшая бесплатная альтернатива МС Офис. Согласен с Vamp — чему радоваться, если в каких-то случаях приложение работает хуже? Огорчаться надо. Идти в баг-трекер, добавить туда эту информацию, помочь пофиксить баг, хотя бы предоставлением информации о нем, а не радостно в флейм бежать. А то получается, извините, что сами же срем там, где едим, а потом еще жалуемся, что это опен-сурс плохой.

Приветствую, kochetkov.vladimir, вы писали:

k> Этот юзкейс является быстрым и эффективным решением ряда моих задач. Почему, собственно, нет?

Мне в принципе пофиг, просто в моих глазах ты ниже опустился.

Здравствуйте, Antikrot, Вы писали:

S>>Разбивай задачу на атомарные действия (найти человека (клиентский комп), найти скачивание файла...). По необходимости дописывай новые атомы. А затем из атомов составляй запрос, подставляя нужные параметры.
A>молодец, изобрёл sql кстати, в чём отличие от фильтра в excel-е? кроме NIH естественно.

— последовательной обработкой документа без необходимости держать его в памяти целиком
— потенциальной возможностью конвееризации действий (например просмотр в экселе уже отфильтрованных результатов)

Здравствуйте, Sheridan, Вы писали:

S>Приветствую, neFormal, вы писали:

F>> S>А както мамут высказался, мне и понравилось. Очень хорошее слово. Явно нехорошее, но в то же время произнести трудновато. Следовательно произносится сие слово только когда ну совсем нехорошо.

F>> тебя линуксу тоже во дворе научили мальчики?.

S>Линуксу я научился сам. Вот этими вот руками...
S>
волосатыми.....

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут

Домохозяйки парсить будут в gnumeric из состава Gnome Office, потому что OOCalc таки и в самом деле противопоказано большие документы подсовывать. Как-то дал ему экселевскую таблицу размером 90 с чем-то мегабайт. OOCalc (в Linux) выжрал всю свободную оперативную память (около 3.7 Гб) и рухнул, автоматически пришибленный (свопа у меня нет). Gnumeric же файл нормально открыл через десяток секунд.

К сожалению, у Gmumeric-а есть свои недостатки, он в целом менее правильно понимает .xls — файл и в случае действительно сложных документов предпочтительнее OOCalc, если он его, конечно вообще суммеет открыть. Но с чисто .csv или не слишком сильно замороченными xls работает хорошо. Хотя, должен отметить, Gnome Office не очень заметно, но потихоньку совершенствуется, может и переплюнет OOo.

А идеальных программ нет. Помню у меня Word тупо вис при попытке открыть пустой файл большого объёма с расширением .doc

Здравствуйте, kochetkov.vladimir, Вы писали:

k> AB>P.P.S. На работе часто приходится анализировать логи под несколько гигабайт. Твой способ "через эксель" позабавил
k> Тем не менее, он работает и замены не просит

а) Штатные утилиты работы с текстом (я про грепы) могут справиться куда быстрее. Как минимум, ими можно отфильтровать на начальном этапе потенциально интересующие данные, а не грузить портянку в десятки лямов строк сначала по сети, а потом в эксель.

б) Есть куда менее затратный способ импорта CSV в инструмент с большими возможностями по выборкам — BULK LOAD в БД. Так, например, MySQL просасывает 100MB файлик секунд за 5 и время почти линейно зависит от объема. Уверен, что MSSQL сделает это за сопоставимое время и уж точно не будет ругаться на количество строк. В конечном итоге, старый добрый Access так же может цеплять CSV и работать с ними как с таблицами (по крайней мере в 97 офисе умел).

k> AB>P.P.P.S. [troll mode on] Получается, ты наглядно продемонстрировал убогость винды и офиса [troll mode off]
k> Тем не менее, вот он этот файл и вот оно 100% воспроизводимое падение. Ок, посыл понятен, дело видимо не в объемах, а в содержании. Попробую найти то место, на импорте которого он крэшится.

ОК. Было бы интересно воспроизвести у себя.

Здравствуйте, kochetkov.vladimir, Вы писали:

AV>>>>Есть еще куча всего. Но там уже нужно хотя бы немного описывать детали. Если кого-то заинтересует, то могу как-нибудь поделиться.

KV>>>Ок, общая картинка проблем понятна. С каким открытым продуктом будем сравнивать?
AV>>На твое усмотрение

KV>Прикольно. Мне неизвестен ни один открытый продукт со сходным функционалом

Угу. Мне тоже. Можеть быть в SLES или RHEL и есть что-то подобное. С администрированием этих дистрибов я практически не сталкивался. Но в обычных дистрибах, действительно, ничего подобного нет. А догадываешься почему? Правильно. Потому что эта фигня никому не нужна. Чувствую сейчас посыплется град обвинений, что я не прав, что я просто не понимаю всех фишки сего, что я предвзят и т.д. Но прежде чем это писать, сначала стоит посмотреть как широко используется MMC. Правильно. Практически никто кроме MS и не использует. Потому что MMC предоставляет практически ничего, что может дать какой-то видимый положительный момент. Зато ограничениями и геморроем обеспечивает надолго.

Причем сама MS использует MMC лишь для очень простых вещей. Чуть что-то сложнее и все, пошли отдельные продукты. См. например Hyper-V Manager (MMC snap-in) и System Center Virtual Machine Manager. Первый можно использовать когда у тебя пара-тройка хостов с Hyper-V. Как только начинаешь использовать Hyper-V в промышленных масштабах, то придется покупать SCVMM. Иначе работать не сможешь.

Володя, а чему ты, собственно, радуешься? Это же очень печально — что бесплатное приложение ОпенОфис уступает Екселю. То есть я понимаю, когда этому факту радуется господин Болмер — у него от этого рожа толще.
А нам, простым потребителям, лучше бы наоборот... нет?

Казалось бы, выбрать время, сесть и написать на том-же перле скрипт, который выгрызает из лога самое интересное и сохраняет в html.
Ан нет, неспортивно, бджалд, мы идем своим путем...


Меня к примеру часто просят свести несколько эксцель-табличек в одну, объединяя по некоторым полям. Консоль-перл, и как правило через пять-десять минут результат уже у просившего. И заметь, возможно пять-десять минут и много для объединения пары табличек в одну, но дело в том, что и при двухсот табличках это опять-же пять-десять минут.

Здравствуйте, alpha21264, Вы писали:

A>Здравствуйте, kochetkov.vladimir, Вы писали:


A>[Skip]

KV>>И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.

KV>>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут

A>1) kochetkov.vladimir — это зеркальное отражение Шеридана.

Нет, т.к. я не являюсь сторонником коммерческого ПО. При выборе используемого продукта я руководствуюсь исключительно прагматичными соображениями, а не отталкиваюсь от идеологий, самого факта необходимости платить за ПО и т.п. Просто выбираю то, что наиболее полно удовлетворяет мои нужды при прочих равных.

A>2) Есть серьезные сомнения в честности kochetkov.vladimir.

Зуб даю.

A>Если Винда отработает лучше Линукса, он прибежит на форум и будет этим фактом
A>как флагом размахивать, если наоборот — смолчит.

Нет, это не так. Когда открытый продукт получается лучше чем коммерческий, я тут об этом также рассказываю. Правда сами эти факты находят меня крайне редко. Согласен, проблема видимо во мне, а не в частоте этих фактов.

A>3) Open Office скорее всего запускался под Виндой.

Конечно, если бы внимательно читал, то "скорее всего" бы не возникло.

A>4) Open Office — это все-таки не Юникс-вей. Это костыль для тех, кто пришел с Винды.

А не было мысли, что из-за вот этого труъ-юниксвея (это TeX\LateX, что-ли?), массовый переход на линукс до сих пор и не состоялся?

"kochetkov.vladimir" <24665@users.rsdn.ru> writes:

> Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти
> задачи не предназначен

Да я не уверен, что и MS Office под эти задачи затачивался

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Довольно часто, по долгу службы, мне приходится работать с логами корпоративного прокси (как правило, расследуя инциденты об инсайдерстве). Никаких проблем с этим нет, логи ежедневно прогружаются в удобную business intelligence систему с элементами корелляции событий безопасности, к которой можно делать практически произвольные запросы. Есть также пара самописных приблуд, позволяющих получать из ее же хранилища простенькие выборки в формате сырых логов с целью дальнейшего их низкоуровневого анализа.
Тааааак... А где же SOC оборудованный по последнему слову техники?
ТКП на Symantec SIM + Symantec DLP не прислать?

KV>формат w3c, кто не знает: по сути, это текстовый CSV c разделителями в виде табуляции
CSV, если кто не знает, это типа Comma Separated Values

KV>оба ядра были заняты на 50-60%
У меня иной раз вставка картинки в ворд ставит всю систему раком (это к твоим претензиям ниже )...


KV>Стало интересно, а как себя поведет в такой ситуации OO? Скачал виндовый 3.2.0 build 9483, поставил, жму открыть, выбираю файл с логом. Оно просто зависло минут на 20 (вместе со всем остальным, т.к. проц был нагружен на 95-100%%), после этого я не выдержал и пошел курить, вернувшись — увидел на экране диалог с вопросом о том, в какой кодировке мой лог (а я откуда это знаю?) и какие там используются переносы строк — юниксовые или нет (а что, ему самому слабо было это распарсить?). Ок, кодировку оставил по умолчанию, указал, что переносы виндовые и вперед... Начав загружаться довольно шустро, оно прогресс-баром дошло где-то до 2/3 и намертво повисло (вместе со всем остальным). Висело около 10 минут, после чего тупо рухнуло вот с такой ошибкой:
Это было смело, учитывая, что OO все-таки на джаве писан...

KV>И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.
Хм.. Офис я ставлю раком по 10 раз на дню, причем чес-слово не специально...
Про excel мои коллеги уже много всего интересного и не всегда цензурного услышали... Тем не менее — как-то приходится мириться... Ну у нас-то ладно — все на халяву

KV>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут
Ну вы хоть Sawmill купите... А так — конечно, не предназначен

Приветствую, kochetkov.vladimir, вы писали:

k> Это ж на каком уровне абстракции должны быть эти фильтры, ...
k> И, боюсь, что если бы я таки-разработал такую систему "фильтрации", то на ближайшие несколько лет необходимости зарабатывать на существование просто не было бы

А в чем сложность? Не знаю как ты, но я примерно представляю как все это должно выглядеть.
Разбивай задачу на атомарные действия (найти человека (клиентский комп), найти скачивание файла...). По необходимости дописывай новые атомы. А затем из атомов составляй запрос, подставляя нужные параметры.

Если бы все думали как ты ("ой, это сложно, значит — невозможно"), то никаких бы netflow не было бы.

Здравствуйте, alpha21264, Вы писали:

A>1) kochetkov.vladimir — это зеркальное отражение Шеридана.
Неее.
Отзеркаливают Шеридана такие личности как gandjustas и Ikemefula.
Но не Кочетков, нет.

A>2) Есть серьезные сомнения в честности kochetkov.vladimir.
A>Если Винда отработает лучше Линукса, он прибежит на форум и будет этим фактом
A>как флагом размахивать, если наоборот — смолчит.
Я не видел еще ни одного который бы одинаково размахивал флагом в обоих случаях.
И это нормально.

A>3) Open Office скорее всего запускался под Виндой.
Раз его официально выпустили под виндой то почему бы его и не запускать под виндой?

A>4) Open Office — это все-таки не Юникс-вей. Это костыль для тех, кто пришел с Винды.


A>5) Я уже 10 лет не пользовался MS Office. Не нужно. Совсем. Ни для чего.
Рад за тебя. И что?

Здравствуйте, Vamp, Вы писали:

V>Володя, а чему ты, собственно, радуешься? Это же очень печально — что бесплатное приложение ОпенОфис уступает Екселю.

Это закономерность — в коммерческих продуктах бакфикс есть результат маркетинга и менеджмента.

Опенсорс же вообще на 90% такой булшит, что что хочется блевать местами, ибо проекты никак не управляются а маркетинга нет и близки.

Исключение — продукты гигантов вроде ИБМ, которые используют опенсорс как легальный демпинг.

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Здравствуйте, Sheridan, Вы писали:
S>>Приветствую, kochetkov.vladimir, вы писали:

k>>> А ничего, что "самое интересное" у меня почти всегда разное? Каждый раз одноразовые скрипты писать? В этой области, все что мог я уже заавтоматизировал себе немерлом.
S>>Веником не прикидывайся, ладно? В скрипт параметры фильтрации пробабушка завещала не передавать?

KV>Это ж на каком уровне абстракции должны быть эти фильтры, чтобы ими можно было задать что вот сейчас мне нужно найти пользователя, который зашел на mail.ru, создал черновик письма, потом зашел на depositfiles и что-то туда залил, потом открыл этот черновик изменил его (вставил ссылку на закаченный файл), после чего отправил письмо и отпрапортавал об этом по аьске? Причем примерно в такой последовательности, т.к. сотрудников, работавших с теми же сайтами, но иначе было несколько? А через пару дней, мне понадобилось найти человека, планомерно (причем, в течении месяца, а не за один день) искавшего на всевозможных форумах и досках объявлений спрос на определенного рода услуги. Это какими параметрами фильтра прикажешь задавать? И повторяющихся задач реально немного, и они все уже давно "обскриптованы".

KV>И, боюсь, что если бы я таки-разработал такую систему "фильтрации", то на ближайшие несколько лет необходимости зарабатывать на существование просто не было бы

Пока за простым корпоративным тружеником шпионят с помощью унылого Excel, можно быть спокойным за своё прайваси.

Здравствуйте, ambel-vlad, Вы писали:
AV>Здравствуйте, kochetkov.vladimir, Вы писали:

AV>Слабенький какой-то вброс. Я могу написать тебе подобных историй про Management Console, что несколько дней будешь читать.

На выходных имел необходимость заставить mmc работать под winpe 3.0 (вот такие хреновые выходные, да). Как я теперь тебя понимаю...

Здравствуйте, Dzirt2005, Вы писали:

KV>>>И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.

KV>>>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут

J>>Наброс на наброс: А все потому, что ОО написан на Java!

D>А он на C++ написан

Тю, проблема, что-ли?

Наброс на наброс на наброс: А все потому, что ОО написан на С++!

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Что имело место при работе с OO Calc?

KV>1) Сразу после выбора файла он весьма долго тормозил непонятно на чем, тормозя при этом весь комп. После этого задал мне вопросы, непонятно каким боком относящиеся к текущему процессу с одной стороны, и непонятно почему интересующие его, т.к. он и сам мог за это время найти на них ответ, с другой.
KV>2) Во время импорта я мог делать все что угодно, кроме работы за компом, ибо "звиняй хлопец, я тут твой лог гружу, нехрен мне мешать..."
KV>3) В результате чего, он упал с невнятной ошибкой (причем, сообщение об ошибке было виндовое, ОО скорее всего и не успел осознать, что он падает)
KV>4) Предложил повторить то, что уже закончилось с ошибкой в прошлый раз (мазохисты детектед) и таки свалился в такую же ошибку.
KV>5) Напоследок, предложил еще и оценить продемонстрированное им качество (тролль-моде детектед).

KV>И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.

KV>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут

Я не разработчик ПО, а всего лишь пользователь OpenOffice.org, и задачи у меня куда мельче.
Однако читал, что OO.O не очень подходит для работы с файлами огромных размеров — ЕМНИП, из-за формата хранения данных.

Здравствуйте, Lazytech, Вы писали:

L>Заранее извиняюсь, если глупость скажу. А как же уязвимость, найденная Дэном Камински? Или это не из той оперы?
Ну как бы — зачем ломать DNS сервер, который ты и так контролируешь (речь же о корпоративной среде).

Ну а по поводу этой "уязвимости" — если я нашел таки правильное описание, то общей идее с TID'ами сто лет в обед, идея дополнительного RR — видимо более новая и она просто сделала более применимой давно известную атаку. Вот и все. Ну а журналюги, естественно, раздули все ух как...

Здравствуйте, Lazytech, Вы писали:

L>Заранее извиняюсь, если глупость скажу. А как же уязвимость, найденная Дэном Камински? Или это не из той оперы?

Это не из той оперы, а из той — это ошибка в протоколе TLS, вернее в реализациях, суть в том, что можно устроить так, что защищенное https соединение устанавливается повторно без повторного запроса сертификатов. Это не позволяет перехватить в смысле расшифровать https-сессию, но позволяет подменить пользователя.

Здравствуйте, DOOM, Вы писали:

L>>Заранее извиняюсь, если глупость скажу. А как же уязвимость, найденная Дэном Камински? Или это не из той оперы?
DOO>Ну как бы — зачем ломать DNS сервер, который ты и так контролируешь (речь же о корпоративной среде).
DOO>Ну а по поводу этой "уязвимости" — если я нашел таки правильное описание, то общей идее с TID'ами сто лет в обед, идея дополнительного RR — видимо более новая и она просто сделала более применимой давно известную атаку. Вот и все. Ну а журналюги, естественно, раздули все ух как...
Не совсем. Каминский реально нашёл "новую" багу, хотя она была на поверхности.

Хотя возможность таких багов была известна давно, поэтому DJB в своём djbdns и предусмотрел заранее рандомизацию портов.

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Здравствуйте, Anton Batenev, Вы писали:

AB>>P.P.S. На работе часто приходится анализировать логи под несколько гигабайт. Твой способ "через эксель" позабавил

KV>Тем не менее, он работает и замены не просит

AB>>P.P.P.S. [troll mode on] Получается, ты наглядно продемонстрировал убогость винды и офиса [troll mode off]

KV>Тем не менее, вот он этот файл и вот оно 100% воспроизводимое падение. Ок, посыл понятен, дело видимо не в объемах, а в содержании. Попробую найти то место, на импорте которого он крэшится.

Владимир, дело в том, что в Ubuntu Linux(а так же в openSUSE), используется патченая сборка OpenOffice.org, называется GO-OO.

В ней убрано ограничение в 65536 строк, и добавлены всякие патчи, в том числе ускоряющие работу.

Есть сборка под винду.

Здравствуйте, Alexey F, Вы писали:


AF>P.S.
AF>А Pymacs код на Python из комментария в файле с кодом на Си без копирования в другой буфер выполнить может?

Конечно может, какой вопрос. Выделяете блок кода, набираете "M-x python-eval-region"(имя функции точно не помню). При регулярном использовании назначаете клавиши на вызов этой функции.

Здравствуйте, Vamp, Вы писали:

V>Володя, а чему ты, собственно, радуешься? Это же очень печально — что бесплатное приложение ОпенОфис уступает Екселю. То есть я понимаю, когда этому факту радуется господин Болмер — у него от этого рожа толще.
V>А нам, простым потребителям, лучше бы наоборот... нет?

Я не радуюсь неудачам опенсорса и не являюсь его противником. Просто тут кое-кто с пеной у рта доказывал, что ОО не хуже MSO и я совсем чуточку радуюсь его неправоте. Это разные веши. Я же, самым наглым образом использую продукты с открытым кодом и в своей повседневной жизни и в работе. Могу их даже перечислить, если это кому-нибудь интересно. Как можно заметить по подписи, я также по мере своих скромных возможностей, стараюсь принимать участие в одном из открытых проектов, который в последнее время использую в работе особенно цинично. Я однозначно за то, чтобы качество любого открытого ПО росло с каждым днем и составляло серьезную конкуренцию коммерческому ПО, а не как сейчас. И, таки-да, так будет лучше для всех потребителей по целому ряду причин.

Но также, лично я, вижу несколько вещей в идеологии открытого ПО и его сторонниках, которые несовместимы с понятием "качественный продукт". Причем, чем дальше в лес, тем толще партизаны, тем сильнее проявляются эти вещи и влияют на развитие окрытого ПО не в самую лучшую сторону. Но это — тема отдельного серьезного разговора, вообще-то.

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>

Создал big.csv

1.upto(1000000) { |i|
    $stdout.write("abcdef,#{i},#{i},111111,#{i},#{i},abcdef,111111111\n")
}

OO 3.1 (winxp) проглотил в секунду за милую душу (оно и понятно из картинки — почему), дал ошибку о превышении кол-ва строк


OO 3.1 (ubuntu 9.10) жевал ~2 минуты, импортировал все:


Наверное, файл мелкий, и версия не та?

Здравствуйте, kochetkov.vladimir, Вы писали:

AV>>Слабенький какой-то вброс. Я могу написать тебе подобных историй про Management Console, что несколько дней будешь читать.

KV>Я тебе даже больше скажу. Я потом еще и несколько дней на них отвечать буду, а ты, я надеюсь, мне. Потом подтянется местная публика... Йоу, у нас теперь есть чем тут заняться на ближайший месяц

KV>Я в смысле, ты пиши давай, раз есть что, а там посмотрим, кто сколько дней чего читать будет.

Начну с банальностей.
1. Создаем не сильно навороченное дерево. Когда кол-во узлов станет приближаться к полутысяче начинаются регулярные вылеты консоли. Причем вылеты в unmanaged dll.
Про быстродействие и говорить уже нечего.

2. MMC используется AppDomain. Сама работает в одном домене. А snap-in'ы грузит в другие сборки. Это сделано для того, чтобы вылет одного snap-in не выносила остальные. В одной сборке можно хранить несколько snap-in. Теперь попробуй угадать как будут загружаться эти несколько snap-in. Если в один msc-файл добавляется несколько snap-in разных типов, то будут ли они грузиться в один домен или в разные? Если в один msc-файл добавляется несколько snap-in одного типа, то будут ли они грузиться в один домен или в разные? Попробуй угадать, прежде чем читать дальше. Правильные ответы: 1 — разные домены, 2 — один. Интересно было бы увидеть обяснение в чем заключается различие в этих ситуациях.

3. Продолжим тему нескольких экземпляров snap-in одного типа. Никаких идентификаторов snap-in найти не удалось. То есть если мы где-то (например, в реестре) сохраним настройки каждого экземпляра. Как при загрузке snap-in разобраться где чьи настройки?

4. Продолжим тему настроек. Кто-то скажет, что нечего хранить настройки абы где, а пользоваться предоставленными механизмами. Да, Management Console предусматривает механизм сохранения настроек каждого из snap-in. В документации честно написано, что если выставить флажок, что данные snap-in изменились, то вызывается функция в которой я могу отдать данные для сохранения настроек. Все классно. Вот только в документации забыли написать, что если в msc-файле есть аттрибут LogicalReadOnly равный true, то плевала консоль на все эти флажки. И никто не будет беспокоить snap-in по этому поводу, пусть этот флажок в каждой второй строке устанавливается.

4. Продолжим тему msc-файла. Что это такое и какой у него формат нигде не сказано. В общем пришлось быть обезьянкой. Смотрим msc-файлы, которые идут в винде и пытаемся угадать что нам нужно.

5. Вернемся к настройкам. Положим разобрались мы с LogicalReadOnly и настройки у нас сохраняются. Где они хранятся? Правильно. C:\Users\%USERNAME%\Application Data\Microsoft\MMC\. В этом каталоге находится файлик совпадающий с именем нашего msc-файла. А что будет если в системе окажется два продукта, которые имеют msc-файлы с одинаковым именем? Далее еще веселее. Что будет если мы снесем продукт, а потом поставим заново? Правильно, все старые данные подымутся. Что не есть правильно. Кто-то может сказать, что если нас не удовлетворяет такое поведение, то при uninstall надо самим удалять файлики с настройками. У кого удалять?

6. Про документацию предпочту помолчать. Ибо "обнять и плакать". Больше сказать нечего.

Есть еще куча всего. Но там уже нужно хотя бы немного описывать детали. Если кого-то заинтересует, то могу как-нибудь поделиться.

Здравствуйте, Michael7, Вы писали:

M>Правильный https не поломаете без закладки на машине пользователя, пазве только его работу можете нарушить. По крайней мере, если "у нас" — это не в АНБ или хотя бы сильно не рядовой отдел ФСБ, но тогда думаю об этом сюда никто не писал бы
Да поломаешь, поломаешь. Не забывай, что в корпоративной среде компьютеры пользователей "особые", например, они все доверяют корпоративному центу сертификации... Дальше понятно — прокси выдается сертификат подчиненного ЦС, прокси генерит нужный сертификат для каждого https соединения и терминирует соединение на себе — вот и все. Самый обыкновенный человек-по-середине.

Здравствуйте, DOOM, Вы писали:

DOO>Чисто в целях позанудствовать: скормить наивному пользователю "специально сформированный" лог под гигабайт весом будет сложно

Учитывая, что родные форматы жмутся зипом — совсем нет.

Здравствуйте, Cyberax, Вы писали:


C>Не совсем. Каминский реально нашёл "новую" багу, хотя она была на поверхности.
Он нашел возможность травить весь домен за счет обработки дополнительных RR, если я правильно понял — подобных атак за последние лет дцать было штуки 3 минимум — однако никто не поднимал такой вопль...


C>Хотя возможность таких багов была известна давно, поэтому DJB в своём djbdns и предусмотрел заранее рандомизацию портов.
Это слабо поможет. Это эквивалентно тому, что TID стал 32-х битным. Для борьбы с парадоксом дней рождений это все еще слишком мало.

Здравствуйте, Michael7, Вы писали:

M>Вот только внешний сервер вряд ли доверяет корпоративному центру сертификации.
Причем тут внешний сервер?

M>Я это к тому, что даже если соединение, скажем с gmail, и получится таким образом, всё равно, можно будет заметить, что сертификат не гугловский.
А вот ты заметь. Дай бог, чтобы человек обратил внимание на предупреждение браузера о сертификате, не прошедшем проверку доверия, а уж чтоб кто-то заметил, что сертификат gmail.com выдан не Thawte, а корпоративным ЦС — это вообще фантастика.

M>И я сильно подозреваю, что немодифицированный Firefox сильно удивится этому, настолько сильно, что явно сообщит пользователю.
Ничему он не удивится. И я это не подозреваю, а знаю. Такая вот она инфраструктура открытых ключей.

Здравствуйте, Alexey F, Вы писали:

AF>Здравствуйте, kochetkov.vladimir, Вы писали:

AF>>>быстрее сделать руками, чем придумать скрипт;
KV>>Именно поэтому. Если задача возникает нечасто и мне быстрее сделать ее руками, чем садиться за скрипт, то я делаю это руками, до тех пор пока... (см. "если").

AF>Я тут немножко попропагандирую одноразовые скрипты, можно?
AF>Вы это и без меня, скорее всего, знаете, но может кого-то убедит больше автоматизировать.

Нет смысла оверквотить Ваше замечательное письмо, но тот велосипед, который Вы столь блистательно изобрели, это Emacs.
Применительно к питону — добавляем Pymacs.

Здравствуйте, Воронков Василий, Вы писали:

ВВ>Здравствуйте, kochetkov.vladimir, Вы писали:

KV>>Меня этот баг заинтересовал тем, что он очень похож на уязвимость через повреждение памяти. Поэтому, хочу на выходных заняться его исследованием, а потом им конечно напишу.
ВВ>А зачем тогда вообще этот пост? Показать, как можно воспользоваться такой уязвимостью?

Я выше, в ответе Vamp'у объяснил зачем.

ВВ>>>А то получается, извините, что сами же срем там, где едим, а потом еще жалуемся, что это опен-сурс плохой.
KV>>Не, это не ко мне. Я всегда извините, сру в одних местах, а ем в других

ВВ>Непохоже. Ты или пользуешься ОО, или нет. Если пользуешься, то непонятно,

Я не пользуюсь ОО и скачал его сегодня, исключительно ради того, чтобы создать эту тему. Если бы ОО справился с задачей, или чего похлеще, справился бы с ней лучше MSO, то я также бы написал об этом.

ВВ>зачем подробно и радостно описывать его эксплоиты на посещаемом форуме.

Ага, "просто незаметно подсуньте юзеру специально-подготовленный текстовый файл мегабайт на 800 и, когда он его несомненно откроет, вы выполните на его машине произвольный код".

P.S: Я знаю — скотина, не совместимая с моралью многих здешних участников, да и вообще окружающих меня людей, да.

Приветствую, kochetkov.vladimir, вы писали:

k> А ничего, что "самое интересное" у меня почти всегда разное? Каждый раз одноразовые скрипты писать? В этой области, все что мог я уже заавтоматизировал себе немерлом.

Веником не прикидывайся, ладно? В скрипт параметры фильтрации пробабушка завещала не передавать?

Здравствуйте, Lazytech, Вы писали:

L>Возможно, разные программы просто по-разному реагируют на нестандартные ситуации?

А как ты думаешь, что такое уязвимость (и её эксплуатация) ? Как раз вот непредусмотренная разработчиками "нестандартная" ситуация. Кстати, эксплуатация кривых парсеров различных документов (офис, акробат, медиаплееры) уже лет 5 как популярна. Если юзера заразят через CodeExecution уязвимость, подсунув специально кривосформированный OO документ, ему будет легче от осознания того факта, что разработчики ОО "по-разному" реагируют на "нестандартные" ситуации ? А именно: забив болт на проверку валидности/размеров/etc.

Здравствуйте, Pavel Dvorkin, Вы писали:

PD>Здравствуйте, kochetkov.vladimir, Вы писали:

PD>Ты запустил программу на пределе ее возможностей, или даже за пределом. Сколько бы тут ни говорили, что программа на пределе своих возможностей должна все же работать корректно — реально это только благое пожелание. Например, при исчерпании ресурсов GDI во времена NT4 — 2000 можно было без труда довести Windows до состояния, когда переставали изображаться иконки,, меню открывались без пунктов и не там где надо и т.д. Не знаю, поправили ли это сейчас. Но из этого факта отнюдь не следует, что Windows плохая система. Просто не надо от нее требовать того, чего она не может в силу своих особенностей.


Увы, из этого всё-таки следует, что Windows была плохо спроектирована. Я не хочу сказать, что Linux тут сильно лучше, потому что знаю, что есть несколько простых способов, работая под обычным пользователем, его затормозить до невменяемого состояния.

Меня в своё время учили при решении математических уравнений и построении графиков функций обязательно вычислять область допустимых значений. Поначалу мне это казалось блажью, но потом заценил, потому что очень полезно, помогает не вывести якобы правильное, но неверное решение. Так и при правильном проектировании ОС, да и любой программы, по-хорошему, должны определяться пределы её функционирования и не позволять прикладным программам, работающим от непривилегированного пользователя, вводить ОС в ступор.

Конечно, эксплуатация ОС или конкретной программы может быть рассчитана на определённую среду и условия, в которых разработчик считает, что подобных проблем не возникнет, но по-хорошему, тогда надо эти нюансы отдельно оговаривать.

Правда, отмечу, что в Linux, всё-таки, можно настроить лимиты так, что прикладная программа не отожрет ресурсов, больше, чем администратор дал ей.


PD> У тебя то же самое. Ты попытался использовать OO на пределе, ну он и прореагировал...

Неправильно прореагировал, к сожалению. Хотя, если есть где-то формальное предупреждение, что такие объёмы не для OO, тогда виноват пользователь, не читавший документацию

PD> Разгоняя процессор, можно выести его из строя. Но это не причина хаять процессоры — если над ними не издеваться, они обычно нормально работают.

Разгон процессора — это уже эксплуатация за пределами, гарантированными изготовителем.

Здравствуйте, kochetkov.vladimir, Вы писали:

k> Оно у меня действительно падало, и есть подозрение, что падало оно не только из-за объема лога, но и из-за объема содержимого ячеек. Попробуй сгенерировать такой же файл, но в котором, хотя бы в одном из столбцов (а лучше, в нескольких) будет не менее 2048 символов на каждую строчку.

1258014 строк * 2048 символов = 2.4GB (а у тебя 718 метров). Пробуем соблюсти число строк и объем. Генератор:

<?php

$s1 = str_repeat("1234567890", 80);

for ($i = 0; $i < 1258014; $i++)
    echo strval($i) . "\t\"" . $s1 . "\"\n";

?>

Файл получился размером 972M. Открываем его в ОО — он сразу предложил нужные разделители (кодировка здесь не актуальна). Жмем "ОК". Начали в ~01:35, закончили в ~01:42 с сообщением об ошибке "Превышено максимальное число строк. Строки, превышающие заданное число, не были импортированы!". Жмем "ОК", смотрим количество строк: 1048575.

Железо: CPU T1400@1.73GHz, 1GB RAM

P.S. Во время конвертации спокойно читаем RSDN, т.к. занято всего одно ядро из двух, а 972 метра почти влезут в оперативку без интенсивного свопинга (хотя 200 метров оно все же откушало).

P.P.S. На работе часто приходится анализировать логи под несколько гигабайт. Твой способ "через эксель" позабавил

P.P.P.S. [troll mode on] Получается, ты наглядно продемонстрировал убогость винды и офиса [troll mode off]

Здравствуйте, Anton Batenev,
AB>А у вас после посещения сотрудниками сортира образцы попадают сразу в хранилище или сначала проводится анализ на бак-посев?

Не смешно. Если считаешь, что эта часть моей работы доставляет радость, то ты сильно ошибаешься сейчас. А ковыряться зачастую приходится именно что в натуральном дерьме и ради чего? ... Вот скажи, если нерадивый сотрудник твоего сотового оператора сольет куда-нибудь твои ПДн или детализацию, ты, придя в их офис, будешь продолжать защищать права их сотрудников или таки-вспомнишь о своих?

И ты зря думаешь, что у вас в конторе данный процесс поставлен принципиально иначе

Здравствуйте, IID, Вы писали:

L>>Возможно, разные программы просто по-разному реагируют на нестандартные ситуации?

IID>А как ты думаешь, что такое уязвимость (и её эксплуатация) ? Как раз вот непредусмотренная разработчиками "нестандартная" ситуация. Кстати, эксплуатация кривых парсеров различных документов (офис, акробат, медиаплееры) уже лет 5 как популярна. Если юзера заразят через CodeExecution уязвимость, подсунув специально кривосформированный OO документ, ему будет легче от осознания того факта, что разработчики ОО "по-разному" реагируют на "нестандартные" ситуации ? А именно: забив болт на проверку валидности/размеров/etc.

К сожалению, я всего лишь пользователь, а не профи в программировании, тем паче в эксплоитах.
Возможно, разработчикам OO.o уже известно о найденном топикстартером баге и они его пытаются как-то пофиксить?

Здравствуйте, Michael7, Вы писали:

M>Увы, из этого всё-таки следует, что Windows была плохо спроектирована. Я не хочу сказать, что Linux тут сильно лучше, потому что знаю, что есть несколько простых способов, работая под обычным пользователем, его затормозить до невменяемого состояния.

M>Меня в своё время учили при решении математических уравнений и построении графиков функций обязательно вычислять область допустимых значений. Поначалу мне это казалось блажью, но потом заценил, потому что очень полезно, помогает не вывести якобы правильное, но неверное решение. Так и при правильном проектировании ОС, да и любой программы, по-хорошему, должны определяться пределы её функционирования и не позволять прикладным программам, работающим от непривилегированного пользователя, вводить ОС в ступор.

В теории — верно. Но рассмотрим ближе к реальности.

Вот представь себе ситуацию. Дана задача. Неважно какая. Придумываем алгоритм ее решения. Замечательный алгоритм при значениях некоего n в некотором интервале. Однако при выходе n из этого интервала он становится совсем не замечательным. Тормозит, жрет память и т.д.
Есть другой алгоритм. Он при больших n работает лучше. Но при средних n — хуже.
Между тем известно, что большие n встречаются очень редко, и не по ним будут судить о качестве решения. Проще говоря, большинство будет запускать программу при средних n, и именно по ее поведению в этих условиях определится репутация программы.
Реализовать оба алгоритма нельзя. Прими это как данное.
Что делать будешь ?

Здравствуйте, kochetkov.vladimir, Вы писали:

k> AB>А у вас после посещения сотрудниками сортира образцы попадают сразу в хранилище или сначала проводится анализ на бак-посев?
k> Не смешно. Если считаешь, что эта часть моей работы доставляет радость, то ты сильно ошибаешься сейчас.

Я не про тебя лично — ты человек подневольный. Я про организацию, где практикуется подобная паранойя.

k> А ковыряться зачастую приходится именно что в натуральном дерьме и ради чего? ... Вот скажи, если нерадивый сотрудник твоего сотового оператора сольет куда-нибудь твои ПДн или детализацию, ты, придя в их офис, будешь продолжать защищать права их сотрудников или таки-вспомнишь о своих?

Существует (условно) тысяча и один способ "слить" уже полученные данные — на этом поле вы всегда проигрываете. По этому я считаю слежку за приватными данными пользователя (а почта на mail.ru или сообщения ICQ — это приватные данные) необоснованным копанием в чужом белье и выражаю свое "фи" подобным методам.

Вне всякого сомнения, когда нарушат мою приватность, я приду в офис и буду качать права точно так же, как сейчас защищаю приватность ваших сотрудников.

k> И ты зря думаешь, что у вас в конторе данный процесс поставлен принципиально иначе

В нашей "конторе" этот процесс лишен практического смысла.

Здравствуйте, Ночной Смотрящий, Вы писали:

НС>>>И МС сказал, что домены использованы для повышения надежности? Извини, но не верю.

AV>>Вопросами веры занимаются в других форумах.

НС>Конечно. Поэтому — доказательства в студию.

Увы, но разговор сложно воспроизвести. Пока что только таким способом получалось добиваться ответов на вопросы, которые задавались в письменном виде. С чем это связано? Не знаю. Быть может вопросы достаточно узкоспециализированными были.

Я так понимаю, что по другим моментам тоже ничего больше нет?

Здравствуйте, kochetkov.vladimir, Вы писали:

V>>А ты пробовал разбить файл с логами на несколько частей?

KV>Зачем

У меня вот первая мысль была sed-ом вырезать нужный кусок и уже его грузить в эксель или OOo. По моему это было бы быстрее, чем 20 минут, которые пыхтел excel? Или я не совсем правильно понял задачу.

Здравствуйте, maykie, Вы писали:

M>http://blog.eracc.com/2010/05/10/open-source-openofficeorg-we-have-a-problem/
M>http://www.reddit.com/r/programming/comments/c2b4l/open_source_openofficeorg_we_have_a_problem/
M>

А что все уже забыли мега багу MS Office'а (которая жила, по-моему, вплоть до 2000), когда он отказывался сохранить файл, утверждая, что места на диске нет?

Здравствуйте, ambel-vlad, Вы писали:

[...]
AV>Есть еще куча всего. Но там уже нужно хотя бы немного описывать детали. Если кого-то заинтересует, то могу как-нибудь поделиться.

Надо только в отдельную ветку было.
А насчет подробностей — интересно, конечно. Мне с консолью этой работать не приходилось(и уже понимаю, что совсем не хочется).

Здравствуйте, ambel-vlad, Вы писали:

AV>Стандартизация, типа. Как много общего между, например, Services, Event Log, Disk Management?

Ну, если речь о развернутом System Center, то смысл определенный в унификации имеется. А вот обычная консоль, встроенная в ОС это, конечно, малопонятное поделие. Вообще, команда, которая занимается проектированием и юзабильностью встроенных в ОС средств управления всякими сервисами поражает своим безумием. Временами решения не просто не юзабельные, а, создается ощущение, намеренно сделаны такими, чтобы разобраться было очень тяжело.

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.

KV>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут

Наброс на наброс: А все потому, что ОО написан на Java!

You will always get what you always got
  If you always do  what you always did

Здравствуйте, jazzer, Вы писали:

J>Здравствуйте, kochetkov.vladimir, Вы писали:

KV>>И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.

KV>>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут

J>Наброс на наброс: А все потому, что ОО написан на Java!

А он на C++ написан

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>при этом отожрал в памяти 1115324 байта
KV>Перед обрушением оно отожрало 1279400 байт.

КИЛОбайт, конечно же

Здравствуйте, Timur_SPB, Вы писали:

T_S>Я бы дал этому use case кодовое название "Извращенец"

Этот юзкейс является быстрым и эффективным решением ряда моих задач. Почему, собственно, нет?

Пардон, а может, дело в ограничении на максимальное число строк, т.е. лог банально не поместился на один лист?
Запустив OO.O Calc (версия 3.2.0), убедился, что, как и в MS Excel 2003 (в 2007 вроде ограничение убрали), последняя строка на листе имеет номер 65536.

KV>Забираю час назад ростовский лог за текущий день — 718 метров, 1258014 строк (формат w3c, кто не знает: по сути, это текстовый CSV c разделителями в виде табуляции и установленными стандартом полями).

1258014 > 65536

Не здесь ли собака порылась?

Здравствуйте, Sheridan, Вы писали:

S>Казалось бы, выбрать время, сесть и написать на том-же перле скрипт, который выгрызает из лога самое интересное и сохраняет в html.
S>Ан нет, неспортивно, бджалд, мы идем своим путем...

А ничего, что "самое интересное" у меня почти всегда разное? Каждый раз одноразовые скрипты писать? В этой области, все что мог я уже заавтоматизировал себе немерлом.

Здравствуйте, Lazytech, Вы писали:

L>Пардон, а может, дело в ограничении на максимальное число строк, т.е. лог банально не поместился на один лист?
L>Запустив OO.O Calc (версия 3.2.0), убедился, что, как и в MS Excel 2003 (в 2007 вроде ограничение убрали), последняя строка на листе имеет номер 65536.
KV>>Забираю час назад ростовский лог за текущий день — 718 метров, 1258014 строк (формат w3c, кто не знает: по сути, это текстовый CSV c разделителями в виде табуляции и установленными стандартом полями).
L>1258014 > 65536
L>Не здесь ли собака порылась?

В 2007 ограничение не убрали, его просто чуть отодвинули на планку 1048576 строк (о чем я выше, вообще-то написал). Этот лог не помещался ни в MSO, ни в OO, соль как раз-таки в том, как это выглядело и там и там.

Здравствуйте, Воронков Василий, Вы писали:

ВВ>Идти в баг-трекер, добавить туда эту информацию, помочь пофиксить баг, хотя бы предоставлением информации о нем, а не радостно в флейм бежать.

Меня этот баг заинтересовал тем, что он очень похож на уязвимость через повреждение памяти. Поэтому, хочу на выходных заняться его исследованием, а потом им конечно напишу.

ВВ>А то получается, извините, что сами же срем там, где едим, а потом еще жалуемся, что это опен-сурс плохой.

Не, это не ко мне. Я всегда извините, сру в одних местах, а ем в других

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Меня этот баг заинтересовал тем, что он очень похож на уязвимость через повреждение памяти. Поэтому, хочу на выходных заняться его исследованием, а потом им конечно напишу.

А зачем тогда вообще этот пост? Показать, как можно воспользоваться такой уязвимостью?

ВВ>>А то получается, извините, что сами же срем там, где едим, а потом еще жалуемся, что это опен-сурс плохой.
KV>Не, это не ко мне. Я всегда извините, сру в одних местах, а ем в других

Непохоже. Ты или пользуешься ОО, или нет. Если пользуешься, то непонятно, зачем подробно и радостно описывать его эксплоиты на посещаемом форуме.

KV>Я не радуюсь неудачам опенсорса и не являюсь его противником. Просто тут кое-кто с пеной у рта доказывал, что ОО не хуже MSO и я совсем чуточку радуюсь его неправоте.
Хуже, лучше — понятия субъективные. Кому то лучше, кому-то хуже.

KV>Я однозначно за то, чтобы качество любого открытого ПО росло с каждым днем и составляло серьезную конкуренцию коммерческому ПО, а не как сейчас. И, таки-да, так будет лучше для всех потребителей по целому ряду причин.
Вот! Золотые слова!

KV>Но также, лично я, вижу несколько вещей в идеологии открытого ПО и его сторонниках, которые несовместимы с понятием "качественный продукт". Причем, чем дальше в лес, тем толще партизаны, тем сильнее проявляются эти вещи и влияют на развитие окрытого ПО не в самую лучшую сторону. Но это — тема отдельного серьезного разговора, вообще-то.
Ну так давай об этом и поговорим

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>В 2007 ограничение не убрали, его просто чуть отодвинули на планку 1048576 строк (о чем я выше, вообще-то написал). Этот лог не помещался ни в MSO, ни в OO, соль как раз-таки в том, как это выглядело и там и там.

Возможно, разные программы просто по-разному реагируют на нестандартные ситуации?

Здравствуйте, kochetkov.vladimir, Вы писали:

Слабенький какой-то вброс. Я могу написать тебе подобных историй про Management Console, что несколько дней будешь читать.

Здравствуйте, Sheridan, Вы писали:

S>бджалд,

чочочо?. мат на моём rsdn?. да ещё и с безумными грамматическими ошибками?.
ох, может перед тем, как юзать незнакомые слова, которые говорят различные флудеры в сети, ты хоть узнаешь, как они пишутся и чего вообще такое написание?.

Приветствую, neFormal, вы писали:

F> S>бджалд,

F> чочочо?. мат на моём rsdn?. да ещё и с безумными грамматическими ошибками?.
F> ох, может перед тем, как юзать незнакомые слова, которые говорят различные флудеры в сети, ты хоть узнаешь, как они пишутся и чего вообще такое написание?.

А както мамут высказался, мне и понравилось. Очень хорошее слово. Явно нехорошее, но в то же время произнести трудновато. Следовательно произносится сие слово только когда ну совсем нехорошо.

Здравствуйте, Michael7, Вы писали:

M>Правда, отмечу, что в Linux, всё-таки, можно настроить лимиты так, что прикладная программа не отожрет ресурсов, больше, чем администратор дал ей.
Слышал я про одного аспиранта, который достаточно глубоко занимался тематикой планировщиков в ОС. Дак вот он, естественно, через какое-то время понял, что все они кривые и научился писать программы (естественно непривилегированные), которые выщелкивали почти все процессорное время на себя, что под виндой, что под линуксом. К слову, предложить идеальный планировщик, насколько я знаю, он тоже не смог...

Здравствуйте, ambel-vlad, Вы писали:

AV>Здравствуйте, kochetkov.vladimir, Вы писали:

AV>Слабенький какой-то вброс. Я могу написать тебе подобных историй про Management Console, что несколько дней будешь читать.

Я тебе даже больше скажу. Я потом еще и несколько дней на них отвечать буду, а ты, я надеюсь, мне. Потом подтянется местная публика... Йоу, у нас теперь есть чем тут заняться на ближайший месяц

Я в смысле, ты пиши давай, раз есть что, а там посмотрим, кто сколько дней чего читать будет.

Здравствуйте, DOOM, Вы писали:

DOO>Здравствуйте, kochetkov.vladimir, Вы писали:

DOO>Тааааак... А где же SOC оборудованный по последнему слову техники?

Он есть, но закрыт за семью NDA. Я не отмазываюсь, и рад бы это обсудить с тобой, но правда не могу Скажем так, через SOC сейчас проходят данные ээээ... с другого уровня абстракции, нежели логи ISA. И этого для задач мониторинга ИБ пока хватает. А для остального и придумали нас

DOO>ТКП на Symantec SIM + Symantec DLP не прислать?

А толку? Я ж решений подобного уровня не принимаю Да и тендера на развертывание подобных систем у нас пока не предвидится. Хотя, если под рукой есть готовое предложение (чтоб тебя не напрягать лишний раз), которое ты можешь прислать — кинь плс, лично мне было бы интересно глянуть.

KV>>формат w3c, кто не знает: по сути, это текстовый CSV c разделителями в виде табуляции
DOO>CSV, если кто не знает, это типа Comma Separated Values

От же-ш педант. Ок, "это — типа текстовый CSV, но с разделителями в виде табуляции"

DOO>Хм.. Офис я ставлю раком по 10 раз на дню, причем чес-слово не специально...
DOO>Про excel мои коллеги уже много всего интересного и не всегда цензурного услышали... Тем не менее — как-то приходится мириться... Ну у нас-то ладно — все на халяву

Дык я и не утверждаю, что в MSO все хорошо. Я говорю о том, что в ОО еще хуже.

KV>>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут
DOO>Ну вы хоть Sawmill купите... А так — конечно, не предназначен

Да BIIS вполне себе справляется. А задачи глянуть в логи за сегодня прямо сейчас, возникают не так часто, чтобы можно было серьезно говорить о вложении каких-либо средств в это.

Здравствуйте, Pavel Dvorkin, Вы писали:
PD>Здравствуйте, kochetkov.vladimir, Вы писали:

PD>Ты попытался использовать OO на пределе, ну он и прореагировал...

Он не успел прореагировать. Его снес DEP из-за ошибки размещения в памяти, насколько я успел разобраться. А MSO, также на пределе, прореагировал гораздо корректнее ко мне, как к пользователю. О чем и речь.

Здравствуйте, Alexey F, Вы писали:
AF>Здравствуйте, kochetkov.vladimir, Вы писали:
KV>>Каждый раз одноразовые скрипты писать?
AF>А почему нет? Вроде, для файла со структурой csv это несложно Или решили, что:
AF>

AF>
• скрипт не вынес бы такой нагрузки;
  
  Нет, конечно же У меня один из первых таких "анализаторов" грузил логи веб-сервера отнюдь не меньшего объема в виде немерловского списка и всячески преобразовывал его в лучших традициях ФП (создавая при этом каждый раз новый список, ибо immutability и характер преобразований). За ночь оно прожевало лог полностью, но страшно представить, что в этот момент творилось на машине. А дотнетовский сборщик мусора мне после этого стало даже немного жалко, учитывая объем проделанной им за ночь работы
  
  AF>
• быстрее сделать руками, чем придумать скрипт;
  AF>

Именно поэтому. Если задача возникает нечасто и мне быстрее сделать ее руками, чем садиться за скрипт, то я делаю это руками, до тех пор пока... (см. "если").

Здравствуйте, Sheridan, Вы писали:
S>Приветствую, kochetkov.vladimir, вы писали:

k>> А ничего, что "самое интересное" у меня почти всегда разное? Каждый раз одноразовые скрипты писать? В этой области, все что мог я уже заавтоматизировал себе немерлом.
S>Веником не прикидывайся, ладно? В скрипт параметры фильтрации пробабушка завещала не передавать?

Это ж на каком уровне абстракции должны быть эти фильтры, чтобы ими можно было задать что вот сейчас мне нужно найти пользователя, который зашел на mail.ru, создал черновик письма, потом зашел на depositfiles и что-то туда залил, потом открыл этот черновик изменил его (вставил ссылку на закаченный файл), после чего отправил письмо и отпрапортавал об этом по аьске? Причем примерно в такой последовательности, т.к. сотрудников, работавших с теми же сайтами, но иначе было несколько? А через пару дней, мне понадобилось найти человека, планомерно (причем, в течении месяца, а не за один день) искавшего на всевозможных форумах и досках объявлений спрос на определенного рода услуги. Это какими параметрами фильтра прикажешь задавать? И повторяющихся задач реально немного, и они все уже давно "обскриптованы".

И, боюсь, что если бы я таки-разработал такую систему "фильтрации", то на ближайшие несколько лет необходимости зарабатывать на существование просто не было бы

Здравствуйте, Vamp, Вы писали:

KV>>Я не радуюсь неудачам опенсорса и не являюсь его противником. Просто тут кое-кто с пеной у рта доказывал, что ОО не хуже MSO и я совсем чуточку радуюсь его неправоте.
V>Хуже, лучше — понятия субъективные. Кому то лучше, кому-то хуже.

Дык я за себя-то и говорю.

KV>>Но также, лично я, вижу несколько вещей в идеологии открытого ПО и его сторонниках, которые несовместимы с понятием "качественный продукт". Причем, чем дальше в лес, тем толще партизаны, тем сильнее проявляются эти вещи и влияют на развитие окрытого ПО не в самую лучшую сторону. Но это — тема отдельного серьезного разговора, вообще-то.
V>Ну так давай об этом и поговорим

Ок, постараюсь сформулировать позицию ASAP.

KV>Дык я за себя-то и говорю.
Да, но конструктивная дискуссия в таком раскладе невозможна в принципе.

KV>Ок, постараюсь сформулировать позицию ASAP.
Ну, АСАП не обязательно

Здравствуйте, Sheridan, Вы писали:

F>> S>бджалд,
F>> чочочо?. мат на моём rsdn?. да ещё и с безумными грамматическими ошибками?.
S>А както мамут высказался, мне и понравилось. Очень хорошее слово. Явно нехорошее, но в то же время произнести трудновато. Следовательно произносится сие слово только когда ну совсем нехорошо.

тебя линуксу тоже во дворе научили мальчики?.

Приветствую, neFormal, вы писали:

F> S>А както мамут высказался, мне и понравилось. Очень хорошее слово. Явно нехорошее, но в то же время произнести трудновато. Следовательно произносится сие слово только когда ну совсем нехорошо.

F> тебя линуксу тоже во дворе научили мальчики?.

Линуксу я научился сам. Вот этими вот руками...

Здравствуйте, Sheridan, Вы писали:

S>Приветствую, kochetkov.vladimir, вы писали:

k>> Это ж на каком уровне абстракции должны быть эти фильтры, ...
k>> И, боюсь, что если бы я таки-разработал такую систему "фильтрации", то на ближайшие несколько лет необходимости зарабатывать на существование просто не было бы

S>А в чем сложность? Не знаю как ты, но я примерно представляю как все это должно выглядеть.
S>Разбивай задачу на атомарные действия (найти человека (клиентский комп), найти скачивание файла...). По необходимости дописывай новые атомы. А затем из атомов составляй запрос, подставляя нужные параметры.

Да, конечно можно наваять декларативный DSL, описывающий критерии отбора и искомые отношения между отбираемыми данными, можно вообще его с SQL содрать или преобразовывать логи в реляционные таблицы с правильной структурой (компьютеры-пользователи-сессии-запросы-хосты и т.п.), а уже потом использовать обычный SQL и не выеживаться с DLS... Можно много чего сделать, но за рамки скрипта, который нужен пару раз в месяц, это по-моему уже выходит.

S>Если бы все думали как ты ("ой, это сложно, значит — невозможно"), то никаких бы netflow не было бы.

Блин, ну вот опять ты делаешь выводы из того, что я не утверждал. Я не говорю, что это невозможно. Я лишь сказал, что это весьма востребованная на рынке система (как мне кажется, могу ошибаться), достаточно сложная и требующая совершенно иной уровень трудозатрат по сравнению с одноразовыми скриптами. Возможно ей и стоило бы заняться, но не в рамках решения повседневных задач, а в качестве отдельного проекта. В рамки повседневных задач она не вписывается хотя бы из-за временных ограничений, накладываемых сроками решения этих задач.

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Он есть, но закрыт за семью NDA. Я не отмазываюсь, и рад бы это обсудить с тобой, но правда не могу Скажем так, через SOC сейчас проходят данные ээээ... с другого уровня абстракции, нежели логи ISA. И этого для задач мониторинга ИБ пока хватает. А для остального и придумали нас

А ISA значит не за 7-ю NDA

DOO>>ТКП на Symantec SIM + Symantec DLP не прислать?

KV>Хотя, если под рукой есть готовое предложение (чтоб тебя не напрягать лишний раз), которое ты можешь прислать — кинь плс, лично мне было бы интересно глянуть.
На самом деле нет... Высоковат класс системок, чтобы типовое ТКП держать... Но в целом связка интересная (хотя не идеальная) — как раз для ловли инсайдеров Все ищу возможность на ком-нибудь ее испытать


KV>Дык я и не утверждаю, что в MSO все хорошо. Я говорю о том, что в ОО еще хуже.
Дык от задачи зависит... ИМХО, разработчики writer'а больше думали об опытных пользователях, чем разработчики word'а.

DOO>>Ну вы хоть Sawmill купите... А так — конечно, не предназначен
KV>Да BIIS вполне себе справляется. А задачи глянуть в логи за сегодня прямо сейчас, возникают не так часто, чтобы можно было серьезно говорить о вложении каких-либо средств в это.
Ну ты ж сказал, что это не просто глянуть здесь и сейчас — а инсайдера поймать, понимаешь...

Здравствуйте, Wolverrum, Вы писали:

W>OO 3.1 (winxp) проглотил в секунду за милую душу (оно и понятно из картинки — почему), дал ошибку о превышении кол-ва строк
W>http://files.rsdn.ru/44501/oo31.jpg

W>OO 3.1 (ubuntu 9.10) жевал ~2 минуты, импортировал все:
W>http://files.rsdn.ru/44501/%d0%a1%d0%bd%d0%b8%d0%bc%d0%be%d0%ba-big.csv%20-%20OpenOffice.org%20Calc.jpg

Кстати, а почему поведение разное? x86/x64?

W>Наверное, файл мелкий, и версия не та?

Оно у меня действительно падало, и есть подозрение, что падало оно не только из-за объема лога, но и из-за объема содержимого ячеек. Попробуй сгенерировать такой же файл, но в котором, хотя бы в одном из столбцов (а лучше, в нескольких) будет не менее 2048 символов на каждую строчку.

Здравствуйте, Michael7, Вы писали:

M>Здравствуйте, kochetkov.vladimir, Вы писали:
KV>>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут

M>Домохозяйки парсить будут в gnumeric из состава Gnome Office,

О! Попробую, как только до работающего линукса дотянусь.

Здравствуйте, Sheridan, Вы писали:

k>> Это ж на каком уровне абстракции должны быть эти фильтры, ...
k>> И, боюсь, что если бы я таки-разработал такую систему "фильтрации", то на ближайшие несколько лет необходимости зарабатывать на существование просто не было бы
S>А в чем сложность? Не знаю как ты, но я примерно представляю как все это должно выглядеть.
от примерного представления до реализации ооочень далеко. я пока не видел таких всеумеющих "скриптов" со сроком жизни хотя бы год, а я их много видел

S>Разбивай задачу на атомарные действия (найти человека (клиентский комп), найти скачивание файла...). По необходимости дописывай новые атомы. А затем из атомов составляй запрос, подставляя нужные параметры.
молодец, изобрёл sql кстати, в чём отличие от фильтра в excel-е? кроме NIH естественно.

S>Если бы все думали как ты ("ой, это сложно, значит — невозможно"), то никаких бы netflow не было бы.
замени "невозможно" на "нерационально"

и почему некоторые в одном месте пытаются решить сразу все проблемы на свете, а в другом кричат что весь функционал фотошопа мало кому нужен?

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Кстати, а почему поведение разное? x86/x64?
Сам лишь сегодня об этом узнал

W>>Наверное, файл мелкий, и версия не та?
KV>Оно у меня действительно падало, и есть подозрение, что падало оно не только из-за объема лога, но и из-за объема содержимого ячеек. Попробуй сгенерировать такой же файл, но в котором, хотя бы в одном из столбцов (а лучше, в нескольких) будет не менее 2048 символов на каждую строчку.

То был файл 57Мб / 8 колонок / 1млн строк
Я уже заинтересовался в потугах "завалить" — родил файл 125Мб / 6 колонок / 1.2 млн строк (реально загрузилось 1048576) + конвертация данных с дату
Загрузилось даже быстрее! (минута от силы)
В общем, кажется, что у ОО как-то нелинейно возрастает время обработки csv файла в зависимости от кол-ва колонок, и от входной кодировки. Размер входной строки для парсинга и наличие преобразования типа данных, насколько вижу, роли не играют.

Ща попробую на очень длинных строчках с парой десятков колонок.

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Оно у меня действительно падало, и есть подозрение, что падало оно не только из-за объема лога, но и из-за объема содержимого ячеек. Попробуй сгенерировать такой же файл, но в котором, хотя бы в одном из столбцов (а лучше, в нескольких) будет не менее 2048 символов на каждую строчку.

big2.csv ~920+ Мб. "Парыдесятковколоночек" — что-то не получилось: на виртуалке столько свободных гигабайт не оказалось

a = '"' + ("0123456789ABCDEF" * 100) + '"'
b = "#{a},#{a},#{a},#{a},#{a},#{a}\n"
1.upto(100000) { |i|
    $stdout.write(b)
}

После примерно 3 минут работы:


Попробовал еще такой вариант (~610Мб, 1 поле, зато длины 3+ кб)

a = '"' + ("0123456789ABCDEF" * 200) + '"'
1.upto(200000) { |i|
    $stdout.write(a + "\n")
}

Примерно за полторы минуты загрузило.


В общем, ощущение, что описанная проблема скорее всего характерна
для конкретной связки Windows7 (насколько помню, у вас именно она) или NT6+ и OO3.2/win

Как-то так

Здравствуйте, Wolverrum, Вы писали:

W>big2.csv ~920+ Мб. "Парыдесятковколоночек" — что-то не получилось: на виртуалке столько свободных гигабайт не оказалось
В смысле, тестовый файл генерился под виртуальной виндой, а испытывался уже на убунтовой сборке опенофиса

Приветствую, Anton Batenev, вы писали:

AB> 1258014 строк * 2048 символов = 2.4GB (а у тебя 718 метров). Пробуем соблюсти число строк и объем. Генератор:....
ок, нагенерировал генератором

AB>....с сообщением об ошибке "Превышено максимальное число строк. Строки, превышающие заданное число, не были импортированы!".
Аналогично.
Отработало

13938 sheridan  20   0  806M  219M 80652 S  0.0 10.9  1:33.40  `- /usr/lib64/openoffice/program/soffice.bin -calc file.csv -splash-pipe=5

1:33 процессорного времени, реально это около трех минут.
Целиком процесс оо после всасывания файла выглядят так:

  PID USER     PRI  NI  VIRT   RES   SHR S CPU% MEM%   TIME+  Command                                                                                                               
13938 sheridan  20   0  806M  219M 80652 S  0.0 10.9  1:33.40  `- /usr/lib64/openoffice/program/soffice.bin -calc file.csv -splash-pipe=5                                           
13943 sheridan  20   0  806M  219M 80652 S  0.0 10.9  0:00.00  |   `- /usr/lib64/openoffice/program/soffice.bin -calc file.csv -splash-pipe=5
13942 sheridan  20   0  806M  219M 80652 S  0.0 10.9  0:00.00  |   `- /usr/lib64/openoffice/program/soffice.bin -calc file.csv -splash-pipe=5
13941 sheridan  20   0  806M  219M 80652 S  0.0 10.9  0:00.00  |   `- /usr/lib64/openoffice/program/soffice.bin -calc file.csv -splash-pipe=5
13940 sheridan  20   0  806M  219M 80652 S  0.0 10.9  0:00.00  |   `- /usr/lib64/openoffice/program/soffice.bin -calc file.csv -splash-pipe=5
13939 sheridan  20   0  806M  219M 80652 S  0.0 10.9  0:00.00  |   `- /usr/lib64/openoffice/program/soffice.bin -calc file.csv -splash-pipe=5

AB> Железо: CPU T1400@1.73GHz, 1GB RAM
AMD Athlon(tm) 64 X2 Dual Core Processor 3800+, 2Г оперативки

AB> P.P.S. На работе часто приходится анализировать логи под несколько гигабайт. Твой способ "через эксель" позабавил
Угу, я тоже поржал.

Здравствуйте, Anton Batenev, Вы писали:

AB>P.P.S. На работе часто приходится анализировать логи под несколько гигабайт. Твой способ "через эксель" позабавил

Тем не менее, он работает и замены не просит

AB>P.P.P.S. [troll mode on] Получается, ты наглядно продемонстрировал убогость винды и офиса [troll mode off]

Тем не менее, вот он этот файл и вот оно 100% воспроизводимое падение. Ок, посыл понятен, дело видимо не в объемах, а в содержании. Попробую найти то место, на импорте которого он крэшится.

Здравствуйте, DOOM, Вы писали:

DOO>Здравствуйте, kochetkov.vladimir, Вы писали:

KV>>Он есть, но закрыт за семью NDA. Я не отмазываюсь, и рад бы это обсудить с тобой, но правда не могу Скажем так, через SOC сейчас проходят данные ээээ... с другого уровня абстракции, нежели логи ISA. И этого для задач мониторинга ИБ пока хватает. А для остального и придумали нас
DOO>А ISA значит не за 7-ю NDA

А про него наши ИТшные топы неоднократно на публике упоминали во-первых, а во-вторых, она у нас не является средством обеспечения безопасности вообще, в принципе.

Здравствуйте, ambel-vlad, Вы писали:

AV>Есть еще куча всего. Но там уже нужно хотя бы немного описывать детали. Если кого-то заинтересует, то могу как-нибудь поделиться.

Ок, общая картинка проблем понятна. С каким открытым продуктом будем сравнивать?

Здравствуйте, DOOM, Вы писали:

KV>>формат w3c, кто не знает: по сути, это текстовый CSV c разделителями в виде табуляции
DOO>CSV, если кто не знает, это типа Comma Separated Values

+1
Тоже почувствовал подвох (даже тот же Webmoney Keeper сохраняет историю транзакция в формате CSV, так что я немного в курсе), но решил, что речь идет о чем-то другом.

KV>>Стало интересно, а как себя поведет в такой ситуации OO? Скачал виндовый 3.2.0 build 9483, поставил, жму открыть, выбираю файл с логом. Оно просто зависло минут на 20 (вместе со всем остальным, т.к. проц был нагружен на 95-100%%), после этого я не выдержал и пошел курить, вернувшись — увидел на экране диалог с вопросом о том, в какой кодировке мой лог (а я откуда это знаю?) и какие там используются переносы строк — юниксовые или нет (а что, ему самому слабо было это распарсить?). Ок, кодировку оставил по умолчанию, указал, что переносы виндовые и вперед... Начав загружаться довольно шустро, оно прогресс-баром дошло где-то до 2/3 и намертво повисло (вместе со всем остальным). Висело около 10 минут, после чего тупо рухнуло вот с такой ошибкой:
DOO>Это было смело, учитывая, что OO все-таки на джаве писан...

Пардон, если не ошибаюсь, OO.o 1.x ... 3.x лишь частично основаны на Java.

Цитата:

OpenOffice doesn't use Java to make a carriage return, or to print a page. It uses it for complex things.
Solution: For typical home usage, you'll probably won't meet any problems, but since OpenOffice uses Java (which Virtual Machine consumes a lot of memory) for some more advanced features, you'll probably have to wait until a certain operation completes.. But don't forget, the more, the better.

Цитата:

When we looked at bug 3117, we thought that this was a corrupt or missing Apple Java files, but since OpenOffice.org does not use Java to display windows and menus like NeoOffice does, the corrupt or missing files are likely to be deeper in Mac OS X.

Здравствуйте, kochetkov.vladimir, Вы писали:

AV>>Есть еще куча всего. Но там уже нужно хотя бы немного описывать детали. Если кого-то заинтересует, то могу как-нибудь поделиться.

KV>Ок, общая картинка проблем понятна. С каким открытым продуктом будем сравнивать?

На твое усмотрение

F>> S>бджалд,

F>> чочочо?. мат на моём rsdn?. да ещё и с безумными грамматическими ошибками?.
F>> ох, может перед тем, как юзать незнакомые слова, которые говорят различные флудеры в сети, ты хоть узнаешь, как они пишутся и чего вообще такое написание?.

S>А както мамут высказался, мне и понравилось. Очень хорошее слово. Явно нехорошее, но в то же время произнести трудновато. Следовательно произносится сие слово только когда ну совсем нехорошо.

Только писал я его блджад Потому что так орфографически правильно

KV>>оба ядра были заняты на 50-60%
DOO>У меня иной раз вставка картинки в ворд ставит всю систему раком (это к твоим претензиям ниже )...

Одно время, не знаю как сейчас, всю систему стабильно ставило раком следующее: а IE практически на любой странице делаем Ctrl+A, Ctrl+C, и пытаемся вставить это в Word. Отныне я вставку делаю только через Insert Special -> Plain text

Здравствуйте, Pavel Dvorkin, Вы писали:

PD>Вот представь себе ситуацию. Дана задача. Неважно какая. Придумываем алгоритм ее решения. Замечательный алгоритм при значениях некоего n в некотором интервале. Однако при выходе n из этого интервала он становится совсем не замечательным. Тормозит, жрет память и т.д.
PD>Есть другой алгоритм. Он при больших n работает лучше. Но при средних n — хуже.
PD>Между тем известно, что большие n встречаются очень редко, и не по ним будут судить о качестве решения. Проще говоря, большинство будет запускать программу при средних n, и именно по ее поведению в этих условиях определится репутация программы.
PD>Реализовать оба алгоритма нельзя. Прими это как данное.
PD>Что делать будешь ?

Если программа интерактивная — предупреждать пользователя о проблемах с большим n. Или в документации отразить этот факт. Я собственно об этом и говорил, упоминая ситуацию, когда разработчик отчего-то полагает, что предельных случаев в работе не будет. Если какая-нибудь консольная утилитка, возможно просто примечание после вывода встроенной справки.

В любом случае, неплохо позаботиться, чтобы программа не валилась с невнятными ошибками и не зависала, если предполагается, что она будет широко использоваться разными людьми.

Я знаю по себе, реализовывать "защиту от дурака" зачастую муторно и иногда может даже занять больше времени и кода, чем основная функциональность и тем не менее, в идеале стоило бы писать именно так. Конечно в разумных пределах

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Не смешно. Если считаешь, что эта часть моей работы доставляет радость, то ты сильно ошибаешься сейчас. А ковыряться зачастую приходится именно что в натуральном дерьме и ради чего? ... Вот скажи, если нерадивый сотрудник твоего сотового оператора сольет куда-нибудь твои ПДн или детализацию, ты, придя в их офис, будешь продолжать защищать права их сотрудников или таки-вспомнишь о своих?

Если честно, я не понимаю, почему бы вашим сотрудникам, пожелай они слить данные при наличии доступа в интернет, не воспользоваться https, при желании можно даже через 80-й порт. Тот же gmail, позволяет весь трафик (а не только аутентификацию) гонять в зашифрованном виде. Конечно, их тогда могут спросить, а чем это они занимались, но представь себе javascript, реализующий стеганографию на уровне данных, которыми браузер обменивается с каким-то сайтом. Таким образом, только логгер, который зафиксирует на самом компе факт копирования файла и поможет и то можно подумать как его обмануть

Так что, действительно конфиденциальные данные лучше держать вообще подальше от интернета в любом виде.

Здравствуйте, Michael7, Вы писали:

M>Здравствуйте, kochetkov.vladimir, Вы писали:

KV>>Не смешно. Если считаешь, что эта часть моей работы доставляет радость, то ты сильно ошибаешься сейчас. А ковыряться зачастую приходится именно что в натуральном дерьме и ради чего? ... Вот скажи, если нерадивый сотрудник твоего сотового оператора сольет куда-нибудь твои ПДн или детализацию, ты, придя в их офис, будешь продолжать защищать права их сотрудников или таки-вспомнишь о своих?

Возможно это неочевидно из написанного мной выше, но сотрудникам использовать https и прочие шифросредства ни к чему. Их трафик и так никем не мониторится и никуда не сохраняется

Здравствуйте, Michael7, Вы писали:


M>Если программа интерактивная — предупреждать пользователя о проблемах с большим n. Или в документации отразить этот факт.

По проблеме с GDI ресурсами — отражено. Вот тут, например. Пойди найди

http://support.microsoft.com/default.aspx/kb/894500?p=1

When you stress-test these applications, you may receive the Win32 API "Error creating window handle" error message. Windows NT-based computers are limited to 10,000 Graphics Device Interface (GDI) handles per process.


M>В любом случае, неплохо позаботиться, чтобы программа не валилась с невнятными ошибками и не зависала, если предполагается, что она будет широко использоваться разными людьми.

+1.

KV>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут
Ну да, засунул рельсу в пилораму...

Здравствуйте, kochetkov.vladimir, Вы писали:

>(железная логика, ага)
В принципе, и у вижулстудии похожая.

>из-за каких-то шайтанов с обращениями к памяти
В принципе, понятно чем он там занимался — разбивал файл на печатные страницы.

PS Ща попробовал кальком MSI файл открыть — кальк все же показал диалог про то, какую кодировку использовать перед тем, как открыть во writer... листики

Здравствуйте, Alexey F, Вы писали:

AF>Здравствуйте, kochetkov.vladimir, Вы писали:

AF>>>быстрее сделать руками, чем придумать скрипт;
KV>>Именно поэтому. Если задача возникает нечасто и мне быстрее сделать ее руками, чем садиться за скрипт, то я делаю это руками, до тех пор пока... (см. "если").

AF>Я тут немножко попропагандирую одноразовые скрипты, можно?

Сильно. Наше уважение.
Помню мне в институте преподаватель ("Введение в специальность", емнип) сказала интересную фразу "У вас есть склонность к полноте изложения", адресую ее в ваш адрес.

Здравствуйте, Mamut, Вы писали:

KV>>>оба ядра были заняты на 50-60%
DOO>>У меня иной раз вставка картинки в ворд ставит всю систему раком (это к твоим претензиям ниже )...

M>Одно время, не знаю как сейчас, всю систему стабильно ставило раком следующее: а IE практически на любой странице делаем Ctrl+A, Ctrl+C, и пытаемся вставить это в Word. Отныне я вставку делаю только через Insert Special -> Plain text

Из хрома отлично вставляет. Заслуга хрома, я полагаю.

Здравствуйте, Michael7, Вы писали:

M>Если честно, я не понимаю, почему бы вашим сотрудникам, пожелай они слить данные при наличии доступа в интернет, не воспользоваться https, при желании можно даже через 80-й порт. Тот же gmail, позволяет весь трафик (а не только аутентификацию) гонять в зашифрованном виде. Конечно, их тогда могут спросить, а чем это они занимались, но представь себе javascript, реализующий стеганографию на уровне данных, которыми браузер обменивается с каким-то сайтом. Таким образом, только логгер, который зафиксирует на самом компе факт копирования файла и поможет и то можно подумать как его обмануть

M>Так что, действительно конфиденциальные данные лучше держать вообще подальше от интернета в любом виде.

А у нас вот https ломают.

Здравствуйте, Anton Batenev, Вы писали:


AB>Существует (условно) тысяча и один способ "слить" уже полученные данные — на этом поле вы всегда проигрываете. По этому я считаю слежку за приватными данными пользователя (а почта на mail.ru или сообщения ICQ — это приватные данные) необоснованным копанием в чужом белье и выражаю свое "фи" подобным методам.
Есть компромисс — автоматический анализ с уведомлением, если что-то подозрительное найдено — обижаться на такой способ — все равно, что обижаться на потоковый антивирус (кстати, эти звери чуть ли ни первые стали "дешифрацию" HPPTS практиковать).

Здравствуйте, Anton Batenev, Вы писали:

AB>(а почта на mail.ru или сообщения ICQ — это приватные данные)

А почту на mail.ru или сообщения ICQ у нас никто и не трогает, в логах отражен только факт отправки запроса, но не его содержимое

k>> И ты зря думаешь, что у вас в конторе данный процесс поставлен принципиально иначе
AB>В нашей "конторе" этот процесс лишен практического смысла.

А это ты не мне, а вот этому человеку будешь рассказывать: http://company.yandex.ru/job/vacancies/rukovod_ib.xml

Здравствуйте, kochetkov.vladimir, Вы писали:

k> AB>(а почта на mail.ru или сообщения ICQ — это приватные данные)
k> А почту на mail.ru или сообщения ICQ у нас никто и не трогает, в логах отражен только факт отправки запроса, но не его содержимое

Тогда я не понимаю зачем на них смотреть — ну есть URI, время, размер, рефер в логе. Что это доказывает или опровергает?

k> AB>В нашей "конторе" этот процесс лишен практического смысла.
k> А это ты не мне, а вот этому человеку будешь рассказывать: http://company.yandex.ru/job/vacancies/rukovod_ib.xml

Это не то.

Здравствуйте, DOOM, Вы писали:

DOO> Есть компромисс — автоматический анализ с уведомлением, если что-то подозрительное найдено — обижаться на такой способ — все равно, что обижаться на потоковый антивирус (кстати, эти звери чуть ли ни первые стали "дешифрацию" HPPTS практиковать).

Тут желательно конкретизировать слово "подозрительное". Потому как "дешифрация HTTPS" — это не автоматический анализ, а слежка, т.к. слово secure становится неуместным.

А ты пробовал разбить файл с логами на несколько частей?

Здравствуйте, kvasya, Вы писали:


K>А у нас вот https ломают.



Правильный https не поломаете без закладки на машине пользователя, пазве только его работу можете нарушить. По крайней мере, если "у нас" — это не в АНБ или хотя бы сильно не рядовой отдел ФСБ, но тогда думаю об этом сюда никто не писал бы

Здравствуйте, DOOM, Вы писали:

M>>Правда, отмечу, что в Linux, всё-таки, можно настроить лимиты так, что прикладная программа не отожрет ресурсов, больше, чем администратор дал ей.
DOO>Слышал я про одного аспиранта, который достаточно глубоко занимался тематикой планировщиков в ОС. Дак вот он, естественно, через какое-то время понял, что все они кривые и научился писать программы (естественно непривилегированные), которые выщелкивали почти все процессорное время на себя, что под виндой, что под линуксом. К слову, предложить идеальный планировщик, насколько я знаю, он тоже не смог...
То было давно. Уязвимость старого планировщика в Линуксе (и всех в Виндоусе) прекрасно известна — http://www.cs.huji.ac.il/~dants/papers/Cheat07Security.pdf

С версии 2.6.20 — Линукс для этой атаки неуязвим, так как там используется новый точный планировщик, который гарантированно правильно распределяет время между процессами.

Здравствуйте, Michael7, Вы писали:

K>>А у нас вот https ломают.

M>

M>Правильный https не поломаете без закладки на машине пользователя, пазве только его работу можете нарушить. По крайней мере, если "у нас" — это не в АНБ или хотя бы сильно не рядовой отдел ФСБ, но тогда думаю об этом сюда никто не писал бы

Заранее извиняюсь, если глупость скажу. А как же уязвимость, найденная Дэном Камински? Или это не из той оперы?

KV>Итак, что имело место при работе с Excel?

KV>1) Он задал мне все вопросы, необходимые для импорта этого формата, до самого импорта, прочитав перед этим только первую строчку отчета с именами столбцов.
Это хорошо.
KV>2) Во время импорта он не мешал мне работать, захватывая все доступные ему ресурсы компа.
А это следствие того что ОО нагрузил оба ядра, а МСО только одно.
KV>3) Когда он не смог прогрузить весь файл, он не только сообщил об этом и исчерпывающе объяснил почему, но и оставил то, что смог прогрузить для дальнейшей работы.
Ну это конечно плюс.

ЗЫ. ОО не нравится ни разу, но по второму пункту он лучше МСО.

Здравствуйте, ambel-vlad, Вы писали:

AV>2. MMC используется AppDomain. Сама работает в одном домене. А snap-in'ы грузит в другие сборки. Это сделано для того, чтобы вылет одного snap-in не выносила остальные.

(*)

AV> В одной сборке можно хранить несколько snap-in. Теперь попробуй угадать как будут загружаться эти несколько snap-in. Если в один msc-файл добавляется несколько snap-in разных типов, то будут ли они грузиться в один домен или в разные? Если в один msc-файл добавляется несколько snap-in одного типа, то будут ли они грузиться в один домен или в разные? Попробуй угадать, прежде чем читать дальше. Правильные ответы: 1 — разные домены, 2 — один. Интересно было бы увидеть обяснение в чем заключается различие в этих ситуациях.

Неверное предположение (*) и привело к непониманию. Домен никак не предохраняет ни от какого типа вылетов. Управляемые вылеты прекрасно отлавливаются и без него, а неуправляемым домены по барабану.
Домены нужны:
1) Для выгрузки сборок. Но для msc это не особо актуально
2) Для назначения отдельной политики CAS. Вот это, похоже, и было основной причиной использования доменов. И с этой точки зрения описанное тобой поведение выглядит вполне логично.

AV>3. Продолжим тему нескольких экземпляров snap-in одного типа. Никаких идентификаторов snap-in найти не удалось. То есть если мы где-то (например, в реестре) сохраним настройки каждого экземпляра. Как при загрузке snap-in разобраться где чьи настройки?

А есть ли вообще понятие такое — персистентный экземпляр снапина? В рамках ММС, разумеется, а не в твоем коде?


AV> А что будет если в системе окажется два продукта, которые имеют msc-файлы с одинаковым именем?

Поверь.

AV> Далее еще веселее. Что будет если мы снесем продукт, а потом поставим заново? Правильно, все старые данные подымутся. Что не есть правильно.

Это как сказать. Подавляющее большинство приложений ведет себя именно так.

Здравствуйте, Ночной Смотрящий, Вы писали:

AV>>2. MMC используется AppDomain. Сама работает в одном домене. А snap-in'ы грузит в другие сборки. Это сделано для того, чтобы вылет одного snap-in не выносила остальные.

НС>(*)

AV>> В одной сборке можно хранить несколько snap-in. Теперь попробуй угадать как будут загружаться эти несколько snap-in. Если в один msc-файл добавляется несколько snap-in разных типов, то будут ли они грузиться в один домен или в разные? Если в один msc-файл добавляется несколько snap-in одного типа, то будут ли они грузиться в один домен или в разные? Попробуй угадать, прежде чем читать дальше. Правильные ответы: 1 — разные домены, 2 — один. Интересно было бы увидеть обяснение в чем заключается различие в этих ситуациях.

НС>Неверное предположение (*) и привело к непониманию. Домен никак не предохраняет ни от какого типа вылетов. Управляемые вылеты прекрасно отлавливаются и без него, а неуправляемым домены по барабану.
НС>Домены нужны:

Вообще-то это не предположение. От использования неуправляемого кода в snap-in планируют в будущем отказаться.

НС>1) Для выгрузки сборок. Но для msc это не особо актуально

Ну да. Snap-in выгружается только если его надо пришибить.

Кстати, тут есть еще одна веселуха. Нет возможности гарантировано перехватить необработанные исключения.

НС>2) Для назначения отдельной политики CAS. Вот это, похоже, и было основной причиной использования доменов. И с этой точки зрения описанное тобой поведение выглядит вполне логично.

Тогда вообще надо все snap-in грузить в отдельные домены. Что не наблюдается.

AV>>3. Продолжим тему нескольких экземпляров snap-in одного типа. Никаких идентификаторов snap-in найти не удалось. То есть если мы где-то (например, в реестре) сохраним настройки каждого экземпляра. Как при загрузке snap-in разобраться где чьи настройки?

НС>А есть ли вообще понятие такое — персистентный экземпляр снапина? В рамках ММС, разумеется, а не в твоем коде?

Если ты посмотрел бы далее, то увидел бы что да, в принципе, есть.

Кстати, есть еще такой интересный момент. До момента вызова функции загрузки сохраненных данных, snap-in никак не может узнать есть ли эти сохраненные данные. А эта функция не вызывается, если данных нет. В итоге получается вообще весело. При старте snap-in всегда вызывается OnInitialize и не всегда OnLoadCustomData. В результате из-за того что мы не знаем есть сохраненные данные или их нет, то в OnInitialize необходимо проводить дефолную инициализацию. Ну а если вызовется OnLoadCustomData, то зря мы что-то делали в OnInitialize. Все равно надо инициализацию проводить заново.

AV>> Далее еще веселее. Что будет если мы снесем продукт, а потом поставим заново? Правильно, все старые данные подымутся. Что не есть правильно.

НС>Это как сказать. Подавляющее большинство приложений ведет себя именно так.

Вот только это далеко не всегда правильно. А достаточно часто — это вообще неприемлимо. Так как же получить необходимое поведение?

Здравствуйте, ambel-vlad, Вы писали:

AV>Вообще-то это не предположение.

Неважно. Главное, что это неправда.

AV>Кстати, тут есть еще одна веселуха. Нет возможности гарантировано перехватить необработанные исключения.

AppDomain.UnhandledException?

AV>Тогда вообще надо все snap-in грузить в отдельные домены.

Если они однотипные, вряд ли им нужны разные политики.

НС>>Это как сказать. Подавляющее большинство приложений ведет себя именно так.

AV>Вот только это далеко не всегда правильно. А достаточно часто — это вообще неприемлимо. Так как же получить необходимое поведение?

Думаю, написать на connect.microsoft.com

Здравствуйте, Ночной Смотрящий, Вы писали:

AV>>Вообще-то это не предположение.

НС>Неважно. Главное, что это неправда.

Ну если не верить разработчикам, то я не знаю кому уж и верить. Потому что именно устойчивость у них была первой. А CAS — где-то 3-4 аргументом.

AV>>Кстати, тут есть еще одна веселуха. Нет возможности гарантировано перехватить необработанные исключения.

НС>AppDomain.UnhandledException?

Полагаешь, что про это забыли? Можешь подписать на AppDomain.UnhandledException. Вот только от этого практически 0. Потому что до твоего обработчика дело даже не дойдет. Твой snap-in прихлопнут гораздо раньше. Можешь еще подписаться на Application.ThreadException. С точно таким же результатом.

Кстати, как mmc обрабатывает необработанные исключения тоже весело. Оно обрабатывает их в своем домене. А не в домене, где работает snap-in. В результате, если ты не словил свое кастомное исключение, то консоль покажет совсем не ту ошибку. А покажет сообщение о SerializationException. Типа не может десериализовать наше исключение. Еще бы. Конечно не может. Да и стектрейсы, которые mmc показывает тоже не имеют ничего общего с стектрейсом исключения. Даже когда используется стандартное исключение.

AV>>Тогда вообще надо все snap-in грузить в отдельные домены.

НС>Если они однотипные, вряд ли им нужны разные политики.

Видишь ли, такое вполне может быть. Когда один snap-in вынужден делать две разные задачи. Причем у нас небольшое время был именно такой переходный вариант. От которого правда быстро отказались.

НС>>>Это как сказать. Подавляющее большинство приложений ведет себя именно так.

AV>>Вот только это далеко не всегда правильно. А достаточно часто — это вообще неприемлимо. Так как же получить необходимое поведение?

НС>Думаю, написать на connect.microsoft.com

Писать будем. Правда особых надежд не питаем.

Здравствуйте, DOOM, Вы писали:


DOO>Да поломаешь, поломаешь. Не забывай, что в корпоративной среде компьютеры пользователей "особые", например, они все доверяют корпоративному центу сертификации... Дальше понятно — прокси выдается сертификат подчиненного ЦС, прокси генерит нужный сертификат для каждого https соединения и терминирует соединение на себе — вот и все. Самый обыкновенный человек-по-середине.

Вот только внешний сервер вряд ли доверяет корпоративному центру сертификации. Я это к тому, что даже если соединение, скажем с gmail, и получится таким образом, всё равно, можно будет заметить, что сертификат не гугловский. И я сильно подозреваю, что немодифицированный Firefox сильно удивится этому, настолько сильно, что явно сообщит пользователю.

Здравствуйте, ambel-vlad, Вы писали:

AV>Ну если не верить разработчикам, то я не знаю кому уж и верить.

Каким таким разработчикам?

AV> Потому что именно устойчивость у них была первой.

Откуда дровишки?

НС>>Если они однотипные, вряд ли им нужны разные политики.

AV>Видишь ли, такое вполне может быть.

Видимо, в МС посчитали иначе. Домены ведь тоже не бесплатная вещь.

НС>>Думаю, написать на connect.microsoft.com

AV>Писать будем. Правда особых надежд не питаем.

А зря. Большинство команд в МС вполне вменяемы.

Здравствуйте, Ночной Смотрящий, Вы писали:

AV>>Ну если не верить разработчикам, то я не знаю кому уж и верить.

НС>Каким таким разработчикам?

AV>> Потому что именно устойчивость у них была первой.

НС>Откуда дровишки?

Спрашивали у МС.

НС>>>Если они однотипные, вряд ли им нужны разные политики.

AV>>Видишь ли, такое вполне может быть.

НС>Видимо, в МС посчитали иначе. Домены ведь тоже не бесплатная вещь.

Да, не бесплатная. Однако есть большие сомнения, что эта цена в данном случае будет видна даже в микроскоп.

НС>>>Думаю, написать на connect.microsoft.com

AV>>Писать будем. Правда особых надежд не питаем.

НС>А зря. Большинство команд в МС вполне вменяемы.

А не зря. Потому что при данном подходе к snap-in это сделать несколько проблематично. Насчет вменяемости спорить не будут (хотя временами складывается иное впечатление), но сомневаюсь, что это будет исправлено в ближайшее время.

Кстати, а про обработку исключений есть мысли?

Меня в OOo расстраивает вот это, например:



причем, эта шармантка была и в 2 с чем-то, и в 3.2... Елки-палки, XXI век на дворе, кодировку определить сложно? Причем, лазил по опциям, ХЗ вообще как ее поменять.

Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут

Вопрос — кто виноват в том, что ты забиваешь гвозди микроскопами?

Обрабатывать логи в Экселе — это извращение.

Здравствуйте, ambel-vlad, Вы писали:

НС>>Откуда дровишки?

AV>Спрашивали у МС.

И МС сказал, что домены использованы для повышения надежности? Извини, но не верю.

НС>>А зря. Большинство команд в МС вполне вменяемы.

AV>А не зря. Потому что при данном подходе к snap-in это сделать несколько проблематично. Насчет вменяемости спорить не будут (хотя временами складывается иное впечатление), но сомневаюсь, что это будет исправлено в ближайшее время.

Если об этом не писать — наверняка не будет.

AV>Кстати, а про обработку исключений есть мысли?

Мысли есть, но ковыряться в твоей специфике не особо охота. Берешь отладчики, рефлектор, и разбираешься в чем проблема.