Openoffice...
От: kochetkov.vladimir Россия https://kochetkov.github.io
Дата: 29.04.10 15:50
Оценка: 12 (9) +3 -1 :))
Довольно часто, по долгу службы, мне приходится работать с логами корпоративного прокси (как правило, расследуя инциденты об инсайдерстве). Никаких проблем с этим нет, логи ежедневно прогружаются в удобную business intelligence систему с элементами корелляции событий безопасности, к которой можно делать практически произвольные запросы. Есть также пара самописных приблуд, позволяющих получать из ее же хранилища простенькие выборки в формате сырых логов с целью дальнейшего их низкоуровневого анализа.

Все это хорошо и сильно облегчает работу, если не принимать во внимание тот факт, что выборки из логов часто нужно делать в тот же день, когда имело место инсайдерство (ибо срочно) и тут BI уже ничем помочь не может, т.к. лог за текущий день прогружается в нее только на следующий. В этом случае, приходится забирать с прокси сырой лог и анализировать его всякими grepa'ами, logparser'ами и, как это ни странно, excel'ем, т.к. все, что мне нужно делать с логом первыми двумя, в excel'е тоже можно сделать, причем быстрее и нагляднее. Ну, и руководству итоговый отчет интересен в этом же формате, поэтому в 99% случаев я всю подобную работу делаю сразу в excel'е, чтобы по десять раз туда-сюда данные не импортировать.

Вот сегодня как раз и случился такой инцидент. Забираю час назад ростовский лог за текущий день — 718 метров, 1258014 строк (формат w3c, кто не знает: по сути, это текстовый CSV c разделителями в виде табуляции и установленными стандартом полями). В excel не влезет по любому (седьмой — позволяет только 1048576 строк), но данные мне нужны за кусок утра и кусок дня, поэтому не страшно. Данные прогружались минут 20 (успел выпить кофе и покурить), оба ядра были заняты на 50-60%, после этого выдал ошибку о том, что лог загружен не полностью ибо строк больше чем надо, при этом отожрал в памяти 1115324 байта. Совершенно комфортно я отфильтровал нужные мне периоды времени, сохранил результаты в новый xls-файл и, поработав с ними без каких-либо особых тормозов минут 15, отправил руководителю красивый отчет с результатами предварительного расследования инцидента.

Стало интересно, а как себя поведет в такой ситуации OO? Скачал виндовый 3.2.0 build 9483, поставил, жму открыть, выбираю файл с логом. Оно просто зависло минут на 20 (вместе со всем остальным, т.к. проц был нагружен на 95-100%%), после этого я не выдержал и пошел курить, вернувшись — увидел на экране диалог с вопросом о том, в какой кодировке мой лог (а я откуда это знаю?) и какие там используются переносы строк — юниксовые или нет (а что, ему самому слабо было это распарсить?). Ок, кодировку оставил по умолчанию, указал, что переносы виндовые и вперед... Начав загружаться довольно шустро, оно прогресс-баром дошло где-то до 2/3 и намертво повисло (вместе со всем остальным). Висело около 10 минут, после чего тупо рухнуло вот с такой ошибкой:

Сигнатура проблемы:
Имя события проблемы: APPCRASH
Имя приложения: soffice.bin
Версия приложения: 3.2.9476.500
Отметка времени приложения: 4b479537
Имя модуля с ошибкой: tlmi.dll
Версия модуля с ошибкой: 3.2.9476.500
Отметка времени модуля с ошибкой: 4b7eb1fb
Код исключения: c0000005
Смещение исключения: 0000fac9
Версия ОС: 6.1.7600.2.0.0.256.48
Код языка: 1049
Дополнительные сведения 1: 4bd2
Дополнительные сведения 2: 4bd2d73784592d21b5bca3fcd69da53b
Дополнительные сведения 3: 30fe
Дополнительные сведения 4: 30fe06f8a3a2424743a4f6858d50b449


Дополнительные сведения доставили особенно много радости. Перед обрушением оно отожрало 1279400 байт.

Ок, все с ним понятно, сел писать этот текст. По ходу, не смог точно воспроизвести версию ОО, запустил его еще раз чтобы глянуть. Оно мне предложило восстановить открытый файл после некорретного завершения. Не вопрос, думаю, пусть восстановит... Процесс восстановления длился чуть больше, около получаса, после чего оно опять тихо рухнуло. Запустив ОО в третий раз и отменив восстановление, я немедленно нарвался на предложение поучаствовать в опросе качества данного ПО...

Итак, что имело место при работе с Excel?

1) Он задал мне все вопросы, необходимые для импорта этого формата, до самого импорта, прочитав перед этим только первую строчку отчета с именами столбцов.
2) Во время импорта он не мешал мне работать, захватывая все доступные ему ресурсы компа.
3) Когда он не смог прогрузить весь файл, он не только сообщил об этом и исчерпывающе объяснил почему, но и оставил то, что смог прогрузить для дальнейшей работы.

Что имело место при работе с OO Calc?

1) Сразу после выбора файла он весьма долго тормозил непонятно на чем, тормозя при этом весь комп. После этого задал мне вопросы, непонятно каким боком относящиеся к текущему процессу с одной стороны, и непонятно почему интересующие его, т.к. он и сам мог за это время найти на них ответ, с другой.
2) Во время импорта я мог делать все что угодно, кроме работы за компом, ибо "звиняй хлопец, я тут твой лог гружу, нехрен мне мешать..."
3) В результате чего, он упал с невнятной ошибкой (причем, сообщение об ошибке было виндовое, ОО скорее всего и не успел осознать, что он падает)
4) Предложил повторить то, что уже закончилось с ошибкой в прошлый раз (мазохисты детектед) и таки свалился в такую же ошибку.
5) Напоследок, предложил еще и оценить продемонстрированное им качество (тролль-моде детектед).

И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.

Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут
... << RSDN@Home 1.2.0 alpha 4 rev. 1468>>

[Интервью] .NET Security — это просто
Автор: kochetkov.vladimir
Дата: 07.11.17
Re: Openoffice...
От: kochetkov.vladimir Россия https://kochetkov.github.io
Дата: 29.04.10 15:56
Оценка:
Здравствуйте, kochetkov.vladimir, Вы писали:

KV>при этом отожрал в памяти 1115324 байта

KV>Перед обрушением оно отожрало 1279400 байт.

КИЛОбайт, конечно же
... << RSDN@Home 1.2.0 alpha 4 rev. 1468>>

[Интервью] .NET Security — это просто
Автор: kochetkov.vladimir
Дата: 07.11.17
Re: Openoffice...
От: Vamp Россия  
Дата: 29.04.10 16:08
Оценка: +2
Володя, а чему ты, собственно, радуешься? Это же очень печально — что бесплатное приложение ОпенОфис уступает Екселю. То есть я понимаю, когда этому факту радуется господин Болмер — у него от этого рожа толще.
А нам, простым потребителям, лучше бы наоборот... нет?
Да здравствует мыло душистое и веревка пушистая.
Re: Openoffice...
От: alpha21264 СССР  
Дата: 29.04.10 16:13
Оценка: 1 (1) +4 -5
Здравствуйте, kochetkov.vladimir, Вы писали:


[Skip]

KV>И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.


KV>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут


1) kochetkov.vladimir — это зеркальное отражение Шеридана.
2) Есть серьезные сомнения в честности kochetkov.vladimir.
Если Винда отработает лучше Линукса, он прибежит на форум и будет этим фактом
как флагом размахивать, если наоборот — смолчит.
3) Open Office скорее всего запускался под Виндой.
4) Open Office — это все-таки не Юникс-вей. Это костыль для тех, кто пришел с Винды.
5) Я уже 10 лет не пользовался MS Office. Не нужно. Совсем. Ни для чего.
6) Последний раз когда я использовал MS Office (1999 год) — притащил с вордовым файлом вирус.
7) Разгребать логи с помощью Офиса — это действительно несколько...
(Правда должен сказать, что однажды Exel-ем строил кометные орбиты )

Течёт вода Кубань-реки куда велят большевики.
Re: Openoffice...
От: Timur_SPB Россия  
Дата: 29.04.10 16:14
Оценка: +4 :)
Я бы дал этому use case кодовое название "Извращенец"
Excel конечно более устойчив к таким вещам, т.к. имеет большее распространение и обкатан на самых безумных ситуациях.
Re: Openoffice...
От: Sheridan Россия  
Дата: 29.04.10 16:22
Оценка: :))
Казалось бы, выбрать время, сесть и написать на том-же перле скрипт, который выгрызает из лога самое интересное и сохраняет в html.
Ан нет, неспортивно, бджалд, мы идем своим путем...


Меня к примеру часто просят свести несколько эксцель-табличек в одну, объединяя по некоторым полям. Консоль-перл, и как правило через пять-десять минут результат уже у просившего. И заметь, возможно пять-десять минут и много для объединения пары табличек в одну, но дело в том, что и при двухсот табличках это опять-же пять-десять минут.
avalon 1.0rc3 rev 306, zlib 1.2.3 (17.12.2009 01:06:14 MSK +03:00)(Qt 4.6.0)
Matrix has you...
Re: Openoffice...
От: Воронков Василий Россия  
Дата: 29.04.10 16:24
Оценка: +3
Здравствуйте, kochetkov.vladimir, Вы писали:

А вот мой опыт домашнего использования ОО вполне позитивен. Да, бывает, что падает. Но я бы сказал частота сравнима с МС Офисом. При этом например, я потоянно редактирую и читаю и документы 2003 и 2007 офиса — конвертирует довольно быстро и корректно. Документы Ворда 2007 Writer показывает лучше, чем например халявный MS Word Viewer.

ОО — лучшая бесплатная альтернатива МС Офис. Согласен с Vamp — чему радоваться, если в каких-то случаях приложение работает хуже? Огорчаться надо. Идти в баг-трекер, добавить туда эту информацию, помочь пофиксить баг, хотя бы предоставлением информации о нем, а не радостно в флейм бежать. А то получается, извините, что сами же срем там, где едим, а потом еще жалуемся, что это опен-сурс плохой.
Re: Openoffice...
От: Lazytech Ниоткуда  
Дата: 29.04.10 16:30
Оценка: 2 (1)
Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Что имело место при работе с OO Calc?


KV>1) Сразу после выбора файла он весьма долго тормозил непонятно на чем, тормозя при этом весь комп. После этого задал мне вопросы, непонятно каким боком относящиеся к текущему процессу с одной стороны, и непонятно почему интересующие его, т.к. он и сам мог за это время найти на них ответ, с другой.

KV>2) Во время импорта я мог делать все что угодно, кроме работы за компом, ибо "звиняй хлопец, я тут твой лог гружу, нехрен мне мешать..."
KV>3) В результате чего, он упал с невнятной ошибкой (причем, сообщение об ошибке было виндовое, ОО скорее всего и не успел осознать, что он падает)
KV>4) Предложил повторить то, что уже закончилось с ошибкой в прошлый раз (мазохисты детектед) и таки свалился в такую же ошибку.
KV>5) Напоследок, предложил еще и оценить продемонстрированное им качество (тролль-моде детектед).

KV>И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.


KV>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут


Я не разработчик ПО, а всего лишь пользователь OpenOffice.org, и задачи у меня куда мельче.
Однако читал, что OO.O не очень подходит для работы с файлами огромных размеров — ЕМНИП, из-за формата хранения данных.
Re[2]: Openoffice...
От: kochetkov.vladimir Россия https://kochetkov.github.io
Дата: 29.04.10 16:37
Оценка: 1 (1)
Здравствуйте, Vamp, Вы писали:

V>Володя, а чему ты, собственно, радуешься? Это же очень печально — что бесплатное приложение ОпенОфис уступает Екселю. То есть я понимаю, когда этому факту радуется господин Болмер — у него от этого рожа толще.

V>А нам, простым потребителям, лучше бы наоборот... нет?

Я не радуюсь неудачам опенсорса и не являюсь его противником. Просто тут кое-кто с пеной у рта доказывал, что ОО не хуже MSO и я совсем чуточку радуюсь его неправоте. Это разные веши. Я же, самым наглым образом использую продукты с открытым кодом и в своей повседневной жизни и в работе. Могу их даже перечислить, если это кому-нибудь интересно. Как можно заметить по подписи, я также по мере своих скромных возможностей, стараюсь принимать участие в одном из открытых проектов, который в последнее время использую в работе особенно цинично. Я однозначно за то, чтобы качество любого открытого ПО росло с каждым днем и составляло серьезную конкуренцию коммерческому ПО, а не как сейчас. И, таки-да, так будет лучше для всех потребителей по целому ряду причин.

Но также, лично я, вижу несколько вещей в идеологии открытого ПО и его сторонниках, которые несовместимы с понятием "качественный продукт". Причем, чем дальше в лес, тем толще партизаны, тем сильнее проявляются эти вещи и влияют на развитие окрытого ПО не в самую лучшую сторону. Но это — тема отдельного серьезного разговора, вообще-то.
... << RSDN@Home 1.2.0 alpha 4 rev. 1468>>

[Интервью] .NET Security — это просто
Автор: kochetkov.vladimir
Дата: 07.11.17
Re[2]: Openoffice...
От: kochetkov.vladimir Россия https://kochetkov.github.io
Дата: 29.04.10 16:37
Оценка: +2
Здравствуйте, alpha21264, Вы писали:

A>Здравствуйте, kochetkov.vladimir, Вы писали:



A>[Skip]


KV>>И вот, именно поэтому господа опенсорсники, MS Office является продуктом, а Open Office жалкой поделкой под него.


KV>>Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти задачи не предназначен и что домохозяйки логи прокси на нем парсить не будут


A>1) kochetkov.vladimir — это зеркальное отражение Шеридана.


Нет, т.к. я не являюсь сторонником коммерческого ПО. При выборе используемого продукта я руководствуюсь исключительно прагматичными соображениями, а не отталкиваюсь от идеологий, самого факта необходимости платить за ПО и т.п. Просто выбираю то, что наиболее полно удовлетворяет мои нужды при прочих равных.

A>2) Есть серьезные сомнения в честности kochetkov.vladimir.


Зуб даю.

A>Если Винда отработает лучше Линукса, он прибежит на форум и будет этим фактом

A>как флагом размахивать, если наоборот — смолчит.

Нет, это не так. Когда открытый продукт получается лучше чем коммерческий, я тут об этом также рассказываю. Правда сами эти факты находят меня крайне редко. Согласен, проблема видимо во мне, а не в частоте этих фактов.

A>3) Open Office скорее всего запускался под Виндой.


Конечно, если бы внимательно читал, то "скорее всего" бы не возникло.

A>4) Open Office — это все-таки не Юникс-вей. Это костыль для тех, кто пришел с Винды.


А не было мысли, что из-за вот этого труъ-юниксвея (это TeX\LateX, что-ли?), массовый переход на линукс до сих пор и не состоялся?
... << RSDN@Home 1.2.0 alpha 4 rev. 1468>>

[Интервью] .NET Security — это просто
Автор: kochetkov.vladimir
Дата: 07.11.17
Re[2]: Openoffice...
От: kochetkov.vladimir Россия https://kochetkov.github.io
Дата: 29.04.10 16:37
Оценка:
Здравствуйте, Timur_SPB, Вы писали:

T_S>Я бы дал этому use case кодовое название "Извращенец"


Этот юзкейс является быстрым и эффективным решением ряда моих задач. Почему, собственно, нет?
... << RSDN@Home 1.2.0 alpha 4 rev. 1468>>

[Интервью] .NET Security — это просто
Автор: kochetkov.vladimir
Дата: 07.11.17
Re[2]: Openoffice...
От: Lazytech Ниоткуда  
Дата: 29.04.10 16:39
Оценка:
Пардон, а может, дело в ограничении на максимальное число строк, т.е. лог банально не поместился на один лист?
Запустив OO.O Calc (версия 3.2.0), убедился, что, как и в MS Excel 2003 (в 2007 вроде ограничение убрали), последняя строка на листе имеет номер 65536.

KV>Забираю час назад ростовский лог за текущий день — 718 метров, 1258014 строк (формат w3c, кто не знает: по сути, это текстовый CSV c разделителями в виде табуляции и установленными стандартом полями).


1258014 > 65536

Не здесь ли собака порылась?
Re[2]: Openoffice...
От: kochetkov.vladimir Россия https://kochetkov.github.io
Дата: 29.04.10 16:39
Оценка:
Здравствуйте, Sheridan, Вы писали:

S>Казалось бы, выбрать время, сесть и написать на том-же перле скрипт, который выгрызает из лога самое интересное и сохраняет в html.

S>Ан нет, неспортивно, бджалд, мы идем своим путем...

А ничего, что "самое интересное" у меня почти всегда разное? Каждый раз одноразовые скрипты писать? В этой области, все что мог я уже заавтоматизировал себе немерлом.
... << RSDN@Home 1.2.0 alpha 4 rev. 1468>>

[Интервью] .NET Security — это просто
Автор: kochetkov.vladimir
Дата: 07.11.17
Re[3]: Openoffice...
От: kochetkov.vladimir Россия https://kochetkov.github.io
Дата: 29.04.10 16:41
Оценка:
Здравствуйте, Lazytech, Вы писали:

L>Пардон, а может, дело в ограничении на максимальное число строк, т.е. лог банально не поместился на один лист?

L>Запустив OO.O Calc (версия 3.2.0), убедился, что, как и в MS Excel 2003 (в 2007 вроде ограничение убрали), последняя строка на листе имеет номер 65536.
KV>>Забираю час назад ростовский лог за текущий день — 718 метров, 1258014 строк (формат w3c, кто не знает: по сути, это текстовый CSV c разделителями в виде табуляции и установленными стандартом полями).
L>1258014 > 65536
L>Не здесь ли собака порылась?

В 2007 ограничение не убрали, его просто чуть отодвинули на планку 1048576 строк (о чем я выше, вообще-то написал). Этот лог не помещался ни в MSO, ни в OO, соль как раз-таки в том, как это выглядело и там и там.
... << RSDN@Home 1.2.0 alpha 4 rev. 1468>>

[Интервью] .NET Security — это просто
Автор: kochetkov.vladimir
Дата: 07.11.17
Re[2]: Openoffice...
От: kochetkov.vladimir Россия https://kochetkov.github.io
Дата: 29.04.10 16:46
Оценка:
Здравствуйте, Воронков Василий, Вы писали:

ВВ>Идти в баг-трекер, добавить туда эту информацию, помочь пофиксить баг, хотя бы предоставлением информации о нем, а не радостно в флейм бежать.


Меня этот баг заинтересовал тем, что он очень похож на уязвимость через повреждение памяти. Поэтому, хочу на выходных заняться его исследованием, а потом им конечно напишу.

ВВ>А то получается, извините, что сами же срем там, где едим, а потом еще жалуемся, что это опен-сурс плохой.


Не, это не ко мне. Я всегда извините, сру в одних местах, а ем в других
... << RSDN@Home 1.2.0 alpha 4 rev. 1468>>

[Интервью] .NET Security — это просто
Автор: kochetkov.vladimir
Дата: 07.11.17
Re[3]: Openoffice...
От: Воронков Василий Россия  
Дата: 29.04.10 16:49
Оценка:
Здравствуйте, kochetkov.vladimir, Вы писали:

KV>Меня этот баг заинтересовал тем, что он очень похож на уязвимость через повреждение памяти. Поэтому, хочу на выходных заняться его исследованием, а потом им конечно напишу.


А зачем тогда вообще этот пост? Показать, как можно воспользоваться такой уязвимостью?

ВВ>>А то получается, извините, что сами же срем там, где едим, а потом еще жалуемся, что это опен-сурс плохой.

KV>Не, это не ко мне. Я всегда извините, сру в одних местах, а ем в других

Непохоже. Ты или пользуешься ОО, или нет. Если пользуешься, то непонятно, зачем подробно и радостно описывать его эксплоиты на посещаемом форуме.
Re[3]: Openoffice...
От: Vamp Россия  
Дата: 29.04.10 16:49
Оценка:
KV>Я не радуюсь неудачам опенсорса и не являюсь его противником. Просто тут кое-кто с пеной у рта доказывал, что ОО не хуже MSO и я совсем чуточку радуюсь его неправоте.
Хуже, лучше — понятия субъективные. Кому то лучше, кому-то хуже.

KV>Я однозначно за то, чтобы качество любого открытого ПО росло с каждым днем и составляло серьезную конкуренцию коммерческому ПО, а не как сейчас. И, таки-да, так будет лучше для всех потребителей по целому ряду причин.

Вот! Золотые слова!

KV>Но также, лично я, вижу несколько вещей в идеологии открытого ПО и его сторонниках, которые несовместимы с понятием "качественный продукт". Причем, чем дальше в лес, тем толще партизаны, тем сильнее проявляются эти вещи и влияют на развитие окрытого ПО не в самую лучшую сторону. Но это — тема отдельного серьезного разговора, вообще-то.

Ну так давай об этом и поговорим
Да здравствует мыло душистое и веревка пушистая.
Re[4]: Openoffice...
От: kochetkov.vladimir Россия https://kochetkov.github.io
Дата: 29.04.10 16:56
Оценка: +1
Здравствуйте, Воронков Василий, Вы писали:

ВВ>Здравствуйте, kochetkov.vladimir, Вы писали:


KV>>Меня этот баг заинтересовал тем, что он очень похож на уязвимость через повреждение памяти. Поэтому, хочу на выходных заняться его исследованием, а потом им конечно напишу.

ВВ>А зачем тогда вообще этот пост? Показать, как можно воспользоваться такой уязвимостью?

Я выше, в ответе Vamp'у объяснил зачем.

ВВ>>>А то получается, извините, что сами же срем там, где едим, а потом еще жалуемся, что это опен-сурс плохой.

KV>>Не, это не ко мне. Я всегда извините, сру в одних местах, а ем в других

ВВ>Непохоже. Ты или пользуешься ОО, или нет. Если пользуешься, то непонятно,


Я не пользуюсь ОО и скачал его сегодня, исключительно ради того, чтобы создать эту тему. Если бы ОО справился с задачей, или чего похлеще, справился бы с ней лучше MSO, то я также бы написал об этом.

ВВ>зачем подробно и радостно описывать его эксплоиты на посещаемом форуме.


Ага, "просто незаметно подсуньте юзеру специально-подготовленный текстовый файл мегабайт на 800 и, когда он его несомненно откроет, вы выполните на его машине произвольный код".

P.S: Я знаю — скотина, не совместимая с моралью многих здешних участников, да и вообще окружающих меня людей, да.
... << RSDN@Home 1.2.0 alpha 4 rev. 1468>>

[Интервью] .NET Security — это просто
Автор: kochetkov.vladimir
Дата: 07.11.17
Re[4]: Openoffice...
От: Lazytech Ниоткуда  
Дата: 29.04.10 16:57
Оценка:
Здравствуйте, kochetkov.vladimir, Вы писали:

KV>В 2007 ограничение не убрали, его просто чуть отодвинули на планку 1048576 строк (о чем я выше, вообще-то написал). Этот лог не помещался ни в MSO, ни в OO, соль как раз-таки в том, как это выглядело и там и там.


Возможно, разные программы просто по-разному реагируют на нестандартные ситуации?
Re: Openoffice...
От: DemAS http://demas.me
Дата: 29.04.10 17:10
Оценка: +2
"kochetkov.vladimir" <24665@users.rsdn.ru> writes:

> Наброс окончен, спасибо за внимание. Жду аргументов о том, что OO под эти

> задачи не предназначен

Да я не уверен, что и MS Office под эти задачи затачивался
Posted via RSDN NNTP Server 2.1 beta
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.