Здравствуйте, Mamut, Вы писали:

M> AB>Как я и говорил — фигурное выпиливание (и mode=sed говорит сам за себя). И чем дальше я буду переходить от общего к частному (конкретно к своим логам во всем их многообразии), тем больше это будет тем самым sed-ом в консоли, только плюс "прицеп", который нужно будет поддерживать.
M> Ты вообще читаешь, что тебе пишут? Выделенное. Никакого «фигурного выпиливания», которое ты себе придумал. rex нужен, если у тебя логи вообще структуры не имеют — даже тогда тебе доступны любые трансформации, любые запросы, любой поиск и любая аналитика.

Ну вот эти "любые трансформации" и являются "фигурным выпиливанием", тут я абсолютно ничего не придумал, а написал краткий пересказ документации по твоей ссылке — берем sed-подобные выражения, регулярки и фигачим преобразования.

M> M>> 2. Про «тривиальные выборки» смешно, да. Я вот жду, может ты покажешь, как awk'ом и sed'ом я не знаю, персентили вытаскивать. Или outlier'ы на каких-то значениях.
M> AB>Ну можно и на awk
M> AB>я просто делегировал эту задачу R.
M> в консоли найти ответ чаще будет быстрее
M> Ну то есть вместо использования одного инструмента, который заточен на анализ логов, ты предлагаешь использовать стопятьсот разных тулзов. Молодец, чо.

Да, именно так — "каждый делает одно дело, но делает его хорошо".

M> Можно пример «нетривиальных запросов», которые можно решить только в консоли sed'ом и awk'ом?

Я не делал подобных категоричных заявлений, по этому не могу ответить на твой вопрос.

M> AB>Ты пытаешься мне "продать" аналитику, а я пытаюсь объяснить, что я не занимаюсь аналитикой (по крайней мере не в таком виде). Возможно в этом причина недопонимания.
M> Я не пытаюсь тебе продать аналитику. Ты себе придумал какую-то картину мира, где все решается sed'ом и awk'ом. А «нетривиальные» запросы у тебя ВНЕЗАПНО становятся «аналитикой».

Приведенные тобой примеры — это вполне конкретные выборки для вполне конкретных целей аналитики для продажников / ученых и т.д.

M> Ну и да. Зачем еще нужны логи, как не для аналитики?

Тебя смущает термин "аналитика"? Под аналитикой я понимаю систематическое вычисление к-л показателей на предметно-ориентированном наборе или потоке данных, их анализ, изучение, сравнение и т.д.

M> AB>то я не буду заниматься извращениями с фигурным выпиливанием из сырых технических логов (которые, к тому же, могут не содержать требуемой информации), а добавлю в приложение необходимый для аналитики функционал — это может быть обычный csv лог, пригодный для импорта в базу, или сразу отправка данных через какой-нибудь api — это дело уже десятое, ни к *nix ни к консоли не имеющее отношения.
M> Аха-ха-ха, извини. «Просто добавлю аналитику», «просто дамп csv», «просто прикручу R», «просто какой-то API». Куда только подевались все выспренные заявления о «нетривиальных запросах» и прочее?

Не вижу никаких противоречий — для каждой задачи, подходящие инструменты. Пытаться приспособить технический лог веб-сервера под аналитику продаж с одной стороны никто не запрещает, но в общем случае технический лог может и не содержать нужных данных и все рассуждения о "любой поиск и любая аналитика" начнут рассыпаться.

Так, например, в приведенных тобой примерах в логе может отсутствовать JSESSIONID, потому что он передается не в GET запросе, а кукой и куки не логгируются. В POST запросе могут приезжать данные формы, которые так же не попадают в лог, но могут быть необходимы для продажной аналитики. Создание предметно-ориентированного лога или использование соответствующего api я считаю более чем адекватным для решения задач такого рода — у продажников свои заморочки, у сейсмологов свои.

В моей же области деятельности чаще всего оказывается наиболее адекватным использовать стандартные консольные утилиты.