Здравствуйте, Mamut, Вы писали:

M> 1. Поля настриваются в импортере логов. Даже если нет полей, rex, после чего — все остальные запросы.

Как я и говорил — фигурное выпиливание (и mode=sed говорит сам за себя). И чем дальше я буду переходить от общего к частному (конкретно к своим логам во всем их многообразии), тем больше это будет тем самым sed-ом в консоли, только плюс "прицеп", который нужно будет поддерживать.

M> 2. Про «тривиальные выборки» смешно, да. Я вот жду, может ты покажешь, как awk'ом и sed'ом я не знаю, персентили вытаскивать. Или outlier'ы на каких-то значениях.

Ну можно и на awk (хотя обычно делаю по другому):

... | sort -n | awk '{ s[NR] = $1; } END { print int(NR * 0.9); }'

Что такое outlier'ы я не знаю, но если имеется ввиду какая-то нетривиальная мат-статистика, то тут бы я просто делегировал эту задачу R.

M> AB>P.S. У данных продуктов есть своя ниша, где они будут "на своем месте", но для моих задач в большинстве случаев они не подходят.
M> Я вот тоже жду, может ты покажешь, как ты awk'ом парсишь 1.5 терабайта логов.

Беру и запускаю — тут нет каких-то особых хитростей.

M> ЗЫ. «Тривиальная выборка», за пределами которой «awk/sed/grep-оподобный скальпель»

Ты пытаешься мне "продать" аналитику, а я пытаюсь объяснить, что я не занимаюсь аналитикой (по крайней мере не в таком виде). Возможно в этом причина недопонимания.

Если мне (не дай бог) потребуется полезть в ту аналитику, которую ты описываешь, то я не буду заниматься извращениями с фигурным выпиливанием из сырых технических логов (которые, к тому же, могут не содержать требуемой информации), а добавлю в приложение необходимый для аналитики функционал — это может быть обычный csv лог, пригодный для импорта в базу, или сразу отправка данных через какой-нибудь api — это дело уже десятое, ни к *nix ни к консоли не имеющее отношения.