Здравствуйте, Mamut, Вы писали:
M>Пока бомбит только у тебя
Хорошо, хорошо, главное береги психику.
M>Ну да. «Я не знаю, и знать не хочу»
Простой вопрос — зачем? Ну и вдвойне прикольно, как только что вопившие о том, что чтобы работать в консоли, о ужас, надо чтото учить, теперь заливают обратное.
MTD>>А зачем? Я уже выучил десяток команд, мне хватает, осваивать супер-пупер-мега-мощные тулзы со своим языком запросов потребности не испытываю. Я ленивый, поэтому и консоль люблю — облегчает жизнь.
M>Ага. Облегчает, как же. Тут
примеры запросов, которые ты затрахаешься делать в консоли.
Даже смотреть не стал. Мне реально облегчает, будет чего то не хватать буду искать подходящий инструмент.
M>Но я помню, тебе же не надо, потому что «не знаю и знать не хочу».
Нет, просто я человек рациональный — шевелюсь только когда надо, пока мои повседневные задачи покрывает командная строка и привычные мне инструменты.
Здравствуйте, Mamut, Вы писали:
M> 1. Поля настриваются в импортере логов. Даже если нет полей, rex, после чего — все остальные запросы.
Как я и говорил — фигурное выпиливание (и mode=sed говорит сам за себя). И чем дальше я буду переходить от общего к частному (конкретно к своим логам во всем их многообразии), тем больше это будет тем самым sed-ом в консоли, только плюс "прицеп", который нужно будет поддерживать.
M> 2. Про «тривиальные выборки» смешно, да. Я вот жду, может ты покажешь, как awk'ом и sed'ом я не знаю, персентили вытаскивать. Или outlier'ы на каких-то значениях.
Что такое outlier'ы я не знаю, но если имеется ввиду какая-то нетривиальная мат-статистика, то тут бы я просто делегировал эту задачу R.
M> AB>P.S. У данных продуктов есть своя ниша, где они будут "на своем месте", но для моих задач в большинстве случаев они не подходят. M> Я вот тоже жду, может ты покажешь, как ты awk'ом парсишь 1.5 терабайта логов.
Беру и запускаю — тут нет каких-то особых хитростей.
M> ЗЫ. «Тривиальная выборка», за пределами которой «awk/sed/grep-оподобный скальпель»
Ты пытаешься мне "продать" аналитику, а я пытаюсь объяснить, что я не занимаюсь аналитикой (по крайней мере не в таком виде). Возможно в этом причина недопонимания.
Если мне (не дай бог) потребуется полезть в ту аналитику, которую ты описываешь, то я не буду заниматься извращениями с фигурным выпиливанием из сырых технических логов (которые, к тому же, могут не содержать требуемой информации), а добавлю в приложение необходимый для аналитики функционал — это может быть обычный csv лог, пригодный для импорта в базу, или сразу отправка данных через какой-нибудь api — это дело уже десятое, ни к *nix ни к консоли не имеющее отношения.
... в первом классе мне говорили, что нужно делиться, а теперь говорят, что это незаконно ...
Здравствуйте, Ops, Вы писали:
Ops>Здравствуйте, Sheridan, Вы писали:
S>>И если какая-то задача требует перед её исполнением чтототам изучить — я это изучаю и не исхожу на говно.
Ops>Только вот задача обычно не требует изучения. Чтобы заменить в файле одно слово на другое, достаточно открыть его в редакторе и выбрать в меню "заменить", потом "сохранить", а не тратить время на то, чтобы узнать о существовании sed и как им пользоваться, тем более, что через год ты это все равно забудешь за ненадобностью.
Я чё-то не понял. Ты намекаешь, что в Линуксе нет текстовых редакторов что ли?
Или что текстовый редактор — это "недостаточно консоль"?
Здравствуйте, Klikujiskaaan, Вы писали:
K>Голословное утверждение. Ни мой отец, ни моя мать не смогли нормально работать за Убунтой, чего не скажешь о винде и осх, но, наверное, они не "простые пользователи", ага.
У тебя очень криворукие родственники.
У меня и отец и мать работают с Kubuntu.
76 и 78 лет, Карл!
Здравствуйте, 0BD11A0D, Вы писали:
BDA>Здравствуйте, Sinclair, Вы писали:
BDA>>>Это почта. Если собрать всех в чатик, Семён Дмитриевич сам может писать, типа, «Здорово, посоны, а также лично ты, Алексей Михайлович! Сорян, но сегодня на связи буду ближе к пяти». S>>Это зашибись, но задачу никак не решает. Потому что Петру Санычу к пяти надо забирать ребёнка, а после шести у него звонок с east coast. S>>Всю эту систему уравнений лично я решать не хочу, а если предоставить им "самим договориться", то тупо ничего не произойдёт.
BDA>И как тут помогает Outlook?
Откройте для себя Scheduling assistant:
M>> 1. Поля настриваются в импортере логов. Даже если нет полей, rex, после чего — все остальные запросы.
AB>Как я и говорил — фигурное выпиливание (и mode=sed говорит сам за себя). И чем дальше я буду переходить от общего к частному (конкретно к своим логам во всем их многообразии), тем больше это будет тем самым sed-ом в консоли, только плюс "прицеп", который нужно будет поддерживать.
Ты вообще читаешь, что тебе пишут? Выделенное. Никакого «фигурного выпиливания», которое ты себе придумал. rex нужен, если у тебя логи вообще структуры не имеют — даже тогда тебе доступны любые трансформации, любые запросы, любой поиск и любая аналитика.
M>> 2. Про «тривиальные выборки» смешно, да. Я вот жду, может ты покажешь, как awk'ом и sed'ом я не знаю, персентили вытаскивать. Или outlier'ы на каких-то значениях.
AB>Ну можно и на awk AB>я просто делегировал эту задачу R.
в консоли найти ответ чаще будет быстрее
Ну то есть вместо использования одного инструмента, который заточен на анализ логов, ты предлагаешь использовать стопятьсот разных тулзов. Молодец, чо.
Можно пример «нетривиальных запросов», которые можно решить только в консоли sed'ом и awk'ом?
M>> ЗЫ. «Тривиальная выборка», за пределами которой «awk/sed/grep-оподобный скальпель» AB>Ты пытаешься мне "продать" аналитику, а я пытаюсь объяснить, что я не занимаюсь аналитикой (по крайней мере не в таком виде). Возможно в этом причина недопонимания.
Я не пытаюсь тебе продать аналитику. Ты себе придумал какую-то картину мира, где все решается sed'ом и awk'ом. А «нетривиальные» запросы у тебя ВНЕЗАПНО становятся «аналитикой».
Можно пример «нетривиальных запросов», которые можно решить только в консоли sed'ом и awk'ом?
Ну и да. Зачем еще нужны логи, как не для аналитики?
AB>Если мне (не дай бог) потребуется полезть в ту аналитику, которую ты описываешь,
Там не только аналитика.
AB>то я не буду заниматься извращениями с фигурным выпиливанием из сырых технических логов (которые, к тому же, могут не содержать требуемой информации), а добавлю в приложение необходимый для аналитики функционал — это может быть обычный csv лог, пригодный для импорта в базу, или сразу отправка данных через какой-нибудь api — это дело уже десятое, ни к *nix ни к консоли не имеющее отношения.
Аха-ха-ха, извини. «Просто добавлю аналитику», «просто дамп csv», «просто прикручу R», «просто какой-то API». Куда только подевались все выспренные заявления о «нетривиальных запросах» и прочее?
Здравствуйте, Kernighan, Вы писали:
K>Я чё-то не понял. Ты намекаешь, что в Линуксе нет текстовых редакторов что ли?
При чем тут линукс? K>Или что текстовый редактор — это "недостаточно консоль"?
Редактор — это вообще не консоль.
Переубедить Вас, к сожалению, мне не удастся, поэтому сразу перейду к оскорблениям.
Здравствуйте, Sinclair, Вы писали:
BDA>>>>Это почта. Если собрать всех в чатик, Семён Дмитриевич сам может писать, типа, «Здорово, посоны, а также лично ты, Алексей Михайлович! Сорян, но сегодня на связи буду ближе к пяти». S>>>Это зашибись, но задачу никак не решает. Потому что Петру Санычу к пяти надо забирать ребёнка, а после шести у него звонок с east coast. S>>>Всю эту систему уравнений лично я решать не хочу, а если предоставить им "самим договориться", то тупо ничего не произойдёт.
BDA>>И как тут помогает Outlook? S>Откройте для себя Scheduling assistant:
Подождите, но ведь проблема была обозначена так: люди сами договориться не способны, а вы организовывать встречу не хотите. Как Outlook тут что-то меняет? Выходит, все-таки, если дать людям инструмент, они самоорганизуются? Или (слава роботам!) вы верите, что это Outlook их организовал? Так вот, если оставаться в разумных рамках и считать, что это просто адекватный инструмент, чатик ничем не хуже. На самом деле, лучше, т.к. все происходит быстрее. Но, конечно, почувствовать себя при этом важной шишкой, которая извещает коллег, что не сможет помитинговать, так как во время оно надо принять звонок с East Coast, не получится. А я вам так скажу: я уже за..ался двигать процесс вперед. При том, что все общение на виду и никто из себя не строит. Почта, с ее неторопливым согласованием созвона, убила бы вообще ту немногую эффективность, которая есть.
Здравствуйте, RiNSpy, Вы писали:
RNS>Здравствуйте, Kolesiki, Вы писали:
RNS>Новые лэптопы будут идти с десяткой — будут их покупать, куда они денутся?
выбираю новую мобильную воркстанцию от делла. ну то есть совсем новую. варианты предустановки от делла -- семерка, линух. иногда восьмерка. десятки нету (во всяком случае на мобильных воркстанциях).
americans fought a war for a freedom. another one to end slavery. so, what do some of them choose to do with their freedom? become slaves.
Здравствуйте, Ops, Вы писали:
Ops>Здравствуйте, Kernighan, Вы писали:
K>>Я чё-то не понял. Ты намекаешь, что в Линуксе нет текстовых редакторов что ли? Ops>При чем тут линукс?
Вообще-то мы его тут обсуждаем.
K>>Или что текстовый редактор — это "недостаточно консоль"? Ops>Редактор — это вообще не консоль.
Ну, допустим не консоль. И что?
Кстати, а почему не консоль? Есть же редакторы работающие в терминале. mc всякие.
Здравствуйте, Kernighan, Вы писали:
K>Вообще-то мы его тут обсуждаем.
Да ладно? Вроде ж ветка именно про консоль.
K>Ну, допустим не консоль. И что?
То, что не надо сравнивать кислое с пресным.
K>Кстати, а почему не консоль? Есть же редакторы работающие в терминале. mc всякие.
А есть которые вообще без ОС работают. И есть еще куча всего в мире. Можно обобщить и начать сравнивать все с всем, это называется демагогия.
Переубедить Вас, к сожалению, мне не удастся, поэтому сразу перейду к оскорблениям.
Здравствуйте, 0BD11A0D, Вы писали:
BDA>Чего у Микрософта не отнять, это скилла нейминга. Надо же, скежулинг ассистант. В Thunderbird'е-то лопухи опенсорсные назвали эту фичку Invite attendees. Так корову, конечно, не продать.
Скилл нейминга у них ниже плинтуса. Вообще, маркетинг в МС профнепригоден. Вот уже 30 лет как. И никаких подвижек к лучшему не видно. К счастью, это компенсируется полной беспомощностью инженерных отделов у их конкурентов — кроме Apple.
Можно посмотреть на скриншот Invite Attendees, где аналогичный ассистант реально показывает расписание людей, а не "information unavailable", как на всём, что я вижу в гугле?
Откуда thunderbird берёт эти данные?
BDA>Подождите, но ведь проблема была обозначена так: люди сами договориться не способны, а вы организовывать встречу не хотите. Как Outlook тут что-то меняет?
Очень просто он меняет — он даёт мне инструмент по организации встреч, который позволяет мне одним взглядом выбрать подходящий слот. "договориться без бюрократии" займёт неделю. Договориться "с бюрократией" от Microsoft занимает 5 минут.
BDA>Выходит, все-таки, если дать людям инструмент, они самоорганизуются?
Нет. "Само" всё только ухудшается. Организовать может только организатор — причём неважно, кто он по званию. В нормальной команде для каждый может выступать организатором — по мере появления задач.
И вот этому организатору надо давать качественные тулзы, потому что без них он тупо забьёт на кооперацию и всё. Т.е. не будет, к примеру, обсуждать прототипы UI с другими сотрудниками, а молча сделает, как ему удобно.
Потому что если закодить форму занимает 4 часа, а организовать 20-минутное обсуждение занимает три дня, то проще её шесть раз переделать.
BDA>Или (слава роботам!) вы верите, что это Outlook их организовал? Так вот, если оставаться в разумных рамках и считать, что это просто адекватный инструмент, чатик ничем не хуже.
Чатик на порядок хуже тем, что требует онлайн присутствия от всех участников. Не все могут себе позволить роскошь жить в одном часовом поясе или требовать постоянного присутствия в сети.
BDA>На самом деле, лучше, т.к. все происходит быстрее.
Быстрее происходит это только в том случае, если у всех участников — свободное расписание, в котором иногда-иногда есть какие-то окна занятости. У тех, с кем общаюсь я, расписание как правило забито "на сегодня" полностью, на завтра на 6 из 8 часов, а вот на послезавтра есть шанс найти свободное окошечко. BDA>Но, конечно, почувствовать себя при этом важной шишкой, которая извещает коллег, что не сможет помитинговать, так как во время оно надо принять звонок с East Coast, не получится.
Не понимаю вашего наезда. чем, по вашему, сообщение в чат "не могу, у меня в это время звонок", отличается по важношишечности от кнопки Decline and Propose a new Time в Outlook? BDA>А я вам так скажу: я уже за..ался двигать процесс вперед. При том, что все общение на виду и никто из себя не строит. Почта, с ее неторопливым согласованием созвона, убила бы вообще ту немногую эффективность, которая
есть.
Может вам попробовать более эффективные инструменты, чем "чятик"? А то странно получается — вы задолбались, а я нет. При этом я типа использую неэффективную бюрократию, а вы — эффективный чатик.
В чатике ни трекинга нет, ни учёта уже отправленной информации. Это я что, буду каждому желающему со мной пообщаться отдельно объяснять, что "я в новосибирске, в 17:00 GMT у нас уже 11pm. А в 1:00 am GMT по вторникам я вообще всегда занят — у меня еженедельный митинг"? Я тогда не то что на RSDN не успею писать, я вообще ничего больше успевать не буду.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Ops, Вы писали:
Ops>Здравствуйте, Kernighan, Вы писали:
K>>Вообще-то мы его тут обсуждаем. Ops>Да ладно? Вроде ж ветка именно про консоль.
Ну хорошо, про консоль, так про консоль.
Консоль в современном линуксе нужна очень редко — один раз в жизни при первоначальной настройке.
Поэтому все разговоры про её эффективность-неэффективность имеют малую значимость.
K>>Ну, допустим не консоль. И что? Ops>То, что не надо сравнивать кислое с пресным.
Ну и не сравнивай.
Ты вообще забыл тему разговора.
Зачем-то начал (именно ты начал) сравнивать текстовый редактор с консолью.
Как будто возможна ситуация, в которой нужно выбрать что-то одно.
K>>Кстати, а почему не консоль? Есть же редакторы работающие в терминале. mc всякие. Ops>А есть которые вообще без ОС работают. И есть еще куча всего в мире. Можно обобщить и начать сравнивать все с всем, это называется демагогия.
Вот ты и начал сравнивать консоль с редактором.
А народ (нормальный народ) говорит очень простую вещь. Линукс — это текстовые конфиги.
Которые очень просто править имея под рукой такое мощное средство как Гугл.
Когда Гугла не было, конечно можно было впасть в панику — "я не знаю, что тут править, караул!!!".
Но теперь-то чего в панику впадать?
Здравствуйте, Anton Batenev, Вы писали: AB>Если мне (не дай бог) потребуется полезть в ту аналитику, которую ты описываешь, то я не буду заниматься извращениями с фигурным выпиливанием из сырых технических логов (которые, к тому же, могут не содержать требуемой информации), а добавлю в приложение необходимый для аналитики функционал — это может быть обычный csv лог, пригодный для импорта в базу, или сразу отправка данных через какой-нибудь api — это дело уже десятое, ни к *nix ни к консоли не имеющее отношения.
К сожалению, в реальной жизни к моменту, когда понадобилась аналитика, "добавлять в приложение" уже поздно.
Я этого добра наелся по самое нехочу. "Поддержку каких версий апача можно дропнуть в следующей версии нашего приложения?" — "мы это узнаем сразу после того, как выйдет следующая версия нашего приложения, и её поставят 98% наших пользователей". Зачёт, чо.
А тем временем "сырых технических логов" уже накоплено терабайты, и из них можно извлечь массу полезной информации. А "несодержимость" этой информации обычно связана с тем, что она там размазана по ста разным местам — типа IP клиента есть только в логе фронт-енда; версия продукта есть только в логах апп-сервера; статистики по отказам из-за дедлоков есть только в логах СУБД. А у нас ещё и кластер, поэтому одна сессия проходит через 28 разных узлов.
Без инструментов типа splunk легче всего сказать именно так: "пишите feature request, мы его сделаем в версии после следующей (потому что scope на следующую уже забит до отказа и будет только урезаться), её поставят примерно через год после выхода, и после полугода эксплуатации у нас будет достаточно статистики для анализа." В надежде на то, что спрашивающий отвалит навсегда.
Ну, или мучительные извращения с выпиливанием на основе консльных тулзов, которые для этого не предназначены.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Kernighan, Вы писали:
K>Зачем-то начал (именно ты начал) сравнивать текстовый редактор с консолью.
Какой ты конкретный. Это был лишь первый попавшийся пример.
Переубедить Вас, к сожалению, мне не удастся, поэтому сразу перейду к оскорблениям.
S>К сожалению, в реальной жизни к моменту, когда понадобилась аналитика, "добавлять в приложение" уже поздно.
Ну и не забываем, что никто не знает, какая именно аналитика нужна. Потому что в итоге может легко понадобиться протрейсить путь заказа через 15 подсистем в пяти датацентрах на трех языках программирования (хех, я это делал с помощью спланка, не приходя в сознание, обладая только номером заказа, который в процессе бработки мог спокойно меняться).
Единственная надежда — это то, что логи достаточно подробные, и что есть инструмент для того, чтобы сквозь них продраться
Здравствуйте, Mamut, Вы писали:
M> AB>Как я и говорил — фигурное выпиливание (и mode=sed говорит сам за себя). И чем дальше я буду переходить от общего к частному (конкретно к своим логам во всем их многообразии), тем больше это будет тем самым sed-ом в консоли, только плюс "прицеп", который нужно будет поддерживать. M> Ты вообще читаешь, что тебе пишут? Выделенное. Никакого «фигурного выпиливания», которое ты себе придумал. rex нужен, если у тебя логи вообще структуры не имеют — даже тогда тебе доступны любые трансформации, любые запросы, любой поиск и любая аналитика.
Ну вот эти "любые трансформации" и являются "фигурным выпиливанием", тут я абсолютно ничего не придумал, а написал краткий пересказ документации по твоей ссылке — берем sed-подобные выражения, регулярки и фигачим преобразования.
M> M>> 2. Про «тривиальные выборки» смешно, да. Я вот жду, может ты покажешь, как awk'ом и sed'ом я не знаю, персентили вытаскивать. Или outlier'ы на каких-то значениях. M> AB>Ну можно и на awk M> AB>я просто делегировал эту задачу R. M> в консоли найти ответ чаще будет быстрее M> Ну то есть вместо использования одного инструмента, который заточен на анализ логов, ты предлагаешь использовать стопятьсот разных тулзов. Молодец, чо.
Да, именно так — "каждый делает одно дело, но делает его хорошо".
M> Можно пример «нетривиальных запросов», которые можно решить только в консоли sed'ом и awk'ом?
Я не делал подобных категоричных заявлений, по этому не могу ответить на твой вопрос.
M> AB>Ты пытаешься мне "продать" аналитику, а я пытаюсь объяснить, что я не занимаюсь аналитикой (по крайней мере не в таком виде). Возможно в этом причина недопонимания. M> Я не пытаюсь тебе продать аналитику. Ты себе придумал какую-то картину мира, где все решается sed'ом и awk'ом. А «нетривиальные» запросы у тебя ВНЕЗАПНО становятся «аналитикой».
Приведенные тобой примеры — это вполне конкретные выборки для вполне конкретных целей аналитики для продажников / ученых и т.д.
M> Ну и да. Зачем еще нужны логи, как не для аналитики?
Тебя смущает термин "аналитика"? Под аналитикой я понимаю систематическое вычисление к-л показателей на предметно-ориентированном наборе или потоке данных, их анализ, изучение, сравнение и т.д.
M> AB>то я не буду заниматься извращениями с фигурным выпиливанием из сырых технических логов (которые, к тому же, могут не содержать требуемой информации), а добавлю в приложение необходимый для аналитики функционал — это может быть обычный csv лог, пригодный для импорта в базу, или сразу отправка данных через какой-нибудь api — это дело уже десятое, ни к *nix ни к консоли не имеющее отношения. M> Аха-ха-ха, извини. «Просто добавлю аналитику», «просто дамп csv», «просто прикручу R», «просто какой-то API». Куда только подевались все выспренные заявления о «нетривиальных запросах» и прочее?
Не вижу никаких противоречий — для каждой задачи, подходящие инструменты. Пытаться приспособить технический лог веб-сервера под аналитику продаж с одной стороны никто не запрещает, но в общем случае технический лог может и не содержать нужных данных и все рассуждения о "любой поиск и любая аналитика" начнут рассыпаться.
Так, например, в приведенных тобой примерах в логе может отсутствовать JSESSIONID, потому что он передается не в GET запросе, а кукой и куки не логгируются. В POST запросе могут приезжать данные формы, которые так же не попадают в лог, но могут быть необходимы для продажной аналитики. Создание предметно-ориентированного лога или использование соответствующего api я считаю более чем адекватным для решения задач такого рода — у продажников свои заморочки, у сейсмологов свои.
В моей же области деятельности чаще всего оказывается наиболее адекватным использовать стандартные консольные утилиты.
... в первом классе мне говорили, что нужно делиться, а теперь говорят, что это незаконно ...
Здравствуйте, Sheridan, Вы писали:
S>Здравствуйте, CreatorCray, Вы писали:
CC>>Здравствуйте, Kernighan, Вы писали:
K>>>Ну например то, что командная строка — это не "ужас-ужас", а очень удобная штука. CC>>Ещё бы, когда больше ничего нет — палка-копалка просто супер удобна! S>Да, бывает что и больше ничего нет. Например на роутерах, свичах, точках доступа... S>На сервантах, например. Или вы предлагаете везде туда гуй втыкать и мышеелозить?
Вин 3.11 работала на 4 МБ оперативки. И неплохо так работала, гуй рисовался.
Скажи уж честно (хотя ты и не разработчик), сделать нормальное GUI — трудоемко, и сравнимо с написанием основной программы. Вот оне, девелоперы опенсорца, и не хотят тратить время на гуй. Да и на чем его рисовать? GDI виндового у них нет, а кроссплатформенный фреймворк с закругленными кнопочками, градиентами и шрифтами 36pt — для слепых пингвинов, этот фреймворк жрет память как не в себя, да еще и падает.
