Стоит задача существенно улучшить систему слежения за логами в небольшой, но распределённой системе. Система представлена в виде порядка нескольких десятков модулей/сервисов/библиотек/утилит, задеплоенных на десятки серверов. Компоненты реализованы очень разнообразными средствами, но потихоньку обобщаются с использованием log4net/log4j/log4cxx.
Проблема в том, что если приходит какой-то пользовательский запрос, его обработка происходит на многих серверах и сервисах, и ползать и выяснять обстоятельства обработки по всем логам — довольно утомительно. Сконфигурировали посылку Syslog Event к одному серверу, на котором стоит Kiwi Syslog Server, но пока это не похоже на спасение — в силу сырости. Нужно подумать как грамотно организовать.

Собственно вопрос. Есть ли какие-то интересные статьи на тему организации логгирования и отслеживания потоков запросов в более-менее сложных системах?
Может кто-то поделится опытом или идеями?

Здравствуйте, Nikе, Вы писали:

N>Стоит задача существенно улучшить систему слежения за логами в небольшой, но распределённой системе. Система представлена в виде порядка нескольких десятков модулей/сервисов/библиотек/утилит, задеплоенных на десятки серверов. Компоненты реализованы очень разнообразными средствами, но потихоньку обобщаются с использованием log4net/log4j/log4cxx.
N>Проблема в том, что если приходит какой-то пользовательский запрос, его обработка происходит на многих серверах и сервисах, и ползать и выяснять обстоятельства обработки по всем логам — довольно утомительно. Сконфигурировали посылку Syslog Event к одному серверу, на котором стоит Kiwi Syslog Server, но пока это не похоже на спасение — в силу сырости. Нужно подумать как грамотно организовать.

N>Собственно вопрос. Есть ли какие-то интересные статьи на тему организации логгирования и отслеживания потоков запросов в более-менее сложных системах?
N>Может кто-то поделится опытом или идеями?

Опыт украден у Microsoft SharePoint
На каждом серваке пишется структурированный лог. Периодически все логи сливаются в базу. Используется corellation id для отслеживания запроса. corellation id генерируется на frontend при обращении пользователя и попадает во все вызовы.

Здравствуйте, gandjustas, Вы писали:

G>Опыт украден у Microsoft SharePoint
G>На каждом серваке пишется структурированный лог. Периодически все логи сливаются в базу. Используется corellation id для отслеживания запроса. corellation id генерируется на frontend при обращении пользователя и попадает во все вызовы.

Вобщем оно близко к тому, единственное, что в нашем случе гуид в качестве corellation id не очень удобен для восприятия, и это одна из задач для причёсывания.
Но в целом, спасибо.