Мы недавно вплотную занялись анализом посещаемости наших сайтов. Поскольку исходные данные — гигабайты логов Apache от хостера, я набросал на коленке простенький анализатор, который эти логи парсит, делает индексируемую БД, после чего строит дерево страниц и позволяет смотреть:
1. графики посещаемости
2. полный список referrers для страницы и график активности каждого из них
3. разные кастомные коэффициенты конверсии (т.е. сколько % от посетивших страницу А шелкнули по ссылке на страницу Б) и их изменение во времени
4. задавать критерии поиска (например, посещенная страница) и просматривать логи отдельных визитов (т.е. юзер зашел на страницу А, почитал ее 5 минут, потом щелкнул по ссылке на страницу Б и т.п.)
5. Еще можно создавать сравнительные графики посещаемости, drag'n'drop-ать туда страницы с сравнивать.
Благодаря хитрому движку БД большинство операций на гигабайтной базе происходят мгновенно (расплатой за это правда является троекратная избыточность базы данных на диске).
Вопрос: мы изобрели велосипед и существующие средства намного лучше/быстрее, или же получился хороший инструмент?
Скриншот тут:
Здравствуйте, bazis1, Вы писали:
B>Мы недавно вплотную занялись анализом посещаемости наших сайтов. Поскольку исходные данные — гигабайты логов Apache от хостера, я набросал на коленке простенький анализатор, который эти логи парсит, делает индексируемую БД, после чего строит дерево страниц и позволяет смотреть:
Современные анализаторы трафика умеют еще считать javascript-события, которые в логи апача не попадают, определять скорость загрузки страниц, строить click heatmap, и вообще записывать действия мыши/клавиатуры отдельных сессий пользователей, а потом наглядно все это показывать.
Посмотрите Яндекс-Метрику, например.
Здравствуйте, Clerik, Вы писали:
C>Здравствуйте, bazis1, Вы писали:
B>>Мы недавно вплотную занялись анализом посещаемости наших сайтов. Поскольку исходные данные — гигабайты логов Apache от хостера, я набросал на коленке простенький анализатор, который эти логи парсит, делает индексируемую БД, после чего строит дерево страниц и позволяет смотреть:
C>Современные анализаторы трафика умеют еще считать javascript-события, которые в логи апача не попадают, определять скорость загрузки страниц, строить click heatmap, и вообще записывать действия мыши/клавиатуры отдельных сессий пользователей, а потом наглядно все это показывать. C>Посмотрите Яндекс-Метрику, например.
а как оно с логами интегрируется? если это JavaScript, то referrer оттуда же вроде недоступен.
