Добрый день!
Передо мной возникла следующая задача.

Имеется некий лог от некого устройства. Лог представляет из себя набор строчек в формате cvs с переменным числом параметров (общий формат timestamp _тип события_,arg1, arg2 ..., argN). В среднем в логе находится от 100 до 500 тысяч событий. Таких логов, со временем, предпологается иметь очень много (от 50 до 100 тысяч). По каждому конкретному логу необходимо строить статистику. Статистика может быть как заранее определенная (допустим количество событий N типа), так и заданная пользователем (например сумма arg3 для всех событий типа N за определенный промежуток времени в логе). Логи отдаются серверу поштучно и данные в конретном логе не меняются.

Как это наиболее эффективно реализовать хранение и обработку такого количества информации?