Здравствуйте, elmal, Вы писали:

E>Какие можете подсказать технологии, позволяющие решить эту задачу?

Как вариант можно рассмотреть Dask — он как раз про масштабирование Pandas-like dataframes —
http://dask.pydata.org/en/latest/dataframe-groupby.html
http://dask.pydata.org/en/latest/dataframe-performance.html