MH>Как такое возможно?
Итоги расследования (для тех кому интересно что же было и когда такое бывает).
Оказалось что в хитром случае, при обработке одного из реквестов из-за определённого сочетания настроек происходило зацикливание в нашей логике. В этом цикле и генерился мусор.
После некоторого времени работы (нескольких минут) постепенно выжыралась вся доступная память, далее время работы GC росло и начинало занимать почти всё CPU.
Порулило (как и в большинстве таких случаев) снятие дампа (при помощи procdump с условием — высокий расход памяти процессом) и его анализ (каких объектов аномально много, кто их держит, в каком потоке созданы, разбор стэка потока).