Здравствуйте, plastictown, Вы писали:

Если бы Вы спросили на stackoverflow, то Вы мгновенно получили бы ссылку на how-to-ask. Очень полезно (и также дали бы ссылку) — How to create a Minimal, Complete, and Verifiable example

По делу. Без кода, без подробностей (компилятор, его ключи, платформа и т.п.) никто Вам не поможет. Ваш случай уникальный — миллионы людей по всему миру вот уже более 40 лет пользуются malloc. Десятки тысяч коммерческих продуктов работают и "выгребают" всю возможную память из системы. А тут жалкие 800Кб...