по скриншотам — похоже на лики GDI объектов. хотя сам ты вроде ничего не рисуешь там...
выбери в TaskManager столбец GDI Objects и погляди в динамике сколько твоя программа их ест.
если кол-во при работе программы постоянно растёт то нужно искать где не удаляются вскякие битмапы, кисти и т.д.