Что лучше?
Почему бы не вызывать деструкторы и чистить память сразу, когда стало известно, что ссылок на данный объект уже нет?