Здравствуйте, Андрей, Вы писали:

А>что-то мне кажется, что незакрытие MSIHANDLE — это уже следствие более ранней ошибки

Возможно. Но я не представляю, как можно настроить setup project, чтобы возникла такая ошибка.
Если виноват Installer class, то исключение должно возникнуть в нем самом.
Также эта ошибка у меня не воспроизводится, непонятно как ее отловить.