В случае если имеется

htmlayout::dialog dlg( NULL );

то в

dialog::do_modal_loop

получаем следующую картину:

...
HWND frm = GetAncestor(hwnd,GA_ROOTOWNER);
EnableWindow(frm,FALSE);
...

так как frm будет равно hwnd, получается, что дизаблится собственное окно.

Наверное надо бы поправить