Попробуй следующее:
— у таба должен быть расширенный стиль WS_EX_CONTROLPARENT
— у создаваемого диалога должен быть стиль DS_CONTROL