Здравствуйте Genie, Вы писали:

G>Как мне в модальном диалоге определять на какой элемент наведен курсор мыши?

POINT pt;
GetCursorPos(&pt);

HWND hWndCtrl = ChildWindowFromPoint(hWndDlg, pt);

Посмотри также функции ChildWindowFromPointEx и RealChildWindowFromPoint.