А>А что делать, если я знаю только hwnd главной формы, у которой в свою очередь может быть открыто какое-нибудь модальное окно?
А>Как это реализовано при переключении по Alt+Tab?

Проблема решена, т.к. приложение написано на Delphi, то главным окном является TApplication, при отправке ему сообщений всё нормально проходит)