Спасибо всем за помощь.

В принципе, мне удалось добиться такого поведения, как в Excel. Есть главное окно(WS_EX_TOOLWINDOW — в таскбаре его нет), есть его минимизированный двойник, который в таскбаре виден. Все работает: фокус ввода на главном окне, и в таскбаре кнопка нажата. Осталось доработка напильником — обработать minmize-maximize, activate и пр. Так что буду пилить дальше