Можно скрыть кнопку на taskbar'е, обратившись к нему через интерфейс ITaskbarList (правда работает только для неактивных окон и нужен shell32.dll версии >=4.71).
При использовании WS_EX_TOOLWINDOW (не для своего окна) нужно следить чтобы у него не было WS_EX_APPWINDOW, если есть — снять.