Точно,
я забыл про HttpListener.AuthenticationSchemes.
Там настраивается проверка и дальше нужно уже копать....

Сейчас попробую разобраться...

Спасибо!