Похоже дело в IIS и net.tcp, так как попробовал "простую" (<authentication certificateValidationMode="PeerTrust" trustedStoreLocation="LocalMachine" />) валидацию, та же фигня (если сертификат подходит то пускает, если нет то висит до таймаута). Только не понятно, это в IIS чегото не доделано или я в настройках не разобрался (хотя весь уже перерыл)