Обдумываю как бы написать юнит текст к коду, использующему WebClient. Конкретнее, надо проверить подставляется ли правильный хедер (UserAgent) в реквест.
Вот кусок кода
using (WebClient wc = new WebClient())
{
wc.Headers.Add(HttpRequestHeader.UserAgent, _userAgent);
string content = await wc.DownloadStringTaskAsync(job.Url);
return content;
}