Прикрутил к страницам сайта виджет Google Translate. Работает отлично, но теперь сам гугл в Search Console стал выдавать на эти страницы Page Loading Issues, ссылаясь на запрет в robots.txt на googleapis.com. Как я понимаю, паук исполняет скрипт виджета, тот лезет на googleapis.com за своими данными, а сервер дает ему отлуп в соответствии с правилами собственного robots.txt. Если убираю гугловский скрипт со страницы — Loading Issues исчезают.
Как это дело побороть? Добавить в скрипт инициализации виджета проверку user-agent, или как-то иначе?