S>а что нужно делать, если временный файл удалить не получается?
Побуду немного К.О.
а) а что может сделать пользователь библиотеки, если она вдруг выкинет эксепш?
б) рассчитывает ли кто-нибудь в реальности что такая фигня может случиться?

Лично я встречался с такой фигней на практике. Админы что-то перемудрили с настройками домена и roaming profiles, и файлы тупо не удалялись первые секунд 5.
Код во первых не был рассчитан на то что там вылетит какой-то эксепшн, а во вторых никакого варианта кроме как проигнорить это небыло.
Чего я точно не хочу и как пользователь софта и как разработчик, так это чтобы из-за каких-то ****-админов софт падал или говорил вскую непонятную хрень пользователям.

Поэтому текущее поведение — почти правильное. Я бы дополнительно вывел в трейс эксепшн и добавил файр эвента аля UnexpectedException, кому надо запишут в лог