S>Long story short: у нас в CodeJam среди кучи других полезняшек есть микро-хелпер для работы с временными файлами: завёл-поработал-оноавтоматомгрохнулось.
Игнорировать невозможность удаления нехорошо. Но и прерывать выполнение задачи из-за такой ерунды тоже.
Необходимо запомнить название файла куда угодно(напр. реестр) и при последующем вызове попытаться вновь удалить в фоне.
После нескольких попыток, бросить спец. событие для сообщения пользователю.