Здравствуйте, namespace, Вы писали:

N>Необходимо запомнить название файла куда угодно(напр. реестр) и при последующем вызове попытаться вновь удалить в фоне.
N>После нескольких попыток, бросить спец. событие для сообщения пользователю.

Ну как как и подозревал: сколько людей, столько и предпочтений по обработке исключений.

Всем не угодишь, поэтому оставим максимально дубовый вариант: запись ошибок в свой TraceSource, по аналогии с WPF PresentationTraceSources. Если этого не хватает, то будет проще написать свой код, кем прогнуть простенький хелпер под конкретный сценарий.