Допустим есть
FileInfo file1 = new FileInfo("C:\MyFile.txt")
FileInfo file2 = new FileInfo("c:\myfile.TXT")

Как определить что file1 и file2 указывают на один и тот же файл?

У меня напрашивается только вариант со сравнением их свойства FullPath (с IgnoreCase).

Но тогда, например это не охватывает такой вариант как:
C:\Program Files\1.txt
и
C:\Progra~1\1.txt

что тоже является одним файлом =(