XDocument.Load похоже всегда загружает весь файл в память и парсит его.
А надо-то всего-навсего стащить один элемент из файла (который еще находится как назло в конце) и закрыть его.

Как оптимизировать такой код для больших файлов?

    XDocument xdoc = XDocument.Load(path);
    DateTime date = (DateTime)(xdoc.Root.Element(XName.Get("date", "http://myns.com")));

Подозреваю, что придется использовать XmlReader с его мудреным api. Помогите плз.