C>Ну так у тебя версия древняя. Зачем ты стал на ней проверять?

Чтобы сравнить работу на старых и на новых версиях .NET.

C>Начиная с какой-то версии, ковариантность в классах уже работает.

Я кажется понял твой вопрос, только пример должен быть таким:

interface Class1
{
    IEnumerator<Class1> GetItems();
}

class Class2 : Class1
{
    public IEnumerator<Class2> GetItems()
    {
        throw new NotImplementedException();
    }
}

Почему с интерфейсом не компилит