По данной ссылке
http://www.rsdn.ru/Forum/Message.aspx?mid=558877&only=1

Автор: Yury_Malich
Дата: 03.03.04

есть обяснение почему при обмене ссылками на объекты происходит торможение раз в 10-12 по сравнению с обменами валуе типов.
В тестах http://www.rsdn.ru/Forum/Message.aspx?mid=558877#558877

Автор: Yury_Malich
Дата: 03.03.04

это очень хорошо видно

Интересен сам по себе механизм такого поведения