почему при написании Roslyn (который вообще-то абстрактная библиотека работы с абстрактным текстом из стандартных байтов)
было нужно использовать unsafe код?

Ну почему никак, никак было без него нельзя?

http://source.roslyn.io/#Microsoft.CodeAnalysis/InternalUtilities/Hash.cs,184