S>Ровно его же и использует ReadOnlyMemory.

Да, но полезно знать решения для разных версий .NET.

S>Зачем всё вот это, когда есть fixed? Он сделает ровно то же без лишних приседаний с finally.

Очевидно:

You can use the fixed statement only in an unsafe context. The code that contains unsafe blocks must be compiled with the AllowUnsafeBlocks compiler option.

Поменять настройки проекта это не всегда доступная опция.
И вот это Ваше замечание к unsafe тоже вполне относится:

Сначала нужно очень хорошо разобраться, что это, в каких случаях его надо использовать, какие там ограничения и прочее.