Как насчёт позаимствовать код из ValueTuple?

https://github.com/dotnet/corefx/blob/bffef76f6af208e2042a2f27bc081ee908bb390b/src/Common/src/System/Numerics/Hashing/HashHelpers.cs
и
https://github.com/dotnet/corefx/blob/master/src/System.ValueTuple/src/System/ValueTuple/ValueTuple.cs#L247

Для текущей реализации оно поменяет немного, с релизом JIT-а с вот этим выигрыш будет заметнее.