C[i] += A[i*N+j] * B[j];
        C[i] += A[i*N+j+1] *B[j+1];
        C[i] += A[i*N+j+2] *B[j+2];
        C[i] += A[i*N+j+3] *B[j+3];

Думаю стоит заменить массив на структуру описывающую матрицу.
Взятие и присвоение через индекстатор в дотнете медленнее чем в С, так как там идёт проверка на соответствие типу.
Доступ к полю быстрее.