double[,] A = new double[N , N]; //создаю массив

Передаю следующим образом.
double* APt = &A[0, 0]

square_array(APt, N);

[DllImport("ConsoleApplication2", CallingConvention = CallingConvention.StdCall)] //объявление функции
extern unsafe static void square_array(double* arrA, int lengthA);

extern "C" __declspec ( dllexport ) void _stdcall square_array(double* arrA, int lengthA)
{

}

Вопрос в следующем: правильно ли я его передаю и как его правильно принять? Потому что сколькими способами не пробовал, результат всегда неверный.

Не уверен что даблы и там и там в одном и том же формате...

надо посмотреть как передаются multidimensional array — например http://msdn.microsoft.com/en-us/library/z6cfh6e6.aspx . По моему (может и ошибаюсь) надо вручную маршалить(см. Marshal) — выделять память(Marshal.AllocHGlobal),получать указатель, копировать туда значения, и передавать указатель.