Почитай про calling convention — тип вызова функции
У тебя CALLBACK является макросом, который скорей всего разворачивается в модификатор типа вызова __stdcall.
А функция в DLL откомпилирована c другим модификатор типа вызова (по умолчанию __cdecl).