AS>>Но как в данном случае это влияет на SetWindowsHookEx? Тут явно что то еще..

I>Проверил еще раз GetLastError — выдало следующее:
I>"Невозможно установить нелокальный обработчик без дескриптора модуля."
I>(хотя раньше как мне казалось писало что все нормально)
I>Кстати выдает эту ошибку и в случае если объявляю HINSTANCE hInst вне сегмента как обычную глобальную переменную!

Гм, а что означает эта фраза?
I>Я сделал следующее: создал библиотеку на основе Win32 static library

Милейший, уж не сделали ли Вы просто статическую библиотеку вместо динамической? Если так, то на кой раз должна, собственно, вызываться dllmain и, уж тем более, хоть как-то инициализироваться hInst? Статическая библиотека это просто хранилище кода (и данных), но никак не отдельный PE модуль.