_>BOOL COGTApp::InitInstance()
_>{
_>...
_> HRESULT hr = CoCreateInstance(CLSID_OGTMain, NULL, CLSCTX_INPROC_SERVER, IID_IOGTMain, (void **)&pOGTMain);
_> if (hr != S_OK) {
_> TRACE0("Ошибка создания COM сервера.");
_> return FALSE;
_> }
_> CMultiDocTemplate* pDocTemplate = NULL;
_> pOGTMain->CreateDocTempl(reinterpret_cast<VARIANT**>(RUNTIME_CLASS(COGTView)), reinterpret_cast<VARIANT**>(&pDocTemplate));
this->>AddDocTemplate(pDocTemplate);
_>...
_> if (!ProcessShellCommand(cmdInfo))
_> ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ Здесь выходит ошибка создания окна

Проверь в дебаге может (pOGTMain == NULL) после CoCreateInstance(...) если NULL
посмотри есть ли у тебя вызов функции CoInitialize( NULL ) перед вызовом CoCreateInstance();
и CoUninitialize() в ExitInstance().