Все-таки выбор пал на то, что нужно переписать COM сервер на C++ Builder.
Как не странно в C++ Builder сервер работает шустрее на 25 процентов.
Решения с Delphi найти не удалось. Видимо эта ошибка с 4-7 Delphi для того чтобы выбирали технологию Cobra.