Как я понял ENCODING_TYPE == PKCS_7_ASN_ENCODING | X509_ASN_ENCODING ? Ну тут все просто и вроде правильно
E>В итоге получаю результат — 5. Что это, 0x5 ?
5 — Access is denied., для просмотра описания ошибок, можно использовать стандартную утилиту Error Lockup.
Так же Попробуй определить под каким пользователем работает COM объект у тебя в PHP, какие у него права.
E>А после PFXImportCertStore, выдает ошибку 2.
2 — The system cannot find the file specified.
ЗЫ Для визуального управления Сертификатами, удобно использовать MMC консоль с Snap-In'ом Certificates.