Здравствуйте, _f_b_i_, Вы писали:

___>Хотя по идее должно все работать с No Authentication соединением.

Разобрался сам. Кому интересно и кто столкнется с подобным, нужно настроить уровень безопасности используя функции

SSL_CTX_set_security_level()
SSL_set_security_level()

в значение 0. По умолчанию уровень выставлен в 1, что не позволяет использовать No Authentication алгоритмы.