А>Функции EnumServicesStatus, OpenService, QueryServiceConfig, отсылают непонятно какие RPC-сообщения непонятно куда. Кто-нибудь знает что-нибудь больше об этом, или — еще лучше — есть ли у кого-нибудь исходники этой части библиотеки ADVAPI?

Происходит вызов RPC процедуры. Гуглить {367abb81-9844-35f1-ad32-98f038001003}, описание интерфейса есть в исходниках samba (файл svcctl.idl), примеры использования — в samba и nessus, попытка реализации NdrClientCall2 есть в wine (winehq.org).