Z>В документации не нашел внятного объяснения про эти ошграничения, может кто-то сталкивался и знает как с этим жить?
Я сильно в сорцах не копал, но вроде можно много вложенных транзакций (если только не режим MDB_WRITEMAP), но одновременно у одного parent 2 открыте child транзакции нельзя.

В доках пишут почти тоже самое:

Transactions may be nested to any level. A parent transaction and its cursors may not issue any other operations than mdb_txn_commit and mdb_txn_abort while it has active child transactions.