Не уверен, поможет ли, но: глянь на список API функций, которые sndrec32.exe импортирует из winmm.dll и msacm32.dll. Потом выбери из них "подозрительные", т.е. те, в которых может быть проверка на возможность записи — и читай хелпы по ним.
Возможно, рекордер использует другие API-функции для собственно записи, скорее всего более специализированные — они и устраивают более стабильную проверку на ошибки. Может глянешь на них?