А в чём проблема с кастом, так и не понял. По-мне каст это хорошо, каст это надёжно. Енум это енум, а байт это байт.