Компилятор вроде не должен ругаться, должно возникать исключение на этапе исполнения.
Что бы его обойти приводи следующим образом.

byte b = (byte)(int)o;