Можно:
Поставить монетку в правильное положение.
Взять контрольную окружность. Например с радиусом, равным половине монеты.
Вычислить "средний цвет" на окружности X.
Посчитать длины получившихся интервалов: чёрный, белый, чёрный, белый, ...
Получиться последовательность чисел.

Затем каждый раз — вычислять эти же отрезки и обнаруживать — где же теперь эта последовательность. Находить её "начало" и считать расстояние от "правильного начала". Пусть оно = l, а радиус R.
Тогда угол. = 2*arcsin(l/(2R)), либо 2pi минус этот угол.

Контрольных окружностей можно провести несколько (с разными радиусами).