abs(frame-bkgr) — по-моему (учитывая, что и frame, и bkgr — беззнаковые), фигня получится. Если, конечно, у Вас BYTE значит то, что значит.

С другой стороны, тестируемый код не обязан быть правильным