V>На камере еще не пробовал, но на картинках ниче выходит:

Это уровень 90х годов. Вам нравятся рваные края? А пользователям вашей программы будут нравиться?
На H.264 и плохом освещении будет еще хуже. В динамике также появится песок на краях, периодически будет мерцать и фон.
Вы лишь немного продвинулись в задаче, решив ее самую небольшую часть.

V>Хочу еще попробовать HSL/HSV применить, как сделано на СпаркоКам, у них можно на этом методе передний фон без экрана вытягивать.

Чтобы выделить объект на произвольном фоне, нужно иметь список цветов фона и список цветов объекта, рассчитывать расстояние от текущего цвета точки до цветов фона. Это геометрические вычисления в 3D пространстве. Можно упростить, переведя 3D в 2D или даже в 1D, исключив яркость и используя закономерности зеленого цвета, типа того алгоритма из хабра. Можно упростить вычисление расстояния, избавившись от квадратного корня, на качество не сильно повлияет.

Но все-равно, проще для вас будет использовать YUV или любое другое пространство, какое вычисляется по матрицам. А HS* считаются алгоритмически, плюс там есть бранчи, что очень медленно для рилтайма. Какой смысл жрать процессорное время. Даже если у вас GPU, лучше оставить запас времени на работу с краями. А на них понадобится гораздо больше вычислений. Даже элементарный блюр в качестве средства избавления от пилы потребует процессор.

Плюс, чтобы выделять объекты на произвольном фоне, нужны интеллектуальные алгоритмы, понимающие где там фон, а где объект. Это как минимум заполнение фона с краев по типу того как делается заливка в элементарной компьютерной графике. Как же тут HS* вам поможет?

deleted