Здравствуйте, m1st, Вы писали:

M>Подскажите, куда копать?

В общих чертах:
0. Представить, что ты работаешь с чёрным изображением. То есть значение всех точек равно 0.
1. Значению всех точек контура присвоить 1.
2. Любым методом найти хотя бы одну точку, лежащую внутри контура. Пометить её 2.
3. Рекурсивно помечать 2 все лежащие рядом точки, которые не являются контуром.
4. Посчитать количество двоек на изображении.

Можно обратный метод, который, возможно, будет быстрей. Пометить двойкой любую НЕ лежащую внутри контура точку и произвести рекурсивную закраску двойками внешней области. После считать число нулевых точек.