X>так это не эквивалентное преобразование! Yp здесь будет меньше на (n_x*l*Y_x+n_y*l*Y_y+n_z*l*Y_z)

Все правильно , здесь же скалярное произведение нормали плоскости на ее базисный вектор! Такое выражение должно быть равно нулю по-определению, поскольку нормаль ортогональна любому вектору плоскости.

Честно говоря, я не совсем понял, зачем у вас используется коэффициент cf_a = 0.001. Может быть, у вас пространства не совсем эвклидовские? Такое тоже возможно, но тогда нужно будет несколько подкорректировать формулы, хотя математическая сущность везде останется одинаковой.

Также хочу обратить внимание, что очень важно правильно вычислять базисные векторы X и Y для плоскости P. Если мы знаем базисный Y и нормаль N, то в вашем случае (3D -> 2D) вектор X будет равен с точностью до знака нормированному по длине векторному произведению Y и N: X = +/- [Y, N] / sqrt ([Y, N], [Y, N]).