Задача действительно не так проста как кажется

пусть k — интенсивность, которой ты готов пожертвовать (а чем-то жертвовать в любом случае придется).
(r, g, b) — изначальный цвет.
S — шар радиуса k с центром в точке (r, g, b).

Сейчас ты в шаре S ищешь точку (r1, g1, b1), расстояние от которой до точки (r, g, b) минимально.

А надо искать такую точку (r1, g1, b1), расстояние от которой до прямой, проходящей через точки (0, 0, 0) и (r, g, b), минимально. Таким образом, близость цветов ставится выше близости интенсивностей, но в разумных пределах k. Иначе белый цвет может запросто стать черным...
Каюсь, грешен, не помню формулы расстояния от точки до прямой в пространстве, так что сам покопайся...
Удачи.