Вот тут у тебя какая то нестыковка , особенно если ты в RGB пространстве , ( а по коду ты вроде как в нем) .
Поэксперементируй.

Возмем ошибку без взвешивания :

цвет голубой R255 G128 B128
серый R128 G128 B128
другой голубой R250 G120 B120

ошибка серого = (255 — 128)*(255 — 128) + (128 — 128) *(128 — 128) + (128 — 128)*(128 — 128) = 128*128 = 16384

ошибка другого голубого = (255 — 250)*(255 — 250) + (128 — 120) *(128 — 120) + (128 — 120)*(128 — 120) = 5*5 + 8*8 + 8*8 = 153

итого у дргого голубого ОШИБКА на порядок меньше.