N>преобразование поворота, которое совместит один из векторов с какой-либо осью, сделает то же самое с другими
N>(в 3d это в голове можно представить 
Попытаемся: (1,1,-1) и (1,-1,-1) легко проверить, что они не перпендикулярны и не коллинеарны. После поворота угол не изменится, а оси, между тем, либо коллинеарны(одна и та же ось), либо перпендикулярны.
N>строим матрицу поворота, умножаем на нее исходную, и получаем единичную с перемешанными столбцамии строками.
А мне кажется, что длины так и останутся 256, т.е. единичная матрица не получится

Как минимум нормировать надо.
N>(интересно, может я и на этот раз ступил?
Видимо
А как искать эту матрицу?