А>Это блочный шифр перестановки, <off>очень ненадежный, вскрытие тривиально при достаточной для вычисления статистики текста длине сообщения</off>.
А>Соответственно, по заданной структуре "местами продырявленной матрицы" нужно вычислить перестановку (заполнить по строкам матрицу
А>номерами 1...M, где М — число "доступных для записи символов сообщения" ячеек, затем выписать их из этой матрицы по спирали).
А>Далее шифровать применением перестановки к одинаковой длины блокам текста. Расшифровывать — применением обратной перестановки.

ну вообще-то, большинство шифров так и работает: ключ кодирует перестановку над 64- или 128-битным алфавитом. Дальнейшая секурность достигается режимом кодирования (CBC etc).