Здравствуйте, Артём, Вы писали:

Аё>А что интересно есть такое, чтобы зацепить символы по отдельности и самому попытаться склеить их в слова?

Сейчас уже не в курсе, но раньше такой подход был. Потом сверху на него накручивали отдельную нейросеть для исправления ошибок. Сейчас хз, возможно одна всем и занимается.
Распознавание зависит от контекста: можно перепутать цифру ноль и букву "О". Можно перепутать русские и английские символы с одинаковым или схожим написанием. Даже "3" и "9" часто бывают похожи и путаются. Нюансов миллион, ошибок в распознавании символов тоже. Пройти сверху рекуррентной сетью LSTM/Transformer — это классика (была).

Аё>Как каждым отдельным символом "дотренировывать" CNN, если ошибка и он изменён пользователем?

Нет особого смысла, потому что отдельные правки будут составлять слишком маленькую долю в общем большом датасете. Сейчас для этого чаще используют синтетические данные или вообще GANы: нашли, что плохо распознаётся, нагенерировали кучу похожего, переобучили. Сколько генерировать — зависит от размера датасета (и архитектуры сети тоже) и чаще всего просто понемногу докидываются данны — дообучают сеть — смотрят результат. Нет конкретных формул и алгоритмов.