Здравствуйте, Khimik, Вы писали:

E>>Пуллинг -- это ещё один нелинейный слой, который берёт наш "квадратик" 4х4х10 и заменяет его квадратиком 1х1х10, выбирая каждый раз максимальной значение из 16-и.

K>Я чувствую какую-то путаницу в обозначениях. Здесь 4*4 — это размер растра, а третья цифра (10) — количество вариантов значений в каждом растре?
Да, обычно это называют "число каналов"

На самом деле, если понять как работает такая сетка, типа первая свёртка переводит картинки в 128 признаков, вторая по 128 признакам опознаёт цифру.
Пуллинг отвечает за "ерзанье" цифры по рамке.

Теперь можно попробовать эту штуку модернизировать.

Первый ход -- поставить пуллинг до второго слоя. Пусть пуллятся признаки, а не вероятности классов! Тогда считать надо будет меньше, а каждый признак будет вычисляться устойчивее, так что сетка станет устойчива и к каким-то ещё другим "шевелениям" картинок.

Второй ход, вместо свёртки 13x13x3 -> 1х1х128 (около 65К чисел) сделать несколько свёрток подряд, но более маленьких. Ну, например, сначала свернуть ядром 13x1x3->1x1x32 а потом ядром 1x13x32 -> 1x1x128. Получим тоже какой-то линейный оператор, но он будет должен делать больше обобщений, так как он более ограничен в выборе коэффициентов.

Потом можно ещё и 13x1x.. разбить на несколько этапов. Ну, например, 3х1х... -> 1x1x... потом ещё раз и ещё раз.
Потом можно ещё пуллинги вставить между свёртками, что бы быстрее агрегировать информацию.

Можешь пробовать учить разные такие сетки и смотреть насколько размытым картинкам они будут учиться. Например, можно картинку немного двигать, качать влево-вправо, сжимать по горизонтали/вертикали...

Потом можно просто взять MNIST

Примерно понятно?