Мне кажется, что из существующих алгоритмов и теории выжато уже почти всё, а попытка двигаться за счет масштабирования вычислительных ресурсов тупиковая, так как в железе нет ничего революционного и не предвидится.
Нейросети всегда развивались волнообразно, с промежутками между ними в 10-20 или более лет и дело было в первую очередь не в вычислительных ресурсах, а в теоретической базе. Вот после появления свёрточных нейросетей был бум нейросетей в определенных областях. Возможно надо ждать 20-30 лет до появления новой теоретической базы.
