Здравствуйте, Nuzhny, Вы писали:

N>У Гугла вышла работа: Nested learning. Там они как раз эту проблему и решают. Может, и взлетит.

Дык, оно ж на поверхности! ))
В том или ином виде проблему дообучения решать надо, конечно.

Причем, в идеале дообучение должно быть/стать основной функциональностью, а не вынужденными костылями.