TP>вопрос следующий — не имеет ли смысл кормить сеть батчами для каждого класса отдельно а не замиксованными?

Скорее всего нет, но попробовать-то не сложно, а результаты здесь опишешь.