Как я понял, это многослойный персептрон с обратным распространением ошибки? Я тоже писал сеть на с++ с бустом. Есть схожие моменты, но у меня была цель написать более общую программу. Любая структура — нейрон, слой, или вся сеть являлась наследником единого класса. И отдельно уже описывались свойства перцептрона или другого типа сети, их методы обучения и т.п. Персептрон работал раза в 2-3 дольше, чем следовало.Думаю, дело все-таки в неоптимальности того, как я описывал алгоритмы и построение классов.
Не тестировал вашу программу, просто просмотрел, обратил внимание на структуру Link. Как я понял, она задает возможность неполносвязности слоев между собой? Довольно интересное решение, только я не видел такого метода, возможно, невнимательно смотрел. Поэтому прошу объяснить, почему вы не используете матрицу весовых коэфициентов вместо этого? Если я ошибаюсь, прошу исправить меня.