Формула ошибки сети и сама ошибка не должна ассоциироваться только с среднеквадратическим отклонением, а с лучшей метрикой выходного сигнала. Например, если мы подаем на вход ценовой ряд, то в качестве ошибки сети можно ставлять минимальный уровен прироста нашего еквити, с учетом открытой позиции. Если мы просто аппроксимируем функцию, то конечно лучше прибегнуть к стандартному среднеквадратическому отклонению. Т.е. практическая реализация накладывает достаточно большие и веские условия на математику сети. Я предлагаю разбить решаемые сетью задачи на default, математика, экономики, выделение признаков, а уже в каждом классе задач определить в интерфейсах нужный класс функций оибок сети. Что касается внутренней ошибки веса нейрона, то она полностью определяется выбранным алгоритмом реалищации сети — обратное распространение, сеть Коханена, сеть Хапфилда — и функцией активации.