Вопрос по базовым концептам — как всем известно, даже при multilabel classification
функция потери в результате дает одну ошибку на всех, которая уходит для оптимизации весов.

Что мне кажется нелогичным.

Можно ли для каждого класса выдавать свою ошибку и обучать веса по отдельности для каждого класса?
т.е. после тренировочного прогона на кахдый класс выдавать по ошибке и оптимизировать веса ...
вы скажете что после нескольких итераций ( для классов ) веса уже будут нерелевантны,
но можно отталкиваться от результата прогона.

наверняка не у меня первого такой вопрос возник — если кто в курсе — где можно посмотреть?

Здравствуйте, The Passenger, Вы писали:


TP>Вопрос по базовым концептам — как всем известно, даже при multilabel classification
TP>функция потери в результате дает одну ошибку на всех, которая уходит для оптимизации весов.

Это можно сэмулировать ансамблем моделей, обученных на своих датасетах.

Здравствуйте, SomeOne_TT, Вы писали:

SO_>Это можно сэмулировать ансамблем моделей, обученных на своих датасетах.

Не знаете, есть ли где, варианты имплементации или исследования? чтобы сам ля без ансамбля?

хотя наверно, да, получится что и с ансамблем ... надо попробовать

Здравствуйте, The Passenger, Вы писали:


TP>наверняка не у меня первого такой вопрос возник — если кто в курсе — где можно посмотреть?


Не совсем понятно о чём речь.

1. Ты хочешь менять значимость для функции потерь разных каналов результата. Задавая разные веса каналов на разных прогонах.
2. Ты хочешь иметь несколько разных функций потерь чтобы оптимизировать их все.

И главное, не ясна общая цель усилий.


Если речь про первое, то ты будешь смещать решения сети в сторону последнего варианта развесовки. Обычно так пытаются компенсировать несовершенство обучающей выборки. И так, конечно же, делают. Можно взвешивать как каналы (это просто умножение на тензор нужной формы), так и отдельные позиции в обучающей выборки. Что тут читать не ясно.


Если речь про второе, то там очень от целей зависит. Тут тоже недостатки обучающей выборки можно компенсировать, но и что-то более хитрое. Часто так бывает, что от сети требуют несколько доп. выходов, функции потерь с которых, как-то взвешивают с функией потерь с основного, и это вот учат, иногда ещё и перевзвешивая, чтобы поднять обобщающую способность сетки, например.

Это получается очень похоже на GAN в котором часть дескриминатора и генератора совмещены. Но тут нужно читать конкретные статьи по конкретным задачам...