Скажем, есть нейронка, некий классификатор. Можно ли добиться, чтобы сумма вероятностей выходов была отлична от 1? Допустим, не распознала, не похоже ни на один из образцов и, грубо говоря, по всем классам в районе 0. Или наоборот – похоже на все образцы и, соответственно, близко к 1 по всем классам. Или несколько классов близко к 1. Эдакая сомневающаяся нейронка.
Дополнительный вопрос: возможна ли такая конфигурация в вышеприведенных рамках, чтобы выходной класс был единственный?
Просьба не пинать сильно, если невнятно изложил.
Re: Сумма вероятностей классификатора больше и/или меньше 1
Здравствуйте, XOOIOOX, Вы писали:
XOO>Дополнительный вопрос: возможна ли такая конфигурация в вышеприведенных рамках, чтобы выходной класс был единственный?
Весь вопрос в нормировке. Обычно в конце классификатора ставят softmax, который гарантирует сумму в 1...
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Re[2]: Сумма вероятностей классификатора больше и/или меньше 1
Здравствуйте, XOOIOOX, Вы писали:
XOO>Каждый отдельный класс, конечно, не должен быть больше 1.
Ну сигмориду поставь, например.
Ещё вопрос с каким лосом тогда учить. Некоторые лосы в некоторых фрейморках содержат встроенный SoftMax или рассчитывают на него...
Но MSE по выходу из сигмоид должно работать...
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Re[4]: Сумма вероятностей классификатора больше и/или меньше 1
Здравствуйте, XOOIOOX, Вы писали:
XOO>В данный момент BinaryCrossEntropy.
Эта функция потерь обычно либо ждёт нормировку на сумма входов равно 1, либо тупо имеет свой собственный SoftMax на входе
Лучше другой лосс взять, а то учиться может медленно
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Re[5]: Сумма вероятностей классификатора больше и/или меньше 1
Здравствуйте, XOOIOOX, Вы писали:
XOO>Считает, что (3).
XOO>Сумма, так или иначе, крутится вокруг единицы.
Ну ты же учишь для похожих на (3) что ответы 0, 0, 1?
А зачем ты хочешь уйти от нормировки? Зачем тебе сумма неравная 1?
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Re[6]: Сумма вероятностей классификатора больше и/или меньше 1
Здравствуйте, Erop, Вы писали:
E>Эта функция потерь обычно либо ждёт нормировку на сумма входов равно 1, либо тупо имеет свой собственный SoftMax на входе
У нее точно софтмакса нет. С софтмаксом там другие.
Впрочем, с 8-ю, например, классами уже ближе к нужному результату. Но это не надежное решение, т.к. классов может сколько угодно и вариативности результата от количества классов быть не должно.
E>Лучше другой лосс взять, а то учиться может медленно
Учится вроде приемлемо по скорости. Сводится ОК, классифицирует известное тоже хорошо.
E>Ну ты же учишь для похожих на (3) что ответы 0, 0, 1?
Да, как обычно.
E>А зачем ты хочешь уйти от нормировки? Зачем тебе сумма неравная 1?
Есть такая задача, как Unknown Class Detection. Как выяснил, это целая Научная Проблема.
Подумал, что можно это объехать непохожестью в ответах вероятностей классов. Но, видимо, не получится.
Засада в том, что когда класс неизвестен заранее, то нечем учить непохожести. Нет образцов, что очевидно.