Сообщение Re[5]: Нейросеть для чайников от 18.07.2018 2:12
Изменено 18.07.2018 4:51 De-Bill
Re[5]: Нейросеть для чайников
E>1) сколько нейронов на уровнях? Вход, как я понял, 20, выход -- 1, а между?
4-5 слоёв по 40-20 нейронов (т.е. параметров не так уж и много).
E>2) как и с какой функцией потерь учили?
mse. А вот как — это и есть большой вопрос. SGD и вариации дают хорошую точность, но не достаточную. Как визуализировать и понять, что нейросеть делает, чего ей не хватает, да и вообще возможно ли получить с помощью неё требуемую точность и как? Получается хороший такой чёрный ящик, понять что и как он делает нереально, можно только поиграть метапараметрами. И в конечном счёте, когда она начала работать с достаточной точностью, как обосновать, что её можно пускать в производство? Только на основании того, что 100.000 раз она выдала правильное решение, а значит и на 100.001 будет тоже правильное?
E>3) активация RELU?
да
E>С большой вероятностью кусочно-линейно аппроксимирует...
С большой вероятностью, что нет. 20 мерное пространство — это серьёзно. Расстояния между известными точками в среднем огромные, а нейросеть довольно маленькая.
4-5 слоёв по 40-20 нейронов (т.е. параметров не так уж и много).
E>2) как и с какой функцией потерь учили?
mse. А вот как — это и есть большой вопрос. SGD и вариации дают хорошую точность, но не достаточную. Как визуализировать и понять, что нейросеть делает, чего ей не хватает, да и вообще возможно ли получить с помощью неё требуемую точность и как? Получается хороший такой чёрный ящик, понять что и как он делает нереально, можно только поиграть метапараметрами. И в конечном счёте, когда она начала работать с достаточной точностью, как обосновать, что её можно пускать в производство? Только на основании того, что 100.000 раз она выдала правильное решение, а значит и на 100.001 будет тоже правильное?
E>3) активация RELU?
да
E>С большой вероятностью кусочно-линейно аппроксимирует...
С большой вероятностью, что нет. 20 мерное пространство — это серьёзно. Расстояния между известными точками в среднем огромные, а нейросеть довольно маленькая.
Re[5]: Нейросеть для чайников
E>1) сколько нейронов на уровнях? Вход, как я понял, 20, выход -- 1, а между?
4-5 слоёв по 40-20 нейронов (т.е. параметров не так уж и много).
E>2) как и с какой функцией потерь учили?
mse. А вот как — это и есть большой вопрос. SGD и вариации дают хорошую точность, но не достаточную. Как визуализировать и понять, что нейросеть делает, чего ей не хватает, да и вообще возможно ли получить с помощью неё требуемую точность и как? Получается хороший такой чёрный ящик, понять что и как он делает нереально, можно только поиграть метапараметрами. И в конечном счёте, когда она начала работать с достаточной точностью, как обосновать, что её можно пускать в производство? Только на основании того, что 100.000 раз она выдала правильное решение, а значит и на 100.001 будет тоже правильное?
E>3) активация RELU?
да
E>С большой вероятностью кусочно-линейно аппроксимирует...
С большой вероятностью, что нет. 20 мерное пространство — это серьёзно. Расстояния между известными ближайшими точками в среднем огромные, а нейросеть довольно маленькая.
4-5 слоёв по 40-20 нейронов (т.е. параметров не так уж и много).
E>2) как и с какой функцией потерь учили?
mse. А вот как — это и есть большой вопрос. SGD и вариации дают хорошую точность, но не достаточную. Как визуализировать и понять, что нейросеть делает, чего ей не хватает, да и вообще возможно ли получить с помощью неё требуемую точность и как? Получается хороший такой чёрный ящик, понять что и как он делает нереально, можно только поиграть метапараметрами. И в конечном счёте, когда она начала работать с достаточной точностью, как обосновать, что её можно пускать в производство? Только на основании того, что 100.000 раз она выдала правильное решение, а значит и на 100.001 будет тоже правильное?
E>3) активация RELU?
да
E>С большой вероятностью кусочно-линейно аппроксимирует...
С большой вероятностью, что нет. 20 мерное пространство — это серьёзно. Расстояния между известными ближайшими точками в среднем огромные, а нейросеть довольно маленькая.