оценка необходимого кол-ва данных для обучения
От: okon  
Дата: 08.04.19 01:26
Оценка:
допустим есть входной вектор из 64 значений и каждое может иметь 2 состояния 1 и 0
и есть массив данных для обучения 1 млн входных векторов.

Далее если мы возьмем какое-то значение из множества 2^64, то вероятность попадания в выборку которая использовалась для обучения ничтожно мала
и здравый смысл говорит ( субъективно ) что в этом случае будут с большой вероятностью 99.999% неверные результаты,

Каким образом в существующих нейронных сетях обеспечивается точность результата и как определяется необходимое количество данных для обучения ?
”Жить стало лучше... но противнее. Люди которые ставят точку после слова лучше становятся сторонниками Путина, наши же сторонники делают акцент на слове противнее ( ложь, воровство, лицемерие, вражда )." (с) Борис Немцов
Re: оценка необходимого кол-ва данных для обучения
От: LaptevVV Россия  
Дата: 08.04.19 06:46
Оценка: 4 (1)
O>Каким образом в существующих нейронных сетях обеспечивается точность результата и как определяется необходимое количество данных для обучения ?
Это отдельная научная работа.
Насколько знаю, пока чисто эмпирически определяется.
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Re: оценка необходимого кол-ва данных для обучения
От: Буравчик Россия  
Дата: 20.04.19 17:08
Оценка: 4 (1)
Здравствуйте, okon, Вы писали:

O>Далее если мы возьмем какое-то значение из множества 2^64, то вероятность попадания в выборку которая использовалась для обучения ничтожно мала

O>и здравый смысл говорит ( субъективно ) что в этом случае будут с большой вероятностью 99.999% неверные результаты,

Нейронная сеть вычленяет и запоминает повторяющиеся частички входных векторов. И попытается обнаружить эти части в новом векторе, который она никогда не видела.
Конечно, если сеть обучалась на случайных векторах, то она ничему не научится.
Best regards, Буравчик
Re: оценка необходимого кол-ва данных для обучения
От: alex_public  
Дата: 02.05.19 16:16
Оценка: 4 (1) +1
Здравствуйте, okon, Вы писали:

O>допустим есть входной вектор из 64 значений и каждое может иметь 2 состояния 1 и 0

O>и есть массив данных для обучения 1 млн входных векторов.
O>Далее если мы возьмем какое-то значение из множества 2^64, то вероятность попадания в выборку которая использовалась для обучения ничтожно мала
O>и здравый смысл говорит ( субъективно ) что в этом случае будут с большой вероятностью 99.999% неверные результаты,
O>Каким образом в существующих нейронных сетях обеспечивается точность результата и как определяется необходимое количество данных для обучения ?

Обучение происходит для предсказания, не так ли? А предсказание возможно только в том случае, если существует прямая корреляция между исходными данными и целевым значением. Т.е. у нас в любом случае там не случайные значения, а какая-то (пусть и не известная изначально) математическая функция нескольких переменных (хотя в твоём случае бинарных значений, её можно свести вообще к одной переменной). И именно эту функцию и пытается подобрать нейронная сеть, основываясь на нескольких известных парах значений этой функции. Собственно практически всё современное "машинное обучение" — это просто ещё одна разновидность аппроксимации функций, а вовсе не какой-то хитрый ИИ.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.