Здравствуйте, Erop, Вы писали:

N>>Ага, монте-карло
N>>Не, прорыв произошёл, когда суперкомпы в каждый дом проникли, а все алгоритмы ещё в СССР были придуманы.

E>Ну ладно уж, все. CNN Ле Кун в 1988 предложил, это ещё в какой-то степени при СССР было, но не в нём, таки.
E>LSTM -- 1997
E>AlexNet (первый удачный пример DL) -- 2012
E>Какой-нибудь Mask-RCNN или pixel-link -- 2018

E>Всё ещё только начинается

Это всё мизерные рюшечки, тот же CNN лично я вывел сам в юности зная про нейронки в объёме перцептрона 60х, как и DL был довольно таки очевиден — каким-то алгоритмическим мегапрорывом его сложно считать. Появились мощные компы — появилась возможность играть с обучением сложных нейронок.
Пофиг на эмпирически подобранные функции, покажи новые способы поиска оптимумов.

E>1) сколько нейронов на уровнях? Вход, как я понял, 20, выход -- 1, а между?

4-5 слоёв по 40-20 нейронов (т.е. параметров не так уж и много).

E>2) как и с какой функцией потерь учили?

mse. А вот как — это и есть большой вопрос. SGD и вариации дают хорошую точность, но не достаточную. Как визуализировать и понять, что нейросеть делает, чего ей не хватает, да и вообще возможно ли получить с помощью неё требуемую точность и как? Получается хороший такой чёрный ящик, понять что и как он делает нереально, можно только поиграть метапараметрами. И в конечном счёте, когда она начала работать с достаточной точностью, как обосновать, что её можно пускать в производство? Только на основании того, что 100.000 раз она выдала правильное решение, а значит и на 100.001 будет тоже правильное?

E>3) активация RELU?

да

E>С большой вероятностью кусочно-линейно аппроксимирует...

С большой вероятностью, что нет. 20 мерное пространство — это серьёзно. Расстояния между известными ближайшими точками в среднем огромные, а нейросеть довольно маленькая.

Здравствуйте, sharpcoder, Вы писали:

S>Ничего не черный. Вполне себе прозрачный. Смотрел как оаботают наши нейросетевики, как анализируют процесс обучения, структуру и пр. В общем там все по слоям можно увидеть, что каждый слой делает. Можно из обученных сеток склеивать новые. Можно рисовать тепловые карты и смотреть на основе какой информации нейросеть «принимает решение» и тп.

Ну нейросеть это же просто суперпозиция функторов. Если у тебя нейросетевики такие офигенно умные и все знают, то зачем они вообще пользуются нейрорсетью? Пускай выпишут уравнения в явном виде и решают их. Наверняка если увидеть уравнения в явном виде, то и решение будет более быстрым и точным. Ну а поскольку они модель не знают и уравнения в явном виде записать не могут, то и работают они с сетью как с черным ящиком. Рисуют всякие тепловые карты .

Здравствуйте, The Passenger, Вы писали:

TP>вот как раз для прогноза погоды, при наличии достаточного количества данных, нейронные сети — самое оно

Для прогноза погоды давным давно придумали модели без всяких нейросетей. Если есть модель, на основе которой строятся системы уравнений, то нейросеть там только мешаться будет.

Здравствуйте, De-Bill, Вы писали:


DB> И в конечном счёте, когда она начала работать с достаточной точностью, как обосновать, что её можно пускать в производство? Только на основании того, что 100.000 раз она выдала правильное решение, а значит и на 100.001 будет тоже правильное?

Это и есть основная проблема с нейросетями. У нас нет модели, а давайте зафигачим нечто наукообразное. Под капотом там обычная "функция", которой мы пытаемся интерполировать "точечки" на "графики". Поскольку таких функций через точки можно провести бесконечно количество, то конечно наша "нейросеть" найдет какую то "функцию".
Почему надо ипользовать именно эту, а не другую "функцию" ? на это вопрос ответа нет, как правило о нем "нейросетевики" даже не задумываются. Это помимо того что надо подготовить правильные входные данные, понять как признаки у данных значимые. В итоге вполне может получится, что все люди которые ели огурцы умерли, на основе этого делаются выводы космического масштаба.
Вообще теория нейросетей была развита в 60-х. С появлением нормальных компов у ученых возник к ним интерес в конце 90-х начале 2000-х. После этого интерес как то угас — прорыва никакого не получилось. Зато сейчас нейросети стали пользоваться спросом у "программистов". Тут же думать особо не надо — фигачь данные в черный ящик и результат какой то будет, если че подкрутим параметры и покажем на митинге как круто сеть работает на тестовых данных .

Здравствуйте, The Passenger, Вы писали:

TP>вот именно поэтому сети и работают с бигдатами — без данных, сеть — просто набор мусора

TP>и да — я полагаю функциональность сетей можно повторить и без сетей ... просто с сетяме проще ... иногда намного

Вот безусловно систему уравнений мы можем выписать и без сетей. но тогда придется отвечать на неудобные вопросы — для чего здесь x и почему он в степени и т.п.
Т.е. защищать свою построенную модель.
А тут все просто это же нейросеть, она все сама, я тут не причем, добавил слой, обучил , показал бигбоссу как оно круто работает на тестовых данных и вперед в
продакшен. А как оно, а почему на эти вопросы можно не отвечать.

S>Ну нейросеть это же просто суперпозиция функторов. Если у тебя нейросетевики такие офигенно умные и все знают, то зачем они вообще пользуются нейрорсетью? Пускай выпишут уравнения в явном виде и решают их.

У sharpcoder большая часть задач — обработка изображений. Решать такие задачи "уравнениями в явном виде" со схожей точностью невозможно.

S>Вообще теория нейросетей была развита в 60-х. С появлением нормальных компов у ученых возник к ним интерес в конце 90-х начале 2000-х. После этого интерес как то угас — прорыва никакого не получилось.

Теория с 60х годов развилась очень сильно. И все эти годы нейросети вполне использовались для ограниченного круга задач.

S>Зато сейчас нейросети стали пользоваться спросом у "программистов". Тут же думать особо не надо — фигачь данные в черный ящик и результат какой то будет, если че подкрутим параметры и покажем на митинге как круто сеть работает на тестовых данных .

Нейросети стали пользоваться спросом, потому что произошёл технологический и научный прорыв, и нейросети стали применимыми для очень широкого круга задач.

S>Если есть модель, на основе которой строятся системы уравнений, то нейросеть там только мешаться будет.

Далеко не факт.

Здравствуйте, De-Bill, Вы писали:

DB>У sharpcoder большая часть задач — обработка изображений. Решать такие задачи "уравнениями в явном виде" со схожей точностью невозможно.

Я конечно в изображениях полный профан, но вот сдается мне что как то и без нейросетей вполне себе изображения обрабатывали.
Кстати, что такое обработка изображений? распознавание это одно, улучшений качество другое, трансформация третье, там куча разделов в этой самой обработке и в
больших книжках эта самая обработка как раз делается в явном виде без всяких нейросетей.

Здравствуйте, De-Bill, Вы писали:

S>>Ну нейросеть это же просто суперпозиция функторов. Если у тебя нейросетевики такие офигенно умные и все знают, то зачем они вообще пользуются нейрорсетью? Пускай выпишут уравнения в явном виде и решают их.

DB>У sharpcoder большая часть задач — обработка изображений. Решать такие задачи "уравнениями в явном виде" со схожей точностью невозможно.

Все верно.
Я на самом деле 18 лет назад очень много занимался обработкой изображений. Кафедра «Компьютерные методы физики Физфак МГу».
Как это было. Строишь кривые, сам выдумываешь модель, потом вручную подбираешь параметры модели чтобы она выдавала приемлемый результат. Результат хреновый. Зовешь парней с Кафедры математики, они делают новую модель, ты ее перекладываешь в код и вообще ничего не работает. Долго вместе тюнингуете, что-то начинает получаться. Но качество все равно хреновое.

Так мы делали распознавание образов, распознавание текста, в т.ч. на ржавых трубах, анализ КТ сердца.

Нейросеть по сути это же структура, которая «сама» может построить модель и ее параметры, путем перебора. Для огромного количества задач это самый эффективный подход.

Здравствуйте, De-Bill, Вы писали:

DB>Теория с 60х годов развилась очень сильно. И все эти годы нейросети вполне использовались для ограниченного круга задач.

Ну да, в основном для защиты диссертации — 1001 метод обучения нейросети.

DB>Нейросети стали пользоваться спросом, потому что произошёл технологический и научный прорыв, и нейросети стали применимыми для очень широкого круга задач.

Так давайте карты на стол, что там прорывного произошло кроме интерполяции точечек на графике? А если я монте-карло начну точечки интерполировать это будет точнее или также или хуже? и почему?
Давайте вот отложим хайп в сторону и посмотрим, что там изменилось с 2000-х годов? Компьютеры стали мощнее и мы можем черный ящик делать огроменных размеров? это не аргумент.

Здравствуйте, Nikе, Вы писали:

N>Это всё мизерные рюшечки, тот же CNN лично я вывел сам в юности зная про нейронки в объёме перцептрона 60х, как и DL был довольно таки очевиден — каким-то алгоритмическим мегапрорывом его сложно считать. Появились мощные компы — появилась возможность играть с обучением сложных нейронок.
N>Пофиг на эмпирически подобранные функции, покажи новые способы поиска оптимумов.

Если ты игрался с нейронками, то должен понимать, что глубокий многослойный полносвязный перцептрон обучить невозможно. Градиенты затухают по экспоненте...
Так что прорыв именно в том, что придумали такие глубокие архитектуры, которые можно обучить.

Если тебе интересны алгоритмические прорывы, то, например смотри на дропуат

Здравствуйте, De-Bill, Вы писали:

E>>С большой вероятностью кусочно-линейно аппроксимирует...

DB>С большой вероятностью, что нет. 20 мерное пространство — это серьёзно. Расстояния между известными ближайшими точками в среднем огромные, а нейросеть довольно маленькая.

При чём тут расстояния? Всё что твоя сеть умеет -- это свёртки и линейное программирование за счёт активации

Вопрос в том, есть ли у неё какая-то обобщающая сила.

С т. з. гарантий, можно попробовать какую-нибудь регуляризацию, например. Ещё можно с дропаутами обучать, по идее коллегия сетей надёжнее...

Здравствуйте, Khimik, Вы писали:

Нейронные сети давно уже решают задачи которые алгоритмически хз как решать. Например яндекс и гугл переводчиики за последние пару лет довольно сильно подняли качество перевода — за счет использования нейронных сетей. От яндекса даже была статься на хабре на этот счет.
Из того, что можно пощупать — https://https://pjreddie.com/darknet/yolo/ — сеть, распознающая образы на видео, там и видео с демонстрацией есть и ссылка на git для пощупать ; вот выступление автора на TED — .
Есть неплохой курс "для кодеров" — http://course.fast.ai/start.html .
А питон лучше подучить, если в этой области развиваться хочешь.

S>Я конечно в изображениях полный профан, но вот сдается мне что как то и без нейросетей вполне себе изображения обрабатывали.

Плохо обрабатывали. С большим трудом и маленькой точностью.

S>Кстати, что такое обработка изображений?

Классификация, локализация, семантическая сегментация, поиск объектов, улучшение качества и ещё куча всяких задач.

S>распознавание это одно, улучшений качество другое, трансформация третье, там куча разделов в этой самой обработке и в
S>больших книжках эта самая обработка как раз делается в явном виде без всяких нейросетей.

В "больших книжках" она не делается. В больших книжках рассказывают про подходы и алгоритмы для решения этих задач. И алгоритмы эти не на основе нейронных сетей работают в большинстве своём с очень хреновым качеством. На основе же нейросетей эти задачи сейчас решаются относительно легко и с хорошей точность.

DB>>Теория с 60х годов развилась очень сильно. И все эти годы нейросети вполне использовались для ограниченного круга задач.
S>Ну да, в основном для защиты диссертации — 1001 метод обучения нейросети.

Нет.

S>Так давайте карты на стол, что там прорывного произошло кроме интерполяции точечек на графике?

Много чего.

S>А если я монте-карло начну точечки интерполировать это будет точнее или также или хуже? и почему?

Давай, научи. Посмотрим на результаты. К счастью, есть целая куча открытых данных и проверить результаты твоего "обучения монте-карло" очень легко. Думаю, ты просто не совсем понимаешь, о чём говоришь.

S>Давайте вот отложим хайп в сторону и посмотрим, что там изменилось с 2000-х годов? Компьютеры стали мощнее и мы можем черный ящик делать огроменных размеров? это не аргумент.

С 2000х годов изменилось очень много чего, как в технической составляющей (мощные GPU, TPU), так и в научной (в том числе подходы к обучению глубоких нейронных сетей).

E>При чём тут расстояния? Всё что твоя сеть умеет -- это свёртки и линейное программирование за счёт активации
E>Вопрос в том, есть ли у неё какая-то обобщающая сила.
E>С т. з. гарантий, можно попробовать какую-нибудь регуляризацию, например. Ещё можно с дропаутами обучать, по идее коллегия сетей надёжнее...

Ок, похоже, ты не совсем понял, про что я, но это не важно.

Здравствуйте, steep8, Вы писали:

S>Здравствуйте, The Passenger, Вы писали:

TP>>вот именно поэтому сети и работают с бигдатами — без данных, сеть — просто набор мусора

TP>>и да — я полагаю функциональность сетей можно повторить и без сетей ... просто с сетяме проще ... иногда намного

S>Вот безусловно систему уравнений мы можем выписать и без сетей. но тогда придется отвечать на неудобные вопросы — для чего здесь x и почему он в степени и т.п.
S>Т.е. защищать свою построенную модель.
S>А тут все просто это же нейросеть, она все сама, я тут не причем, добавил слой, обучил , показал бигбоссу как оно круто работает на тестовых данных и вперед в
S>продакшен. А как оно, а почему на эти вопросы можно не отвечать.

Попробуй напиши систему уравнений, чтобы отличить кошку от собаки на фотографии.

Здравствуйте, Nikе, Вы писали:

N>Это всё мизерные рюшечки, тот же CNN лично я вывел сам в юности зная про нейронки в объёме перцептрона 60х, как и DL был довольно таки очевиден — каким-то алгоритмическим мегапрорывом его сложно считать. Появились мощные компы — появилась возможность играть с обучением сложных нейронок.
N>Пофиг на эмпирически подобранные функции, покажи новые способы поиска оптимумов.

А зачем?
В многомерном пространстве большинство экстремумов — это седловые точки.

Что же до последних достижений — например, чисто инженерный(архитектурный) трюк с residual блоком,
который позволил делать сети практически произвольной глубины за счет того, что эти блоки изначально просто
копируют вход на выход и лишь когда сети потребуется и их "вычислительная мощность" они включаются в работу.