Оценить сложность нейронной сети для задачи
От: 0K Ниоткуда  
Дата: 30.08.11 22:09
Оценка: :)
Глубоко нейронные сети не изучал, но чисто философский интерес пробудился.

Возьмем сложную каптчу (допустим, какая есть у Google). Известно, что нейронная сеть в нашем мозгу ее распознает практически в 95% случаев.

Теперь давайте поставим эту же задачу перед искусственной нейронной сетью: создать сеть, которую можно обучить распознавать картинки целиком (а не отдельных элементов). Кто-то говорил, что устройство нейронной сети мозга хорошо изучено, по этому, по идее, проблем быть не должно.

Итак, имеем:

1. Картинка 5 символов 200 * 70 пикселов.
2. Могут быть 26 букв алфавита.
3. Буквы наклонены и сливаются.
4. Размер все время разный.

Пример картинки: https://www.google.com/accounts/newaccount

Нужно:

1. Распознавать картинку целиком с помощью нейронной сети (то есть 26*5 = 130 выходов). Подчеркну, что нужно распознать все символы картинки, а не по одному.
2. Добиться точности аналогичной сети в нашем разуме: то есть около 95% угадываний.

И вопрос:

Как определить нужное количество нейронов и связей между ними для этой сети? В каких пределах нужное количество нейронов? Понятно, что оно будет больше 14130 (количество входов + количество выходов). Но насколько?

Ну и практический вопрос: почему мы не можем сделать такую сеть (то есть чтобы она реально работала с такими показателями)?
Re: Оценить сложность нейронной сети для задачи
От: samius Япония http://sams-tricks.blogspot.com
Дата: 30.08.11 22:17
Оценка: +1
Здравствуйте, 0K, Вы писали:

0K>1. Распознавать картинку целиком с помощью нейронной сети (то есть 26*5 = 130 выходов). Подчеркну, что нужно распознать все символы картинки, а не по одному.

Ты хочешь сказать, что ты распознаешь гуглокапчу целиком, а не посимвольно?
Лично мне приходится на каждый символ пялиться секунд по 3-5. И слово-то не угадывается, т.к. не слово, а набор букв.
Re: Оценить сложность нейронной сети для задачи
От: x905  
Дата: 31.08.11 04:15
Оценка: +1
Здравствуйте, 0K, Вы писали:


0K>1. Распознавать картинку целиком с помощью нейронной сети (то есть 26*5 = 130 выходов). Подчеркну, что нужно распознать все символы картинки, а не по одному.


а разве не 26^5 = 11 881 376 вариантов ?
Re[2]: Оценить сложность нейронной сети для задачи
От: batu Украина  
Дата: 31.08.11 04:41
Оценка:
Здравствуйте, x905, Вы писали:

X>Здравствуйте, 0K, Вы писали:



0K>>1. Распознавать картинку целиком с помощью нейронной сети (то есть 26*5 = 130 выходов). Подчеркну, что нужно распознать все символы картинки, а не по одному.


X>а разве не 26^5 = 11 881 376 вариантов ?

Выходов достаточно 26. В принципе интересно было б попробовать
Re[2]: Оценить сложность нейронной сети для задачи
От: 0K Ниоткуда  
Дата: 31.08.11 07:09
Оценка:
Здравствуйте, samius, Вы писали:

S>Ты хочешь сказать, что ты распознаешь гуглокапчу целиком, а не посимвольно?


А я разве не нейронная сеть ? Пусть и искусственная нейронная сеть сама науччится, что ей легче распознавать посимвольно.
Re[3]: Оценить сложность нейронной сети для задачи
От: 0K Ниоткуда  
Дата: 31.08.11 07:12
Оценка: -1
Здравствуйте, batu, Вы писали:

B>Выходов достаточно 26. В принципе интересно было б попробовать


26 -- только для одной буквы. Букв 5, по этому 130.

Мне нужно, чтобы распознавание было целиком на нейронной сети, без каких-либо доп. алгоритмаов дробления символов и прочего. Мозг же нейронная сеть и как то научился распознавать. Пусть и искусственная нейронная сеть научится -- пусть сколько угодно дробит эти символы или делает что угодно, но дойдет до этого сама в процессе обучения...
Re: Оценить сложность нейронной сети для задачи
От: avpavlov  
Дата: 31.08.11 07:21
Оценка:
0K>1. Распознавать картинку целиком с помощью нейронной сети (то есть 26*5 = 130 выходов). Подчеркну, что нужно распознать все символы картинки, а не по одному.


Если ты так настойчиво подчёркиваешь, что распознавать надо все, а не каждый отдельно, то тогда 26^5 выходов. А если по одному — то 26 выходов (+ алгоритм, который будет на символы нарезать
Re[2]: Оценить сложность нейронной сети для задачи
От: 0K Ниоткуда  
Дата: 31.08.11 07:25
Оценка:
Здравствуйте, avpavlov, Вы писали:

A>Если ты так настойчиво подчёркиваешь, что распознавать надо все, а не каждый отдельно, то тогда 26^5 выходов. А если по одному — то 26 выходов (+ алгоритм, который будет на символы нарезать


Пусть нейронная сеть сама нарезает.

Главные вопросы:

1. Какого размера должна быть нейронная сеть?
2. Можно ли ее сделать парактически?
3. Как долго ее нужно будет обучать для достижения 95% угадываний?
Re[3]: Оценить сложность нейронной сети для задачи
От: samius Япония http://sams-tricks.blogspot.com
Дата: 31.08.11 07:33
Оценка:
Здравствуйте, 0K, Вы писали:

0K>Здравствуйте, avpavlov, Вы писали:


A>>Если ты так настойчиво подчёркиваешь, что распознавать надо все, а не каждый отдельно, то тогда 26^5 выходов. А если по одному — то 26 выходов (+ алгоритм, который будет на символы нарезать


0K>Пусть нейронная сеть сама нарезает.


0K>Главные вопросы:


0K>1. Какого размера должна быть нейронная сеть?

0K>2. Можно ли ее сделать парактически?
0K>3. Как долго ее нужно будет обучать для достижения 95% угадываний?
Интересно, как долго тебя пришлось бы обучать угадывать капчи целиком без обучения отдельным символам и тому что их надо разделять, указывая один из 26^5 возможных ответов, до достижения 95% угадываний?
Re[3]: Оценить сложность нейронной сети для задачи
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 31.08.11 07:40
Оценка: -2
Здравствуйте, 0K, Вы писали:

0K>Здравствуйте, avpavlov, Вы писали:


A>>Если ты так настойчиво подчёркиваешь, что распознавать надо все, а не каждый отдельно, то тогда 26^5 выходов. А если по одному — то 26 выходов (+ алгоритм, который будет на символы нарезать


0K>Пусть нейронная сеть сама нарезает.


0K>Главные вопросы:


0K>1. Какого размера должна быть нейронная сеть?

0K>2. Можно ли ее сделать парактически?
0K>3. Как долго ее нужно будет обучать для достижения 95% угадываний?

Если бы ты изучал ИНС, то знал бы что гораздо более важный вопрос — как представлять входные данные. Ведь если просто подавать картинку на вход ИНС, то мало что хорошего выйдет. нужна предобработка, аналогичная человеческому зрению, что-то вроде получения особенностей изображения, как в Open CV.
Re[4]: Оценить сложность нейронной сети для задачи
От: 0K Ниоткуда  
Дата: 31.08.11 08:08
Оценка:
Здравствуйте, gandjustas, Вы писали:

G>Если бы ты изучал ИНС, то знал бы что гораздо более важный вопрос — как представлять входные данные. Ведь если просто подавать картинку на вход ИНС, то мало что хорошего выйдет. нужна предобработка, аналогичная человеческому зрению, что-то вроде получения особенностей изображения, как в Open CV.


Изображение на сетчатки создается фокусирующей линзой (хрусталиком) и является уменьшенной картинкой (перевернутой), без всякой обработки. Обрабатывает это изображение нейронная сеть.

Точто так и в нашей задаче -- обработку изображения должна осуществить нейронная сеть.
Re[5]: Оценить сложность нейронной сети для задачи
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 31.08.11 08:52
Оценка:
Здравствуйте, 0K, Вы писали:

0K>Здравствуйте, gandjustas, Вы писали:


G>>Если бы ты изучал ИНС, то знал бы что гораздо более важный вопрос — как представлять входные данные. Ведь если просто подавать картинку на вход ИНС, то мало что хорошего выйдет. нужна предобработка, аналогичная человеческому зрению, что-то вроде получения особенностей изображения, как в Open CV.


0K>Изображение на сетчатки создается фокусирующей линзой (хрусталиком) и является уменьшенной картинкой (перевернутой), без всякой обработки. Обрабатывает это изображение нейронная сеть.

Уверен? Одна нейронная сеть? Судя по наблюдаемым механизмам восприятия информации используется гораздо более сложная система предобработки, чем ИНС.

Вообще говоря мозг не моделируется ИНС, там гораздо более сложные механизмы в гораздо большем количестве.

0K>Точто так и в нашей задаче -- обработку изображения должна осуществить нейронная сеть.

Кому должна?
Re[5]: Оценить сложность нейронной сети для задачи
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 31.08.11 08:55
Оценка: -1
Здравствуйте, 0K, Вы писали:

0K>Изображение на сетчатки создается фокусирующей линзой (хрусталиком) и является уменьшенной картинкой (перевернутой), без всякой обработки.


Кстати это неверное утверждение. Из школьного курса анатомии известно что сетчатка состоит из разных элементов, которые воспринимают разные аспекты изображения. Поэтому попытка построить ИНС, которая обрабатывает пиксели обречена на провал.
Re[6]: Оценить сложность нейронной сети для задачи
От: 0K Ниоткуда  
Дата: 31.08.11 08:58
Оценка:
Здравствуйте, gandjustas, Вы писали:

G>Уверен? Одна нейронная сеть? Судя по наблюдаемым механизмам восприятия информации используется гораздо более сложная система предобработки, чем ИНС.


А что в мозгу есть кроме нейронов и синапсов? Почему мы не можем их моделировать?

G>Вообще говоря мозг не моделируется ИНС, там гораздо более сложные механизмы в гораздо большем количестве.


Какие механизмы мы не можем моделировать?
Re[6]: Оценить сложность нейронной сети для задачи
От: 0K Ниоткуда  
Дата: 31.08.11 08:59
Оценка:
Здравствуйте, gandjustas, Вы писали:

G>Кстати это неверное утверждение. Из школьного курса анатомии известно что сетчатка состоит из разных элементов, которые воспринимают разные аспекты изображения. Поэтому попытка построить ИНС, которая обрабатывает пиксели обречена на провал.


Из палочек и колбочек. Нам достаточно палочек -- изображение монохромное. Кстати, колбочки не работают при слабом освещении.
Re[7]: Оценить сложность нейронной сети для задачи
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 31.08.11 09:04
Оценка:
Здравствуйте, 0K, Вы писали:

0K>Здравствуйте, gandjustas, Вы писали:


G>>Уверен? Одна нейронная сеть? Судя по наблюдаемым механизмам восприятия информации используется гораздо более сложная система предобработки, чем ИНС.


0K>А что в мозгу есть кроме нейронов и синапсов? Почему мы не можем их моделировать?

В компьютере ведь тоже нули и единицы, то мы то можем писать сложные программы. Вопрос не в самих нулях и единицах, а в их интерпретации. Вот интерпретацию сигналов, передающихся в мозгу мы (пока) не знаем.

ИНС — первая попытка смоделировать мозг по его физической структуре, но не очень неудачная, потому что мозг "работает" параллельно, а вычисления на ИНС последовательны и создать ИНС по масштабам аналогичную могзу приведет к неэффективности затрат. Кроме того без понимания процесса обучения мозга и интерпретации сигналов в мозгу мы не сможем сделать нечто похожее.

G>>Вообще говоря мозг не моделируется ИНС, там гораздо более сложные механизмы в гораздо большем количестве.

0K>Какие механизмы мы не можем моделировать?
Можем любые, но для начала их надо изучить, а ученым это сделать непросто. На живых людям никто не дает ставить эксперименты.
Пока процессы не изучены невозможно построить адекватную модель.
Re[6]: Оценить сложность нейронной сети для задачи
От: Don Reba Канада https://stackoverflow.com/users/49329/don-reba
Дата: 31.08.11 09:04
Оценка:
Здравствуйте, gandjustas, Вы писали:

G>Кстати это неверное утверждение. Из школьного курса анатомии известно что сетчатка состоит из разных элементов, которые воспринимают разные аспекты изображения. Поэтому попытка построить ИНС, которая обрабатывает пиксели обречена на провал.


"Аспекты изображения" воспринимаются в зрительной коре. Насчёт сетчатки, ОК, как ни странно, прав.
Ce n'est que pour vous dire ce que je vous dis.
Re[7]: Оценить сложность нейронной сети для задачи
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 31.08.11 09:05
Оценка:
Здравствуйте, 0K, Вы писали:

0K>Здравствуйте, gandjustas, Вы писали:


G>>Кстати это неверное утверждение. Из школьного курса анатомии известно что сетчатка состоит из разных элементов, которые воспринимают разные аспекты изображения. Поэтому попытка построить ИНС, которая обрабатывает пиксели обречена на провал.


0K>Из палочек и колбочек. Нам достаточно палочек -- изображение монохромное. Кстати, колбочки не работают при слабом освещении.


Вот видишь, уже получается что изображение попадающее в мозг состоит не из пикселей, а из каких-то других параметров, а неизвестно какая еще обработка происходит в мозгу до принятия решения о том что за цифру человек видит.
Re: Оценить сложность нейронной сети для задачи
От: Sorc17 Россия  
Дата: 31.08.11 09:55
Оценка:
Здравствуйте, 0K, Вы писали:

0K>Возьмем сложную каптчу (допустим, какая есть у Google). Известно, что нейронная сеть в нашем мозгу ее распознает практически в 95% случаев.


Никто не знает "что в нашем мозгу", не понимает как он работает, и говорить что в нем нейронная сеть — не верно. Некоторые отдельные части человеческой нервной системы действительно отдалённо напоминают так называемые нейронные сети, которые применяются в IT для распознавания образов в частности.
Для нас [Thompson, Rob Pike, Robert Griesemer] это было просто исследование. Мы собрались вместе и решили, что ненавидим C++ [смех].
Re[4]: Оценить сложность нейронной сети для задачи
От: batu Украина  
Дата: 31.08.11 10:25
Оценка:
Здравствуйте, 0K, Вы писали:

0K>Здравствуйте, batu, Вы писали:


B>>Выходов достаточно 26. В принципе интересно было б попробовать


0K>26 -- только для одной буквы. Букв 5, по этому 130.


0K>Мне нужно, чтобы распознавание было целиком на нейронной сети, без каких-либо доп. алгоритмаов дробления символов и прочего. Мозг же нейронная сеть и как то научился распознавать. Пусть и искусственная нейронная сеть научится -- пусть сколько угодно дробит эти символы или делает что угодно, но дойдет до этого сама в процессе обучения...

А по одной букве распознавать религия не позволяет? Или распознавание второй буквы должно отличаться от распонзнавания первой?
Re: Оценить сложность нейронной сети для задачи
От: Кодёнок  
Дата: 31.08.11 10:39
Оценка:
Здравствуйте, 0K, Вы писали:

0K>Возьмем сложную каптчу (допустим, какая есть у Google). Известно, что нейронная сеть в нашем мозгу ее распознает практически в 95% случаев.


Проблема в выделенном. В мозгу не нейронная сеть, в мозгу неизвестно что, самый низкий уровень которого работает примерно по тем же принципам. Даже “железо” мозга еще не до конца изучено, что уж говорить про “софт”, благодаря которому это железо начинает крутиться и развивается в интеллект.
Re[8]: Оценить сложность нейронной сети для задачи
От: 0K Ниоткуда  
Дата: 31.08.11 10:40
Оценка:
Здравствуйте, gandjustas, Вы писали:

G>Вот видишь, уже получается что изображение попадающее в мозг состоит не из пикселей, а из каких-то других параметров, а неизвестно какая еще обработка происходит в мозгу до принятия решения о том что за цифру человек видит.


Из чего это следует? Как раз из пикселов. Причем 2 вида пиксело-датчиков: монохромные и цветные. Цветные работатют только при ярком освещении.
Re[2]: Оценить сложность нейронной сети для задачи
От: 0K Ниоткуда  
Дата: 31.08.11 10:42
Оценка:
Здравствуйте, Sorc17, Вы писали:

S>Здравствуйте, 0K, Вы писали:


0K>>Возьмем сложную каптчу (допустим, какая есть у Google). Известно, что нейронная сеть в нашем мозгу ее распознает практически в 95% случаев.


S>Никто не знает "что в нашем мозгу", не понимает как он работает, и говорить что в нем нейронная сеть — не верно.


Да? А вот люди даже моделируют: http://ru.wikipedia.org/wiki/Blue_Brain_Project Только почему то на 1-н нейрон идет 1-н процессор. То есть получается не то же самое, что нейрон в популярных библиотеках...
Re[5]: Оценить сложность нейронной сети для задачи
От: 0K Ниоткуда  
Дата: 31.08.11 10:44
Оценка:
Здравствуйте, batu, Вы писали:

B>А по одной букве распознавать религия не позволяет? Или распознавание второй буквы должно отличаться от распонзнавания первой?


Вопрос в принципе. Нужна такая нейронная сеть, которая сама обучится разделять на буквы.
Re[9]: Оценить сложность нейронной сети для задачи
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 31.08.11 10:54
Оценка:
Здравствуйте, 0K, Вы писали:

0K>Здравствуйте, gandjustas, Вы писали:


G>>Вот видишь, уже получается что изображение попадающее в мозг состоит не из пикселей, а из каких-то других параметров, а неизвестно какая еще обработка происходит в мозгу до принятия решения о том что за цифру человек видит.


0K>Из чего это следует?

То что ты неверную модель пытаешься построить.

0K>Как раз из пикселов. Причем 2 вида пиксело-датчиков: монохромные и цветные. Цветные работатют только при ярком освещении.

Уверен что именно пикселы? Сомневаюсь...
Re[3]: Оценить сложность нейронной сети для задачи
От: Sorc17 Россия  
Дата: 31.08.11 11:41
Оценка:
Здравствуйте, 0K, Вы писали:

S>>Никто не знает "что в нашем мозгу", не понимает как он работает, и говорить что в нем нейронная сеть — не верно.


0K>Да? А вот люди даже моделируют: http://ru.wikipedia.org/wiki/Blue_Brain_Project Только почему то на 1-н нейрон идет 1-н процессор. То есть получается не то же самое, что нейрон в популярных библиотеках...


Ну и что? Там так и написано "проект по исследованию коры головного мозга человека". То есть во-первых, они лишь исследуют, а во-вторых, исследуют лишь часть нервной системы человека.

Я в своё время послушал по зомбоящику адекватную, а потому оче скучную, тётеньку из института исследования мозга, которая всё расставила на свои места в моих представлениях, как далеко человек продвинулся в изучении мозга — никак. Мы как были на уровне "повредим эту часть мозга и пропадёт слух, повредим эту и пропадёт зрение, когда человек говорит в этой части мозга активность больше" так и остались. Мне кажется, что задачи понимания как работает мозг и задача создании ИИ — эквивалентны. Раз ИИ ещё не создан, то и понимания как работает мозг у нас нет.
Для нас [Thompson, Rob Pike, Robert Griesemer] это было просто исследование. Мы собрались вместе и решили, что ненавидим C++ [смех].
Re[6]: Оценить сложность нейронной сети для задачи
От: batu Украина  
Дата: 31.08.11 12:33
Оценка:
Здравствуйте, 0K, Вы писали:

0K>Здравствуйте, batu, Вы писали:


B>>А по одной букве распознавать религия не позволяет? Или распознавание второй буквы должно отличаться от распонзнавания первой?


0K>Вопрос в принципе. Нужна такая нейронная сеть, которая сама обучится разделять на буквы.

Хорошая задача..
Re[2]: Оценить сложность нейронной сети для задачи
От: 0K Ниоткуда  
Дата: 31.08.11 15:57
Оценка:
Здравствуйте, Кодёнок, Вы писали:

Кё>Проблема в выделенном. В мозгу не нейронная сеть


Да? А что же там? Что там есть, кроме нейронов и синапсов?

Кё>, в мозгу неизвестно что,


А, вона как оказывается. А что же мы моделируем http://ru.wikipedia.org/wiki/Blue Brain Project ?

Кё>самый низкий уровень которого работает примерно по тем же принципам


Кё>Даже “железо” мозга еще не до конца изучено, что уж говорить про “софт”, благодаря которому это железо начинает крутиться и развивается в интеллект.


А какой софт? Кто его писал, простите? Нейронная сеть сама себя программирует.
Re[3]: Оценить сложность нейронной сети для задачи
От: samius Япония http://sams-tricks.blogspot.com
Дата: 31.08.11 16:41
Оценка:
Здравствуйте, 0K, Вы писали:

0K>Нейронная сеть сама себя программирует.

Откуда дрова?
Re[4]: Оценить сложность нейронной сети для задачи
От: 0K Ниоткуда  
Дата: 31.08.11 16:49
Оценка:
Здравствуйте, samius, Вы писали:

0K>>Нейронная сеть сама себя программирует.

S>Откуда дрова?

Мозг кем программируется? Никем. Он обучается. Берутся данные, он их преобразывывает и получает результат. В зависимости от того, правильный он или нет -- делает выводы и перестраивает тактику.
Re: Оценить сложность нейронной сети для задачи
От: Геннадий Майко США  
Дата: 31.08.11 17:17
Оценка:
Здравствуйте, 0K,

0K>Как определить нужное количество нейронов и связей между ними для этой сети? В каких пределах нужное количество нейронов? Понятно, что оно будет больше 14130 (количество входов + количество выходов). Но насколько?


0K>Ну и практический вопрос: почему мы не можем сделать такую сеть (то есть чтобы она реально работала с такими показателями)?

--
Сделать сеть, распознаюшую одну конкретную капчу вполне можно, гораздо труднее сделать такую сеть, которая распознавала бы любые капчи. В таком случае ее надо беспрерывно обучать в случаях изменения "алгоритма" зашумливания и изменения шрифта. Поэтому практическая ценность такого устройства, IMHO, весьма мало...

C уважением,
Геннадий Майко.

P.S. У меня был опыт использования нейронных сетей для предсказывания последовательности данных (предсказание объёма кодирования следуюшей видео картинки на основе анализа нескольких предыдуших), и мне не удавалось получить цифру в 95% точности предсказания.
Re[5]: Оценить сложность нейронной сети для задачи
От: samius Япония http://sams-tricks.blogspot.com
Дата: 31.08.11 17:19
Оценка:
Здравствуйте, 0K, Вы писали:

0K>Здравствуйте, samius, Вы писали:


0K>>>Нейронная сеть сама себя программирует.

S>>Откуда дрова?

0K>Мозг кем программируется? Никем. Он обучается.

Нейросеть тоже никем не программируется.

0K>Берутся данные, он их преобразывывает и получает результат. В зависимости от того, правильный он или нет -- делает выводы и перестраивает тактику.

не тактику а настройку синаптических связей.
Re[7]: Оценить сложность нейронной сети для задачи
От: aa_unique  
Дата: 31.08.11 18:23
Оценка: :))
0K>Здравствуйте, gandjustas, Вы писали:

G>>Уверен? Одна нейронная сеть? Судя по наблюдаемым механизмам восприятия информации используется гораздо более сложная система предобработки, чем ИНС.


0K>А что в мозгу есть кроме нейронов и синапсов? Почему мы не можем их моделировать?


G>>Вообще говоря мозг не моделируется ИНС, там гораздо более сложные механизмы в гораздо большем количестве.


0K>Какие механизмы мы не можем моделировать?


Пардон, что вмешиваюсь, но как насчёт живой души? Душу тоже хотите моделировать?
Re[4]: Оценить сложность нейронной сети для задачи
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 31.08.11 18:26
Оценка:
Здравствуйте, gandjustas, Вы писали:

G>Если бы ты изучал ИНС, то знал бы что гораздо более важный вопрос — как представлять входные данные. Ведь если просто подавать картинку на вход ИНС, то мало что хорошего выйдет. нужна предобработка, аналогичная человеческому зрению, что-то вроде получения особенностей изображения, как в Open CV.


Этим занимаются как раз свёрточные нейросети, созданные по мотивам исследований органов зрения и первичной зрительной коры. В качестве научно-популярного (и очень интересного) источника рекомендую "Глаз, мозг, зрение" Д.Хьюбела.
Re[6]: Оценить сложность нейронной сети для задачи
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 31.08.11 18:29
Оценка:
Здравствуйте, gandjustas, Вы писали:

G>Кстати это неверное утверждение. Из школьного курса анатомии известно что сетчатка состоит из разных элементов, которые воспринимают разные аспекты изображения. Поэтому попытка построить ИНС, которая обрабатывает пиксели обречена на провал.


Школьный курс анатомии — плохой аргумент. Сетчатка же состоит из... сюрприз, сюрприз... нейронов! И многими учёными считается частью головного мозга.
Re[3]: Оценить сложность нейронной сети для задачи
От: VladD2 Российская Империя www.nemerle.org
Дата: 31.08.11 18:32
Оценка:
Здравствуйте, 0K, Вы писали:

0K>А какой софт? Кто его писал, простите? Нейронная сеть сама себя программирует.


Родители, детсад, школа...

Я вот сейчас наблюдаю за свои ребенком (девочка 1.5 года). Очень интересно. Основной метод программирования — подражание старшим.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Re[6]: Оценить сложность нейронной сети для задачи
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 31.08.11 18:32
Оценка:
Здравствуйте, gandjustas, Вы писали:

G>Кстати это неверное утверждение. Из школьного курса анатомии известно что сетчатка состоит из разных элементов, которые воспринимают разные аспекты изображения. Поэтому попытка построить ИНС, которая обрабатывает пиксели обречена на провал.


И пару слов про "обречена на провал". Свёрточные нейросети считаются одним из лучших классификаторов рукописных символов. А на вход к ним подаются совсем не признаки или дескрипторы, а... сюрприз, сюрприз... значения пикселей!
Re[7]: Оценить сложность нейронной сети для задачи
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 31.08.11 18:33
Оценка:
Здравствуйте, Don Reba, Вы писали:

DR>"Аспекты изображения" воспринимаются в зрительной коре. Насчёт сетчатки, ОК, как ни странно, прав.


Первичная обработка начинается уже на уровне сетчатки. По нервам от сетчатки в первичную зрительную кору передаётся на пару порядком меньше информации, чем воспринимает сама сетчатка.
Re[5]: Оценить сложность нейронной сети для задачи
От: VladD2 Российская Империя www.nemerle.org
Дата: 31.08.11 18:34
Оценка:
Здравствуйте, 0K, Вы писали:

0K>Мозг кем программируется? Никем.


О, как? Про НДК слышал?

0K>Он обучается.


Ага. И это называется интеллект. Вот только ты первым будешь, если сможешь повторить хотя бы бледного подобие интеллекта.

0K>Берутся данные, он их преобразывывает и получает результат. В зависимости от того, правильный он или нет -- делает выводы и перестраивает тактику.


Да откуда ты знаешь? Все надо проверять на эксперементах! Разрежь себе голову и погляди!
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Re[8]: Оценить сложность нейронной сети для задачи
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 31.08.11 18:42
Оценка: 7 (1)
Здравствуйте, gandjustas, Вы писали:

G>Вот видишь, уже получается что изображение попадающее в мозг состоит не из пикселей, а из каких-то других параметров, а неизвестно какая еще обработка происходит в мозгу до принятия решения о том что за цифру человек видит.


Вполне известно какая обработка происходит в мозгу. Первичная зрительная кора была уже довольно хорошо исследована в 80-е годы (наиболее исследованная часть мозга), созданы её подробные карты. В настоящее время даже умеют восстанавливать очень грубое, схематичное изображение, поступающее на неё без втыкания вольфрамовых электродов в мозг.

Принятие решения о распознавании происходит не в ней. Вообще говоря, за распознавание зрительных образов первичная зрительная кора не отвечает, она занимается выделением особенностей и частично стереозрением.
Эту часть как раз моделируют свёрточными нейросетями.

Распознавание разных образов происходит в различных участках коры. Например, в процессе эволюции у человека появился участок коры, занимающийся распознаванием исключительно лиц. При его повреждении люди могут свободно ориентироваться в пространстве, но не могут зрительно запоминать лица людей и отличать их друг от друга.
Собственно распознавание моделируется с помощью персептронов.

Существуют нейросети, которые моделирую память и ассоциативное мышление.
Я не буду говорить насколько успешно они именно моделируют мозг, я не специалист в нейрофизиологии. Но определённые успехи в практическом применении иногда возникают.
Re: Оценить сложность нейронной сети для задачи
От: VladD2 Российская Империя www.nemerle.org
Дата: 31.08.11 18:44
Оценка: 1 (1) +1 :)))
Здравствуйте, 0K, Вы писали:

0K>Глубоко нейронные сети не изучал, но чисто философский интерес пробудился.


Тебя опять потянуло на решение проблем масштаба человечества?
Похвально!

0K>Нужно:


0K>1. Распознавать картинку ...

0K>И вопрос:

0K>Как определить нужное количество нейронов и связей между ними для этой сети?


За минимум не скажу, но если нейроны качественные, то обычно достаточно порядка 100 000 000 000 (ста миллиардов). Еще нужно минимум 7 лет обучения. И ты не поверишь! Современными методами такой аппарат спокойно создается двумя человеками один из которых вообще работает членом.
Есть логика намерений и логика обстоятельств, последняя всегда сильнее.
Re[4]: Оценить сложность нейронной сети для задачи
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 31.08.11 18:49
Оценка:
Здравствуйте, Sorc17, Вы писали:

S>Я в своё время послушал по зомбоящику адекватную, а потому оче скучную, тётеньку из института исследования мозга, которая всё расставила на свои места в моих представлениях, как далеко человек продвинулся в изучении мозга — никак. Мы как были на уровне "повредим эту часть мозга и пропадёт слух, повредим эту и пропадёт зрение, когда человек говорит в этой части мозга активность больше" так и остались.


Это 70-е годы.
В 80-е появились довольно продвинутые методы окрашивания, которые позволяют проследить очень длинные цепочки нервных связей. Например, капнули краситель на сетчатку 7 обезьян, через день, два, три,..., неделю нашинковали каждой мозг, посмотрели куда дошёл краситель.
И ты думаешь, что за 30 лет ничего не сдвинулось???

S>Мне кажется, что задачи понимания как работает мозг и задача создании ИИ — эквивалентны. Раз ИИ ещё не создан, то и понимания как работает мозг у нас нет.


А мне кажется, что надо разделять такие понятия как нейроанатомия, нейрофизиология, психология, исследования в области ИИ и просто философию.
Re: Оценить сложность нейронной сети для задачи
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 31.08.11 18:58
Оценка:
Здравствуйте, 0K, Вы писали:

Такие задачи решаются ансамблем нейросетей: одна получает на вход значения пикселей и выделяет особенности (возможно, нормированные; возможно, после ресайза; возможно после выравнивания яркости и контраста); другая получает разбивает на символы, третья распознаёт каждый символ. Наверняка будет множество обратных связей между сетями. Можно сделать так, чтобы сеть с распознаванием вызывалась по несколько раз к плавающему по изображению окну. Некоторые любят подавать на вход не само изображение а его Фурье или вейвлет образ.
Я этим особенно не занимался, так применил один раз, немного по теме почитал.

Достоинство нейросети — универсальность и автоматическое обучение. Огромнейший недостаток: тяжело понять как работает конкретная сеть в конкретном случае. Поэтому применять их надо осторожно и умело, невероятно велика вероятность напрасно потратить время.
Re[7]: Оценить сложность нейронной сети для задачи
От: gandjustas Россия http://blog.gandjustas.ru/
Дата: 31.08.11 20:50
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Здравствуйте, gandjustas, Вы писали:


G>>Кстати это неверное утверждение. Из школьного курса анатомии известно что сетчатка состоит из разных элементов, которые воспринимают разные аспекты изображения. Поэтому попытка построить ИНС, которая обрабатывает пиксели обречена на провал.


N>И пару слов про "обречена на провал". Свёрточные нейросети считаются одним из лучших классификаторов рукописных символов. А на вход к ним подаются совсем не признаки или дескрипторы, а... сюрприз, сюрприз... значения пикселей!


Насколько я знаю эти нейронные сети сильно отличаются от "прецептронов" и больше похожи на алгоритмы обработки изображений. И собственно я и имел ввиду подобные подходы к анализу изображений.

Если же пытаться моделировать нейроны, то вряд ли получится из обычных прецептронов собрать чтонить, что сможет распознавать символы.
Re[8]: Оценить сложность нейронной сети для задачи
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 01.09.11 03:56
Оценка:
Здравствуйте, gandjustas, Вы писали:

G>Насколько я знаю эти нейронные сети сильно отличаются от "прецептронов" и больше похожи на алгоритмы обработки изображений. И собственно я и имел ввиду подобные подходы к анализу изображений.


Персептроны — это первые искусственные нейросети (ИНС), которые появились уже много десятилетий назад. Нельзя же на них до сих пор равняться! В том-то и дело, что в мозгу много разных типов нейронов, которые образуют большое многообразие связных структур с прямыми и обратными связями. Этим пользуются и при построении ИНС.

G>Если же пытаться моделировать нейроны, то вряд ли получится из обычных прецептронов собрать чтонить, что сможет распознавать символы.


Так и не стоит этого делать. Тут же разговор ведётся не про древние персептроны, а про возможности ИНС.
Re[2]: Оценить сложность нейронной сети для задачи
От: D. Mon Великобритания http://thedeemon.livejournal.com
Дата: 01.09.11 05:56
Оценка:
Здравствуйте, VladD2, Вы писали:

VD>За минимум не скажу, но если нейроны качественные, то обычно достаточно порядка 100 000 000 000 (ста миллиардов). Еще нужно минимум 7 лет обучения. И ты не поверишь! Современными методами такой аппарат спокойно создается двумя человеками один из которых вообще работает членом.


Все семь лет?
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.