Вопрос разработчикам нейросетей
От: Khimik  
Дата: 05.08.21 18:12
Оценка: -1 :)))
Раньше я на форуме много спорил с атеистами, выкладывая кибернетические аргументы, что мозг не может быть источником сознания. Хочу снова озвучить пару из этих аргументов, и прошу разработчиков нейросетей это прокомментировать:
1) Мозг, в отличие от ЭВМ – очень примитивное устройство. Это связано с тем, что любое сложное устройство, например процессор, имеет чёткий чертёж изготовления, и при отклонении от чертежа хоть на микрон он не будет работоспособен. Мозг же у разных людей слеплен как угодно, и несмотря на это у мышление у них работает.
2) Чем сложнее устройство, тем легче нарушить его работу, повредив одну из его частей. В случае ЭВМ, достаточно поменять один байт в коде программы, и вся система слетит. С мозгом же всё по-другому: его можно протыкать электродами где угодно и ничего ему от этого не делает. Это говорит, опять же, о том что мозг примитивнее чем ЭВМ.
Мой вопрос касается нейросетей и ансамблей: соблюдаются ли для них такие же кибернетические критерии сложности, как для обычных ЭВМ с программами, или они в каком-то плане ближе к мозгу? Я имею в виду, сильно ли нарушится работа нейросети, если случайно поменять пару её ячеек?
Могу предположить, что тут будет разная ситуация с разными нейросетями: для распознавания изображений действительно слабые повреждения не будут критичны, а вот для нейросетей чат-ботов или переводчиков слабые повреждения будут нарушать всю работу. Верна ли эта моя догадка?
"Ты должен сделать добро из зла, потому что его больше не из чего сделать". АБ Стругацкие.
Re: Вопрос разработчикам нейросетей
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 05.08.21 18:43
Оценка: 6 (2) +2
Здравствуйте, Khimik, Вы писали:

K>Могу предположить, что тут будет разная ситуация с разными нейросетями: для распознавания изображений действительно слабые повреждения не будут критичны, а вот для нейросетей чат-ботов или переводчиков слабые повреждения будут нарушать всю работу. Верна ли эта моя догадка?


Не знаю, как с трансформерами для nlp, но сверхточные нейросетки оптимизируются примерно также, как и нейроны в мозгу, даже термин общий — пруннинг.
Хоть и не принято сравнивать нейроны мозга с нейронами нейросетки — это абсолютно разные вещи и ничего общего между ними нет. Но, как и в мозге, проблемы с отдельным нейроном не приведут к проблемам в работе нейросетки. Пруннинг на этом и основан, позволяет выкинуть те нейроны, которые вносят наименьшее влияние на результат.
Re: Вопрос разработчикам нейросетей
От: Слава  
Дата: 05.08.21 20:23
Оценка: +2
Здравствуйте, Khimik, Вы писали:

K>Раньше я на форуме много спорил с атеистами, выкладывая кибернетические аргументы, что мозг не может быть источником сознания.


Скажите, а зачем вы на эти темы беседуете с людьми, которые пишут сетки для обработки котиков и данных о продажах?
Re: Вопрос разработчикам нейросетей
От: Je suis Mamut  
Дата: 05.08.21 20:57
Оценка: -1
K>что мозг не может быть источником сознания.
K>1) Мозг, в отличие от ЭВМ – очень примитивное устройство.

откуда вообще идея, что для сознания нужно сложное устройство?
Re[2]: Вопрос разработчикам нейросетей
От: Bill Baklushi СССР  
Дата: 05.08.21 21:41
Оценка:
Слава:

K>>Раньше я на форуме много спорил с атеистами, выкладывая кибернетические аргументы, что мозг не может быть источником сознания.

С>Скажите, а зачем вы на эти темы беседуете с людьми, которые пишут сетки для обработки котиков и данных о продажах?

ТС философией интересуется, что похвально. Задумался о данной проблеме, спросил у специалистов. Что не так?
Для обработки котиков и продаж нужно понимать как работают искусственные нейросети.
Околофилософские проблемы нейросетей описываются в книгах, напр. у Николенко.
Модератор-националист Kerk преследует оппонентов по политическим мотивам.
Re[2]: Вопрос разработчикам нейросетей
От: Khimik  
Дата: 06.08.21 08:50
Оценка: +1
Здравствуйте, Je suis Mamut, Вы писали:


K>>что мозг не может быть источником сознания.

K>>1) Мозг, в отличие от ЭВМ – очень примитивное устройство.

JSM>откуда вообще идея, что для сознания нужно сложное устройство?


Вообще, раньше считалось что и камень может иметь сознание, но сейчас вроде от этого отошли.
Примитивные объекты, например амёба или программа размером с килобайт, точно не могут иметь сознания, поскольку сознание подразумевает способность обрабатывать большие объемы информации.
"Ты должен сделать добро из зла, потому что его больше не из чего сделать". АБ Стругацкие.
Re[2]: Вопрос разработчикам нейросетей
От: Khimik  
Дата: 06.08.21 08:55
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Не знаю, как с трансформерами для nlp, но сверхточные нейросетки оптимизируются примерно также, как и нейроны в мозгу, даже термин общий — пруннинг.

N>Хоть и не принято сравнивать нейроны мозга с нейронами нейросетки — это абсолютно разные вещи и ничего общего между ними нет. Но, как и в мозге, проблемы с отдельным нейроном не приведут к проблемам в работе нейросетки. Пруннинг на этом и основан, позволяет выкинуть те нейроны, которые вносят наименьшее влияние на результат.

nlp — это natural language processing? Я не очень понял как оно связано с темой.
Вы пишете про нейросети вообще, или только нейросети для распознавания картинок? Возможен ли пруннинг у нейросети — чат-бота?
"Ты должен сделать добро из зла, потому что его больше не из чего сделать". АБ Стругацкие.
Re[3]: Вопрос разработчикам нейросетей
От: Je suis Mamut  
Дата: 06.08.21 08:59
Оценка:
JSM>>откуда вообще идея, что для сознания нужно сложное устройство?

K>Вообще, раньше считалось что и камень может иметь сознание, но сейчас вроде от этого отошли.


Давай не будем утрировать, всё таки.

K>Примитивные объекты, например амёба или программа размером с килобайт, точно не могут иметь сознания, поскольку сознание подразумевает способность обрабатывать большие объемы информации.


Я за них рад, но тем не менее — у меня вот нет представления, где проходит граница. Я вообще слабо понимаю, что такое сознание. Собственно, поэтому и представления нет. Расскажи (ты или Дрободан) что такое сознание и где проходит граница возможности его иметь, пожалуйста
Re[3]: Вопрос разработчикам нейросетей
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 06.08.21 09:03
Оценка:
Здравствуйте, Khimik, Вы писали:

K>nlp — это natural language processing? Я не очень понял как оно связано с темой.


Ты сам об этом написал: чат-боты, перевод — это оно


K>Вы пишете про нейросети вообще, или только нейросети для распознавания картинок? Возможен ли пруннинг у нейросети — чат-бота?


Я написал про свёрточные нейросети. Для обработки текста используются рекуррентные, в частности трансформеры. Про них не в курсе.
Re[4]: Вопрос разработчикам нейросетей
От: Khimik  
Дата: 06.08.21 09:48
Оценка:
Здравствуйте, Je suis Mamut, Вы писали:

JSM>Я за них рад, но тем не менее — у меня вот нет представления, где проходит граница. Я вообще слабо понимаю, что такое сознание. Собственно, поэтому и представления нет. Расскажи (ты или Дрободан) что такое сознание и где проходит граница возможности его иметь, пожалуйста


Грубая идея заключается в том, что мозг или ЭВМ строит модели окружающего мира, и когда в модель попадает сам этот мозг/ЭВМ — тогда и возникает сознание. Т.е. сознание возникает тогда, когда у устройства, обрабатывающего информацию, появляется концепция "Я".
"Ты должен сделать добро из зла, потому что его больше не из чего сделать". АБ Стругацкие.
Отредактировано 06.08.2021 9:49 Khimik . Предыдущая версия .
Re: Вопрос разработчикам нейросетей
От: Вумудщзук Беларусь  
Дата: 06.08.21 11:28
Оценка: +6
K>1) Мозг, в отличие от ЭВМ – очень примитивное устройство.

офигеть примитивное устройство, состоящее из десятков миллиардов нейронов, каждый из которых имеет коннекторы с тысячами других

>Это связано с тем, что любое сложное устройство, например процессор, имеет чёткий чертёж изготовления, и при отклонении от чертежа хоть на микрон он не будет работоспособен.

не понял, как связана сложность устройства с наличием чертежа...

>Мозг же у разных людей слеплен как угодно, и несмотря на это у мышление у них работает.

но при этом работает по-разному. И — внезапно — именно при повреждениях мозга может иметь место нарушения сознания, причем очень причудливыми способами.
при этом одно не является источником другого — ну да, логично

как, расскажите мне, это "примитивное" устройство в реал-тайме выполняет функции, к которым самые сложные современные эвм и близко не подошли. Может, они недостаточно сложные?

вопреки расхожей аналогии мозга и компьютера, у них нет ничего общего. У мозга нет разделения на хранение данных и выполнение команд: процесс мышления одновременно является процессом хранения данных. Нет других функциональных блоков типа распознавания/синтеза речи, видео, и прочего: т.е ответственные за них зоны есть, но это просто потому, что именно туда заходят соответствующие нервы, но все содержащиеся в них нейроны работают по одному алгоритму. То бишь весь входной поток разнородной информации обрабатывается и вообще всё мышление функционирует на одинаково работающих нейронах. Попробуйте распознать речь или отправить чего-нить по сети с помощью контроллера жесткого диска?..
Сравнение мозга с эвм — крайне примитивное и недалекое, и потому весь исходный посыл яйца выеденного не стоит.
Re[2]: Вопрос разработчикам нейросетей
От: Khimik  
Дата: 06.08.21 11:50
Оценка: :))
В>как, расскажите мне, это "примитивное" устройство в реал-тайме выполняет функции, к которым самые сложные современные эвм и близко не подошли.

Квантовые эффекты...
"Ты должен сделать добро из зла, потому что его больше не из чего сделать". АБ Стругацкие.
Re: Вопрос разработчикам нейросетей
От: Muxa  
Дата: 06.08.21 11:59
Оценка: +2
K>1) Мозг, в отличие от ЭВМ – очень примитивное устройство.
Мозг, в отличие от ЭВМ – вообще не является устройством.
Соответственно, остальное написанное является бредом.

K>Это связано с тем, что любое сложное устройство, например процессор, имеет чёткий чертёж изготовления

А простые устройства чертежей не имеют что ли?
Чем проще устройство, тем легче нарисовать его чертеж.
Не? Всё равно непонятно?
Нарисуй чертеж мозга и сравни.

K>и при отклонении от чертежа хоть на микрон он не будет работоспособен.

Это вообще ортогонально сложности.
Возми любой высокочастотный фильтр и замени в нем один элемент — фильтр работать не будет.
В компе можно много чего раскурочить прежде чем от перестанет работать.

K>Мозг же у разных людей слеплен как угодно, и несмотря на это у мышление у них работает.

Не "как угодно", а "определенным образом" — в остальном согласен.

K>2) Чем сложнее устройство, тем легче нарушить его работу, повредив одну из его частей.

Необязательно, но так проще устройства изготавливать.
Заложи в него устойчивость к повреждениям, цена вырастет на порядки.

K>В случае ЭВМ, достаточно поменять один байт в коде программы, и вся система слетит.

Необязательно.

K>С мозгом же всё по-другому: его можно протыкать электродами где угодно и ничего ему от этого не делает.

Протыкать можно, но не где угодно, как и код программы.

K>Это говорит, опять же, о том что мозг примитивнее чем ЭВМ.

Ты точно программист?
Отредактировано 06.08.2021 14:56 Muxa . Предыдущая версия . Еще …
Отредактировано 06.08.2021 13:10 Muxa . Предыдущая версия .
Re: Вопрос разработчикам нейросетей
От: Sharov Россия  
Дата: 06.08.21 14:33
Оценка:
Здравствуйте, Khimik, Вы писали:


https://vvagr.livejournal.com/2400039.html

Там ссылки на оригинал, если еще не видели. Может найдете часть ответа на ваши вопросы.

K>2) Чем сложнее устройство, тем легче нарушить его работу, повредив одну из его частей. В случае ЭВМ, достаточно поменять один байт в коде программы, и вся система слетит. С мозгом же всё по-другому: его можно протыкать электродами где угодно и ничего ему от этого не делает. Это говорит, опять же, о том что мозг примитивнее чем ЭВМ.


Спорное заявление, т.к. именно мозг созда текущие ЭВМ, а не наоборот. С др. стороны может вся жизнь сплошная VR, которая генерируется
ЭВМ, который мы никогда не постигнем. Но текущие технологии на порядок проще мозга.
Кодом людям нужно помогать!
Re: Вопрос разработчикам нейросетей
От: IT Россия linq2db.com
Дата: 06.08.21 19:05
Оценка:
Здравствуйте, Khimik, Вы писали:

K>Раньше я на форуме много спорил с атеистами, выкладывая кибернетические аргументы, что мозг не может быть источником сознания.


Прежде чем об этом спорить нужно дать чёткое определение понятию сознание. Скорее всего вы с атеистами понимаете под этим совершенно разные вещи.

K>1) Мозг, в отличие от ЭВМ – очень примитивное устройство.


Ты путаешь высокооптимизированное с примитивным. Человеческий мозг потребляет несколько ват и при этом умеет придумывать такие вещи как компьютер. Современный навороченный компьютер — это киловатная печка, которой можно обогревать небольшой офис и она не умеет пока придумывать человеческий мозг.

Мозг оптимизировался эволюцией сотни миллионов лет на миллирдах самых разнообразных особей. Компьютер, а уже тем более нейронки — десятки лет и тысячи, в лучшем случае миллионы понимающих в этом деле особей.
Если нам не помогут, то мы тоже никого не пощадим.
Re[2]: Вопрос разработчикам нейросетей
От: marcopolo Россия  
Дата: 08.08.21 16:07
Оценка:
Здравствуйте, Вумудщзук, Вы писали:

K>>1) Мозг, в отличие от ЭВМ – очень примитивное устройство.

В>
В>офигеть примитивное устройство, состоящее из десятков миллиардов нейронов, каждый из которых имеет коннекторы с тысячами других

Но это просто количество. Где тут сложность?

.
Re: Вопрос разработчикам нейросетей
От: Умака Кумакаки Ниоткуда  
Дата: 27.08.21 17:11
Оценка:
Здравствуйте, Khimik, Вы писали:


K>Могу предположить, что тут будет разная ситуация с разными нейросетями: для распознавания изображений действительно слабые повреждения не будут критичны, а вот для нейросетей чат-ботов или переводчиков слабые повреждения будут нарушать всю работу. Верна ли эта моя догадка?


разумеется нет, в искусственной нейронной сети как и в естественной вклад отдельного нейрона всегда мизерный, но на конкретном кейсе может быть определяющим. Например, нейронная сеть, которая переводит с одного языка на другой, существенно не деградирует если исключить один нейрон из её работы. Но конкретный кейс, например перевод конкретного редкого слова или выражения, вполне может сильно зависеть от конкретного нейрона.

P.S.:
у камней тоже есть сознание, это достаточно очевидно. гуглить панпсихизм.
нормально делай — нормально будет
Отредактировано 27.08.2021 17:13 Умака Кумакаки . Предыдущая версия .
Re[2]: Вопрос разработчикам нейросетей
От: putgut  
Дата: 21.11.21 06:05
Оценка: -2 :)
Здравствуйте, Вумудщзук, Вы писали:

K>>1) Мозг, в отличие от ЭВМ – очень примитивное устройство.

В>
В>офигеть примитивное устройство, состоящее из десятков миллиардов нейронов, каждый из которых имеет коннекторы с тысячами других

Таки да. Это же однообразные связи однообразных элементов. Где тут сложность?
Вот дерево имеет сложность выше гораздо, в нем нельзя путать местами кору, корни и листья.
А в мозгу от перемены местами нейронов ничего не изменится.
Re[2]: Вопрос разработчикам нейросетей
От: putgut  
Дата: 21.11.21 06:06
Оценка:
Здравствуйте, Умака Кумакаки, Вы писали:


УК>у камней тоже есть сознание, это достаточно очевидно. гуглить панпсихизм.


Как камень осознает себя?
Re[3]: Вопрос разработчикам нейросетей
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 21.11.21 07:24
Оценка: +2
Здравствуйте, putgut, Вы писали:

P>Таки да. Это же однообразные связи однообразных элементов. Где тут сложность?

P>Вот дерево имеет сложность выше гораздо, в нем нельзя путать местами кору, корни и листья.
P>А в мозгу от перемены местами нейронов ничего не изменится.

Нейроны совсем не одинаковы, их куча разных. С чего это ты вообще взял?
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.