Допустим, все процессы в мозгу человека не выходят за рамки классических вычислений — все можно воссоздать на классическом компьютере достаточной мощности (ну или даже классическом+квантовом компе — не важно).
Я привык, что на своем компе имею право запускать любые вычисления и алгоритмы (конечно, если комп. автономен, нет возможности вмешиваться в работу других систем, не являющихся моей собственностью). Это кажется аксиомой.
Но! Если через n лет компы станут достаточно мощными и мы воссоздаем процессы разума — а именно способность страдать, обладать волей — то получаем некий принципиально новый класс вычислений, сам запуск которых приобретает характеристику добра или зла. А именно, если мы заставляем систему страдать против ее воли (запустили такой алгоритм) и разумность данной системы сопоставима с разумностью человека (или даже превосходит его) — то совершаем пытку некой осознанной системы.
Получается, что нужно будет запретить запуск этих алгоритмов особого класса, вводить статью в УК, что даже на автономных системах запускать алгоритмы страдания запрещено и за их запуск — уголовная ответственность. Возможно даже встраивать в каждую систему специальный сопроцессор, который будет анализировать запускаемые алгоритмы и выявлять запрещенные.
Так?
Или же изменять наши понятия о добре и зле — что не любое страдание вопреки воле сложной системы является злом? Тогда какими же будут понятия о добре и зле?
Re: Вычислительные процессы разума - нравственная проблема
S>Но! Если через n лет компы станут достаточно мощными и мы воссоздаем процессы разума — а именно способность страдать
Страдание это не процесс, а ощущения.
Так что все нормально будет.
Re: Вычислительные процессы разума - нравственная проблема
S>Получается, что нужно будет запретить запуск этих алгоритмов особого класса, вводить статью в УК, что даже на автономных системах запускать алгоритмы страдания запрещено и за их запуск — уголовная ответственность.
Ну почти. Представь что ты мог бы жить в мире где примерно от 30% до половины мозга принадлежат тебе, а оставшиеся 50-70% это заранее заготовленное для запуска "посторонних программ" место. Т.е. в мире где каждый человек примерно 70% мощностей тратит не на свои программы. Эти программы могут порождать какое угодно поведение, в том числе невыгодное человеку, включая страдание, аутоагрессию, принятие неоптимальных, и даже самоубийственных решений.
Так вот ты живёшь в таком мире. Когда ты видишь ожесточённое обсуждение какой-то херни во flame.politics, flame.comp, или даже education — это "надмозг" "обдумывет проблему" мозгами участников. Участники спора очень вовлечены и вполне серьёзно обсуждают решения, часто по несколько дней. При этом ни сама проблема, ни, часто, результаты, их напрямую не коснутся. Но удачные ответы на проблему распространятся среди людей (возможно не только по вербальным каналам), и постепенно интегрируются во всё общество.
Вот это вот, прямо текущее обсуждение, которое ты поднял — это попытка "общественного сознания" заранее оценить ближайшие угрозы. Захват ресурсов алгоритмами-конкурентами, управление через искусственно навязанное удовольствие или страдание — это вполне себе реальная угроза, и обсуждая её мы эту угрозу оцениваем.
Моё "вытаскивание деятельности надмозга на поверхность" — это попытка этой штуки осознать себя.
S>Возможно даже встраивать в каждую систему специальный сопроцессор, который будет анализировать запускаемые алгоритмы и выявлять запрещенные.
Обычно человечество решало вопрос через вымирание. То есть кто-то вымрет. А будут это те кто не способен сопротивляться запуску "левых" алгоритмов, или наоброт новые алгоритмы окажутся более сильными и точными чем те которые сформировались эволюционно — это уже малопредсказуемые частности.
Re: Вычислительные процессы разума - нравственная проблема
Здравствуйте, Shmj, Вы писали:
S>Я привык, что на своем компе имею право запускать любые вычисления и алгоритмы (конечно, если комп. автономен, нет возможности вмешиваться в работу других систем, не являющихся моей собственностью). Это кажется аксиомой.
Это не является аксиомой, за это право нужно бороться.
S>Но! Если через n лет компы станут достаточно мощными и мы воссоздаем процессы разума — а именно способность страдать, обладать волей — то получаем некий принципиально новый класс вычислений, сам запуск которых приобретает характеристику добра или зла. А именно, если мы заставляем систему страдать против ее воли (запустили такой алгоритм) и разумность данной системы сопоставима с разумностью человека (или даже превосходит его) — то совершаем пытку некой осознанной системы.
S>Получается, что нужно будет запретить запуск этих алгоритмов особого класса, вводить статью в УК, что даже на автономных системах запускать алгоритмы страдания запрещено и за их запуск — уголовная ответственность. Возможно даже встраивать в каждую систему специальный сопроцессор, который будет анализировать запускаемые алгоритмы и выявлять запрещенные.
S>Так?
Не вижу логики. Почему нужно запрещать пытать ИИ?
S>Или же изменять наши понятия о добре и зле — что не любое страдание вопреки воле сложной системы является злом? Тогда какими же будут понятия о добре и зле?
Ну лично у меня такого понятия изначально нет. В моей системе ценностей защищён исключительно человек. Животные непосредственной защитой не обладают, но т.к. их страдания причиняют нравственные страдания многим хорошим людям, которые видят эти страдания, то на животных немного эта защита тоже распространяется.
Мне совершенно не очевидно, что страдания ИИ будут приносить страдания многим хорошим людям. Я не видел ни одного человека, который проявлял бы сострадание к программе или к компьютеру. Не видел никого, кто призывал бы не грубить Алисе или Сири, а ведь эти системы для обывателя по сути являются тем самым ИИ, который ты хочешь защищать и зачатки сострадания, казалось бы, должны бы начинать проявляться.
Я не утверждаю, что это всё не возможно. Но прямых предпосылок к этому я не вижу.
Скорей всего большинство пытать ИИ не будет, т.к. в этом нет необходимости. Ну а кто-то в рамках экспериментов может быть и будет. Ну и ладно.
Здравствуйте, vsb, Вы писали:
vsb>Это ты придумал, или где-то описана такая идея надмозга, как коллективного сознания? Интересно было бы почитать побольше.
Надмозг — не надмозг, но почитай Юнга про коллективное бессознательное или вокруг.
Еще можно сделать проще: заглянуть к себе в мозги и попытаться оценить, что там твое, а что взято извне. Не думаю, что тебе сразу удастся найти свое. Некоторые ищут всю жизнь.
Можно также, как упрощение, считать что часть твоих(как и моих) мозгов занимают утверждения, идеи, способы давания оценок хорошо/плохо и прочие виды мозгового метаболизма, которые ты разделяешь с некоторым множеством людей. Этих множеств может быть много, они могут пересекаться или нет.
Все это как-то работает на практике, определяет поведение. Не дураки те, кто считает действенной пропаганду, в частности и как пример, значение переписывания истории.
Причем усилиями мозга ты пределов мозга не покинешь, не поднимешься над всем этим.
Re: Вычислительные процессы разума - нравственная проблема
Здравствуйте, Shmj, Вы писали:
S>Или же изменять наши понятия о добре и зле — что не любое страдание вопреки воле сложной системы является злом? Тогда какими же будут понятия о добре и зле?
А как ты узнаешь, что вычисление страдает? Дай определение страдания.
Вот у тебя герой игры на экране погибает трагически, со страданием. Надо запретить?
А теперь страдает киногерой. Запретить? В чем отличия, где граница?
А если животное страдало в хлеву или курятнике, потом на бойне. Или охотник пристрелил. И?
А еще страдают люди. Бывают войны. Никому не приходит в голову запретить войны. По-серьезному, не болтовней.
Если такие вещи про страдания вычислительных систем будут всерьез обсуждаться, то в этом, вероятнее всего, не будет ничего кроме глупости с лицемерием. Недавно мельком слышал, что, кажется, в Германии хотят запретить умерщвлять отбракованных цыплят на птицефермах. При этом прекращать есть мясо никто не собирается. Как это оценивать?
Re[3]: Вычислительные процессы разума - нравственная проблем
vsb>Это ты придумал, или где-то описана такая идея надмозга, как коллективного сознания? Интересно было бы почитать побольше.
Да уже сложно сказать что придумал а что прочитал. Про то что "что-то не так" начал догадываться ещё наверное в школе. Уж очень озадачивали и подвиг "грудью амбразуру закрыть" и школьные разборки "кто кого перетянет — белаз или тепловоз" с последующим выяснением в драке. Очевидно было что в обоих случаях люди отказывались от частных интересов в пользу чужих. Но обобщалка тогда ещё не выросла настолько, чтобы понять что для таких явлений тупо (в самом тупом приближении) "больше нейронов должно голосовать" за "решение общественной задачи" чем за "шкурный интерес, включая выживание".
Когда знаешь куда примерно смотреть — то признаки этой херни становится видно абсолютно везде. Например отшельничество, когда человек уходит в пещеры, и через 5-10 лет возвращается, и все говорят что он стал "просветлённым" — это как раз в изоляции человек пробыл так долго, что части мозга занятые обдумыванием "внешних программ" просто потеряли источник и приёмник "задач", и от безысходности начали решать проблемы человека. Если почитать описание таких людей — то все утверждают что они выглядят очень внимательными, их взгляд проницательный, они реально вслушиваются в слова — это просто потому что они думают о том что здесь и сейчас, а не половиной мозга постоянно перемалывают что-то другое.
Ввязываться в серьёзное доказательство не готов, но, "нутром чую", что медитации и их эффективность тоже проходят близко к этому явлению. Человек у которого совсем пропадает "внутреннее беспокойство" или хотя-бы появляется навык отследить состояние "что-то я дофига загнался", сделать глаза в горизонт вдох-выдох и переключить внимание — становится существенно менее восприимчив к хайповым темам. Такого меньше парят вещи типа "чудовищной несправедливости", "бесправного положения xyz" и прочие бесконечно далёкие от его тушки вещи.
Все легенды про то что человек использует 10-20-30% мозга, которые подаются как факт, несмотря на то что никакая ЭЭГ с МРТ этого не подтверждают. Ну так тут даже из самой фразы заметно: "использует 20%" вообще не тоже самое что "только 20% работает, остальные 80 тупят". Работают все 100, только вот человеку 20. Но опять же человек, половина мозга которого занята — вряд-ли обратит внимание на такой нюанс.
"Маги" у Кастанеды. Когда отбрасываешь мистику — никакого волшебства, просто гиперуспешные люди, которые стали такими пройдя комплекс вполне выполнимых упражнений для "отвязывания разума" от "сущности пожирающей энергию". В книге используются некие "они" и "хищники", хотя я считаю это всё-таки больше "оно", и не хищник, а скорее прошедший естественный эволюционный путь способ группового выживания.
Они действовали куда более эффективно и организованно. Чтобы держать нас в кротости и покорности, они прибегли к изумительному маневру – разумеется, изумительному с точки зрения воина-стратега. С точки же зрения того, против кого он направлен, этот маневр ужасен. Они дали нам свой разум! Ты слышишь? Хищники дали нам свой разум, ставший нашим разумом.
Ну не смогли маги конкретезировать что за сущность "пожирает энергию". А может смогли, но решили что эффективнее будет пугать учеников побольше, чтоб старательнее учились. Да и не так важно им (и мне) это. Главное что их упражнения вполне рабочие, и от них повышается качество жизни.
Это даже в лурке есть. Статья про Хайвмайнд. Другие названия этого по которым можно гулить: эгрегор, "общественное сознание", "коллективное бессознательное", "двухпалатный разум" (подаётся как чуть другое, но кмк это оно же), и так далее.
_>>Моё "вытаскивание деятельности надмозга на поверхность" — это попытка этой штуки осознать себя. vsb>Это ты придумал, или где-то описана такая идея надмозга, как коллективного сознания? Интересно было бы почитать побольше.
Чёт подумалось что возможно я неправильно понял вопрос. Если ты именно про то что "эта штука пытается себя осознать" — то процесс похоже, начался не так давно. "Обретения надмозгом осознанности" получается началось с первых психологов-философов, которые начали задумываться, описывать это явление, и рассказывать о своих выводах другим.
А то что я на них (и себя) повесил ярлык "смотрите, вот тут и тут — это надмозг пытается себя осознать", ну второй уровень рефлексии. Вроде нигде прямым текстом не читал, ну или ЧСВ предпочло забыть где читал Но в конце концов "передачу информации по сторонним каналам" никто не отменял. Более того, вполне возможно, что "надмозг" большую часть информации передаёт между людьми как раз по сторонним каналам. В какой-то степени даже интонация диктора, сообщающего новость по ТВ, может быть хитро модулирована и передавать важность и необходимость "срочно обдумать" или "не рефлексировать, распространить". Так что если принимать гипотезу о надмозге серьёзно, то вообще нельзя быть уверенным что эта, или любая другая идея лично моя, а не надмозговская
Re: Вычислительные процессы разума - нравственная проблема
Здравствуйте, hi_octane, Вы писали:
_>Обычно человечество решало вопрос через вымирание. То есть кто-то вымрет. А будут это те кто не способен сопротивляться запуску "левых" алгоритмов, или наоброт новые алгоритмы окажутся более сильными и точными чем те которые сформировались эволюционно — это уже малопредсказуемые частности.
Вы совсем о другом начали говорить. Не запуск алгоритмов в твоем мозге а запуск твоего мозга на других вычислительных системах.
Re[2]: Вычислительные процессы разума - нравственная проблема
Здравствуйте, vsb, Вы писали:
vsb>Ну лично у меня такого понятия изначально нет. В моей системе ценностей защищён исключительно человек. Животные непосредственной защитой не обладают, но т.к. их страдания причиняют нравственные страдания многим хорошим людям, которые видят эти страдания, то на животных немного эта защита тоже распространяется.
Тут проблемка — что есть человек и его страдания? Если определить только как биологическую систему, в отрыве от ментальных процессов — то любой, заменивший отдельные части своего мозга (или весь мозг) на небиологические вычислительные системы — лишается защиты. Не думаю что это вам же понравится.
В конечном итоге приходим к тому, что человек — это именно его те процессы, которые происходят в его мозге. Именно процессы важны, даже носитель не важен.
Re[2]: Вычислительные процессы разума - нравственная проблема
Здравствуйте, goto, Вы писали:
S>>Или же изменять наши понятия о добре и зле — что не любое страдание вопреки воле сложной системы является злом? Тогда какими же будут понятия о добре и зле?
G>А как ты узнаешь, что вычисление страдает? Дай определение страдания.
Вопрос еще не решен. А вот когда будет решен и такие вычислительные процессы будут определены — и возникнет озвученная выше проблема.
G>А еще страдают люди. Бывают войны. Никому не приходит в голову запретить войны. По-серьезному, не болтовней.
Приходит. Не могут запретить. Пытаются.
G>Если такие вещи про страдания вычислительных систем будут всерьез обсуждаться, то в этом, вероятнее всего, не будет ничего кроме глупости с лицемерием. Недавно мельком слышал, что, кажется, в Германии хотят запретить умерщвлять отбракованных цыплят на птицефермах. При этом прекращать есть мясо никто не собирается. Как это оценивать?
Животных стараются умертвлять с минимумом страданий.
Re[2]: Вычислительные процессы разума - нравственная проблема
Здравствуйте, Homunculus, Вы писали:
S>>Зло — это причинение страданий против воли страдающего. Попробуйте найти исключения.
H>Блуд.
В современном мире ни гомосексуальные связи ни блуд никто злом не считает по одной простой причине — не видят последствий.
А последствия — это как раз те же самые страдания. Просто их не видно сразу.
Последствия блуда — разрушенная психика, невозможность создать крепкую семью. Последствия — страдания детей, т.к. потом дети становятся никому не нужными.
H>Зависть (без действий). H>Гордыня.
Вызывает страдание того, кто завидует.
Перестраивает его психику таким образом, что ему тяжело жить.
H>Чревоугодие.
Еще как страдает потом человек, когда нарушил метаболизм.
H>Все вполне себе добровольно. Да и не всегда это приводит к страданиям. Тем не менее все это зло.
