Здравствуйте, Shmj, Вы писали:

S>Я привык, что на своем компе имею право запускать любые вычисления и алгоритмы (конечно, если комп. автономен, нет возможности вмешиваться в работу других систем, не являющихся моей собственностью). Это кажется аксиомой.

Это не является аксиомой, за это право нужно бороться.

S>Но! Если через n лет компы станут достаточно мощными и мы воссоздаем процессы разума — а именно способность страдать, обладать волей — то получаем некий принципиально новый класс вычислений, сам запуск которых приобретает характеристику добра или зла. А именно, если мы заставляем систему страдать против ее воли (запустили такой алгоритм) и разумность данной системы сопоставима с разумностью человека (или даже превосходит его) — то совершаем пытку некой осознанной системы.

S>Получается, что нужно будет запретить запуск этих алгоритмов особого класса, вводить статью в УК, что даже на автономных системах запускать алгоритмы страдания запрещено и за их запуск — уголовная ответственность. Возможно даже встраивать в каждую систему специальный сопроцессор, который будет анализировать запускаемые алгоритмы и выявлять запрещенные.

S>Так?

Не вижу логики. Почему нужно запрещать пытать ИИ?

S>Или же изменять наши понятия о добре и зле — что не любое страдание вопреки воле сложной системы является злом? Тогда какими же будут понятия о добре и зле?

Ну лично у меня такого понятия изначально нет. В моей системе ценностей защищён исключительно человек. Животные непосредственной защитой не обладают, но т.к. их страдания причиняют нравственные страдания многим хорошим людям, которые видят эти страдания, то на животных немного эта защита тоже распространяется.

Мне совершенно не очевидно, что страдания ИИ будут приносить страдания многим хорошим людям. Я не видел ни одного человека, который проявлял бы сострадание к программе или к компьютеру. Не видел никого, кто призывал бы не грубить Алисе или Сири, а ведь эти системы для обывателя по сути являются тем самым ИИ, который ты хочешь защищать и зачатки сострадания, казалось бы, должны бы начинать проявляться.

Я не утверждаю, что это всё не возможно. Но прямых предпосылок к этому я не вижу.

Здравствуйте, Shmj, Вы писали:

S>Я привык, что на своем компе имею право запускать любые вычисления и алгоритмы (конечно, если комп. автономен, нет возможности вмешиваться в работу других систем, не являющихся моей собственностью). Это кажется аксиомой.

Это не является аксиомой, за это право нужно бороться.

S>Но! Если через n лет компы станут достаточно мощными и мы воссоздаем процессы разума — а именно способность страдать, обладать волей — то получаем некий принципиально новый класс вычислений, сам запуск которых приобретает характеристику добра или зла. А именно, если мы заставляем систему страдать против ее воли (запустили такой алгоритм) и разумность данной системы сопоставима с разумностью человека (или даже превосходит его) — то совершаем пытку некой осознанной системы.

S>Получается, что нужно будет запретить запуск этих алгоритмов особого класса, вводить статью в УК, что даже на автономных системах запускать алгоритмы страдания запрещено и за их запуск — уголовная ответственность. Возможно даже встраивать в каждую систему специальный сопроцессор, который будет анализировать запускаемые алгоритмы и выявлять запрещенные.

S>Так?

Не вижу логики. Почему нужно запрещать пытать ИИ?

S>Или же изменять наши понятия о добре и зле — что не любое страдание вопреки воле сложной системы является злом? Тогда какими же будут понятия о добре и зле?

Ну лично у меня такого понятия изначально нет. В моей системе ценностей защищён исключительно человек. Животные непосредственной защитой не обладают, но т.к. их страдания причиняют нравственные страдания многим хорошим людям, которые видят эти страдания, то на животных немного эта защита тоже распространяется.

Мне совершенно не очевидно, что страдания ИИ будут приносить страдания многим хорошим людям. Я не видел ни одного человека, который проявлял бы сострадание к программе или к компьютеру. Не видел никого, кто призывал бы не грубить Алисе или Сири, а ведь эти системы для обывателя по сути являются тем самым ИИ, который ты хочешь защищать и зачатки сострадания, казалось бы, должны бы начинать проявляться.

Я не утверждаю, что это всё не возможно. Но прямых предпосылок к этому я не вижу.

Скорей всего большинство пытать ИИ не будет, т.к. в этом нет необходимости. Ну а кто-то в рамках экспериментов может быть и будет. Ну и ладно.