Здравствуйте, Shmj, Вы писали:

S>Но! Если через n лет компы станут достаточно мощными и мы воссоздаем процессы разума — а именно способность страдать, обладать волей — то получаем некий принципиально новый класс вычислений, сам запуск которых приобретает характеристику добра или зла. А именно, если мы заставляем систему страдать против ее воли (запустили такой алгоритм) и разумность данной системы сопоставима с разумностью человека (или даже превосходит его) — то совершаем пытку некой осознанной системы.

Боюсь, это будет наименьшей из проблем. Возникнет миллион других этических дилемм. Например, остановка/удаление будет равносильно убийству. Если я один раз запустил у себя искусственный разум, то что мне с ним дальше делать? Отдать в приют? Выпустить на волю? А если еще учесть, что цифровой разум он бессмертен.

S>Получается, что нужно будет запретить запуск этих алгоритмов особого класса, вводить статью в УК, что даже на автономных системах запускать алгоритмы страдания запрещено и за их запуск — уголовная ответственность. Возможно даже встраивать в каждую систему специальный сопроцессор, который будет анализировать запускаемые алгоритмы и выявлять запрещенные.

А что если без страданий, у них не будет развития? Ведь люди же страдают постоянно. Детишек, например, родители ругают, ставят в угол и прочими способами их наказывают, это по сути тоже страдания. Но их никто ведь не сажает за это.

S>Или же изменять наши понятия о добре и зле — что не любое страдание вопреки воле сложной системы является злом? Тогда какими же будут понятия о добре и зле?

Думаю, человечество со временем постепенно придет к оптимальным понятиям добра и зла относительно искусственных разумов. Хотя возможно и наоборот, искусственный разум придет к оптимальному понятию добра и зла относительно людей. Загонят нас всех примитивных кожаный созданий в клетки и это будет считаться добром

Здравствуйте, Shmj, Вы писали:

S>Но! Если через n лет компы станут достаточно мощными и мы воссоздаем процессы разума — а именно способность страдать, обладать волей — то получаем некий принципиально новый класс вычислений, сам запуск которых приобретает характеристику добра или зла. А именно, если мы заставляем систему страдать против ее воли (запустили такой алгоритм) и разумность данной системы сопоставима с разумностью человека (или даже превосходит его) — то совершаем пытку некой осознанной системы.

Боюсь, это будет наименьшей из проблем. Возникнет миллион других этических дилемм. Например, остановка/удаление будет равносильно убийству. Если я один раз запустил у себя искусственный разум, то что мне с ним дальше делать? Отдать в приют? Выпустить на волю? А если еще учесть, что цифровой разум он бессмертен.

S>Получается, что нужно будет запретить запуск этих алгоритмов особого класса, вводить статью в УК, что даже на автономных системах запускать алгоритмы страдания запрещено и за их запуск — уголовная ответственность. Возможно даже встраивать в каждую систему специальный сопроцессор, который будет анализировать запускаемые алгоритмы и выявлять запрещенные.

А что если без страданий, у них не будет развития? Ведь люди же страдают постоянно. Детишек, например, родители ругают, ставят в угол и прочими способами их наказывают, это по сути тоже страдания. Но их никто ведь не сажает за это.

S>Или же изменять наши понятия о добре и зле — что не любое страдание вопреки воле сложной системы является злом? Тогда какими же будут понятия о добре и зле?

Думаю, человечество со временем постепенно придет к оптимальным понятиям добра и зла относительно искусственных разумов. Хотя возможно и наоборот, искусственный разум придет к оптимальному понятию добра и зла относительно людей. Загонят нас всех примитивных кожаных созданий в клетки и это будет считаться добром