Здравствуйте, kov_serg, Вы писали:

_>Дык если правила не способствуют ничего и не появится. Что бы возникла "жизнь" нужен подвод энергии и удачные начальные условия.

Если что-либо подобное реализуемо — хотелось бы увидеть. Пока только в фантазиях от людей, которые не имеют практического опыта реализации а знают по играм и фантастическим книгам.

Здравствуйте, Shmj, Вы писали:

S>Такой вопрос к знающим.

Не уверен, что я "знающий" для данной задачи, но много лет ковыряюсь с AI профессионально.

S>Чего хотелось бы:

S>1. Чтобы среда была проще, чем возникающие в ней сущности. К примеру, если среда состоит из 10 тыс. команд а в ней возникают максимальные сущности из 23 команд — это не доказательство повышения сложности. Если же наоборот — среда из 23 команд а сущности имеют 10 тыс. команд — то ОК.

Это запросто. Какие-нибудь "битвы в памяти" или fort-система могут быть сильно проще, чем программы, которые на них крутятся...

S>2. Желательно исключить экспоненциальные рост времени на проверку/отбор. Т.е. если сущность из 10 команд (из 10 возможных) возникает в 10 раз медленнее чем сущность из 9 полезных команд — менее интересно (однако, и такой вариант — можно рассмотреть).

IMHO, тут сильно не хватает какой-то внятной модельной задачи, и определения того, что такое функциональная сложность в рамках этой задачи. А то так трудно рассуждать строго.

Вот тут уже предлагали в качестве такой модели го, например. Если го чем-то не того, то хорошо бы другую модель выбрать и на ней тренироваться


Но в целом, если я верно понял, что ты назвал функциональной сложностью (а может это устоявшийся термин такой, но тогда хорошо бы определение актуальное для этого обсуждения), то могу поделиться опытом, что "функциональная сложность" обычно хорошо повышается генетическими алгоритмами оптимизации.

Так что я думаю, что если подобрать какую-то модельную задачу и простую формальную исп. среду и запустить там генетический алгоритм по оптимизации решения заданной задачи, то сложность получаемых решений будет ограничена только ограничениями исполняющей среды и модельной задачи.

Другое дело, что могут быть качественно отличные сложности, примерно как мощность натуральных и континуума. И тогда качественно повысить сложность, возможно и не возможно
Но тут всё определяется в определение функциональной сложности

Здравствуйте, Erop, Вы писали:

E>Вот тут уже предлагали в качестве такой модели го, например. Если го чем-то не того, то хорошо бы другую модель выбрать и на ней тренироваться

А что, там не упирается в некий лимит, после которого качественно сложность не помогает лучше играть?

E>Но тут всё определяется в определение функциональной сложности

Есть описательное определение: чем сложнее система — тем больше требуется времени на ее проектирование с нуля.

Здравствуйте, Shmj, Вы писали:

S>А что, там не упирается в некий лимит, после которого качественно сложность не помогает лучше играть?

Ну го ограничено само по себе, так что какой-то предел сложности требуемой для решения этой задачи, скорее всего есть. Но я думаю, что в реальных экспериментах он будет достигнут ещё не скоро.
Но предмет обсуждения не ясен

Если го -- плохая модельная задача, для изучения того, что ты называешь "функциональная сложность", то предложи другую.
Я, например, вообще не понимаю, что ты хочешь достичь или понять.

E>>Но тут всё определяется в определение функциональной сложности

S>Есть описательное определение: чем сложнее система — тем больше требуется времени на ее проектирование с нуля.

Это вообще не понятно. Вот если на примере нейросетей, то GAN проще автоэнкодера с параметром или сложнее?

Здравствуйте, Erop, Вы писали:

E>Ну го ограничено само по себе, так что какой-то предел сложности требуемой для решения этой задачи, скорее всего есть. Но я думаю, что в реальных экспериментах он будет достигнут ещё не скоро.

Ну вот, а нужна задача, где нет предела сложности.

E>Но предмет обсуждения не ясен

Предмет простой — это проверка теории эволюции в общем виде. По идее можно задать некие простые правила и в ходе множества итераций из условной амебы получить человека, который все еще будет эволюционировать, только уже в сфере сознания. Если, конечно, эволюция работает без участия такого явление как сознание.

Вот как раз речь об этих правилах.

E>Если го -- плохая модельная задача, для изучения того, что ты называешь "функциональная сложность", то предложи другую.
E>Я, например, вообще не понимаю, что ты хочешь достичь или понять.

Подойдет какое-нибудь соперничество, когда нет предела совершенству.

E>Это вообще не понятно. Вот если на примере нейросетей, то GAN проще автоэнкодера с параметром или сложнее?

Исходить нужно из задачи. Для решения выполнения задачи требуется проектирование системы, которая ее сможет решать. Берете несколько чел. разного уровня и даете им две задачи, с просьбой оценить время на проектирование. Для более сложной задачи (сложной не в реализации а именно функционально сложной) — потребуется больше времени на проектирование.

Но тут есть нюанс — некоторые задачи уже решены или решены частично, по этому нужно учитывать и то время, которое потребовалось на их решение ранее.

Здравствуйте, Shmj, Вы писали:

S>Ну вот, а нужна задача, где нет предела сложности.
Закон перехода количества в качество учит нас, что затея малореальна
Но не ясно что принципиально тут меняет теоретически существующий на практике недостижимый предел.

S>Предмет простой — это проверка теории эволюции в общем виде. По идее можно задать некие простые правила и в ходе множества итераций из условной амебы получить человека, который все еще будет эволюционировать, только уже в сфере сознания. Если, конечно, эволюция работает без участия такого явление как сознание.

Откуда взялся тезис неограниченной сложности людей? Сложность людей, и вообще белковых организмов, ограничена размером, например.

S>Подойдет какое-нибудь соперничество, когда нет предела совершенству.
Что такое "совершенство"? Вообще формальная постановка из рук вон плохая.

S>Исходить нужно из задачи. Для решения выполнения задачи требуется проектирование системы, которая ее сможет решать. Берете несколько чел. разного уровня и даете им две задачи, с просьбой оценить время на проектирование. Для более сложной задачи (сложной не в реализации а именно функционально сложной) — потребуется больше времени на проектирование.

Опять ничего не понял. Сначала речь шла о проектировании разных решений ОДНОЙ И ТОЙ ЖЕ ЗАДАЧИ же?

Вот пример задачи: по имеющемуся набору картинок рукописных цифр (MNIST, например) построить генерилку новых изображений цифр, похожих на реальные. Можно как-то оценить качество генерации. Например коллегия людей не отличает результат от реальных картинок.


Есть два решения -- GAN и автоэнкодер с параметром (или 10 автоэнкодеров). Какое из них сложнее?


S>Но тут есть нюанс — некоторые задачи уже решены или решены частично, по этому нужно учитывать и то время, которое потребовалось на их решение ранее.

Это вообще не понятно. Значит ли это, что множество Мандельброта проще какого-нибудь нового чертежа?

Здравствуйте, Erop, Вы писали:

E>Но не ясно что принципиально тут меняет теоретически существующий на практике недостижимый предел.

А точно ли он не достижим на практике?

S>>Предмет простой — это проверка теории эволюции в общем виде. По идее можно задать некие простые правила и в ходе множества итераций из условной амебы получить человека, который все еще будет эволюционировать, только уже в сфере сознания. Если, конечно, эволюция работает без участия такого явление как сознание.

E>Откуда взялся тезис неограниченной сложности людей? Сложность людей, и вообще белковых организмов, ограничена размером, например.

Система не ограничивается белками. Соперничество между индивидумами не остановилось и для достжиения преимущества приходится все усложнять и усложнять технические решения. Ограничения не видно, то есть не видно вычислительного лимита, в который все упрется и игра закончится (кроме лимита ресурсов).

S>>Подойдет какое-нибудь соперничество, когда нет предела совершенству.
E>Что такое "совершенство"? Вообще формальная постановка из рук вон плохая.

Сорри, под совершенствованием подразумевалось как раз повышение полезной сложности.

E>Опять ничего не понял. Сначала речь шла о проектировании разных решений ОДНОЙ И ТОЙ ЖЕ ЗАДАЧИ же?

Для решения одной и той же задачи — выбираем наиболее простое решение. Да, всегда можно решить задачу более сложным способом — но такие варианты называем бессмысленным усложнением (по этому и подчеркивал — полезное усложнение).

Если взять две разные задачи и спроектировать две системы, которые способны решать эти задачи — то по оценке потраченного на проектирование время мы и делаем вывод о сложности самой системы. При этом сложность реализации, нахождения дорогостоящих компонент — не относится к задачам проектирования, т.е. сложность не повышает.

Для примера — разработка детекторного приемника и телевизора — очевидно, что телевизор имеет сложность выше. Однако выразить математически это не возможно — сложность возникает только применительно к сознанию, а сознание не формализовано.

E>Вот пример задачи: по имеющемуся набору картинок рукописных цифр (MNIST, например) построить генерилку новых изображений цифр, похожих на реальные. Можно как-то оценить качество генерации. Например коллегия людей не отличает результат от реальных картинок.

E>Есть два решения -- GAN и автоэнкодер с параметром (или 10 автоэнкодеров). Какое из них сложнее?

Для проверки делаете вот что:

1. Пишите решением с применением GAN.
2. Пишите аналогичное решение с применением автоэнкодеров.

Смотрите какое решение заняло больше времени. Что заняло больше времени — то и сложнее.

E>Это вообще не понятно. Значит ли это, что множество Мандельброта проще какого-нибудь нового чертежа?

А какую задачу решает множество Мандельброта и можно ли ее решить альтернативным способом?

Здравствуйте, Shmj, Вы писали:

S>Система не ограничивается белками. Соперничество между индивидумами не остановилось и для достжиения преимущества приходится все усложнять и усложнять технические решения. Ограничения не видно, то есть не видно вычислительного лимита, в который все упрется и игра закончится (кроме лимита ресурсов).

При любых ресурсов на сегодняшнем уровне понимания физики невозможно изготовить компьютер размером с солнце, и, тем более, массой с ядро Млечного Пути...
В конце концов доступная часть вселенной тоже конечна. Так что откуда взялся тезис о неограниченности сложности людей я не понимаю.

S>Сорри, под совершенствованием подразумевалось как раз повышение полезной сложности.
Это просто другое название того же мутного понятия.
Слово "совершенство" означает достижение точной нижней грани множества значений какой-то функции потерь. Пока не задашь целевую функцию формально, слово "совершенство" тоже не будет иметь формального смысла...

S>Для решения одной и той же задачи — выбираем наиболее простое решение. Да, всегда можно решить задачу более сложным способом — но такие варианты называем бессмысленным усложнением (по этому и подчеркивал — полезное усложнение).

Опять ничего не понял. Раньше ты говорил примерно так. Мы делаем в разной степени хорошие решалки какой-то конкретной задачи. Т смотрим насколько будет расти сложность решалок, по мере их улучшения. И бывают ли такие среды для формализации решалок/задачи, то можно неограниченно улучшать решалки за счёт неограниченного роста их сложности.
При этом вопросы регуляризации решалок (например, добавление штрафа за сложность в функцию потерь или просто попытки выбрать наиболее простую решалку среди решалок одного уровня качества) не ставился. ИНтересовало просто наличие решалок всё возрастающей сложности, которые всё лучше решают поставленную задачу.

Но теперь ты ушёл от такой постановки и опять не понятно куда.

S>Для примера — разработка детекторного приемника и телевизора — очевидно, что телевизор имеет сложность выше. Однако выразить математически это не возможно — сложность возникает только применительно к сознанию, а сознание не формализовано.

То, что телеприёмник сложнее детекторного легко выразить. Например в телеприёмнике больше элементов, активных элементов, связей и т. д...

E>>Вот пример задачи: по имеющемуся набору картинок рукописных цифр (MNIST, например) построить генерилку новых изображений цифр, похожих на реальные. Можно как-то оценить качество генерации. Например коллегия людей не отличает результат от реальных картинок.

E>>Есть два решения -- GAN и автоэнкодер с параметром (или 10 автоэнкодеров). Какое из них сложнее?

S>Для проверки делаете вот что:

S>1. Пишите решением с применением GAN.
S>2. Пишите аналогичное решение с применением автоэнкодеров.

S>Смотрите какое решение заняло больше времени. Что заняло больше времени — то и сложнее.
У разных команд результат будет разным. Опять же, в любом случае, если с нуля писать, то основное время займёт отладка. Так выйдет, что проще тот, где выч. сложность меньше, так как за тоже время можно сделать больше тестовых прогонов...


S>А какую задачу решает множество Мандельброта и можно ли ее решить альтернативным способом?

Задачу решает алгоритм его построения.
Задача такая: нарисовать интересную математическую картинку.


p. s.


Если вы не будете рассуждать формально, а будете всё время менять постановку задачи, то мне это обсуждение станет совсем неинтересным

Здравствуйте, Shmj, Вы писали:

Несмотря на всю формальную пустоту этого вопроса, есть в нём некоторая филосовская изюминка.

Давайте зададимся каким-нибудь простым определением сложности. Допустим, это будет просто объём программы+данных.

Интуитивно, полезной сложностью мы можем определить минимальную сложность среди всех эквивалентных программ.
К сожалению, это интуитивное определение похоже на Колмогоровскую сложность, поэтому его вычислимость под вопросом.
Вместо этого мы отойдём от перфекционизма, и будем разрешать программам давать неточные решения, и иметь неоптимальную сложность.
Под неточностью здесь понимается способность решить задачу "частично". Давайте отложим формализацию этого "частично" на потом, а пока скажем, что у нас есть функция, которая показывает "качество" полученного решения.
Для отбора программ-кандидатов мы будем использовать функцию полезности: бонус за качество решения, и штраф за сложность.
То есть для программы p мы вводим U(p) = Q(p)-K*C(p), где U — utility, полезность, Q(p) — quality, та самая функция качества, С — complexity — сложность, K — коэффициент штрафа за сложность.
И устраиваем "конкурс" между программами p в поисках победителя.

Вот теперь вопрос: а бывают ли такие задачи (т.е. функции качества), при которых С для победителя не стремится к какому-то пределу?

Простой пример для иллюстрации вопроса: у Яндекса, помнится, была совершенно характерная задача подобного плана. Есть словарь некоего размера — просто список слов.
Задача — написать программу, которая классифицирует подаваемые на вход слова на предмет попадания в словарь. Функцией качества является, очевидно, процент правильных ответов.
Понятно, что мы всегда можем просто запихать весь словарь в программу, добавить к нему простенький код поиска, и получить Q = 1 при C = С(поиск)+С(словарь). Эта программа совершенно точно выиграет у любой программы с большей сложностью, т.к. качество поднимать уже некуда.
Ок, у нас есть кандидат в чемпионы, вместе с гарантией того, что никто более сложный её не заборет.
Можно попробовать применить к словарю какую-нибудь компрессию без потерь; если она поможет — мы получим программу сложностью в C(поиск)+C(декомпрессор)+C(сжатый_словарь), и Q всё ещё равной 1.
Дальше мы можем применять различные виды сжатия с потерями — Q станет сползать к нулю, но C может уменьшаться.
Результат конкурса будет сильно зависеть от K — при каких-то значениях нас устроит более простая программа, которая лажает в половине случаев, а при каких-то баланс наступит при Q=0.98.

Что важно? Что мы заранее знаем, какое решение "идеально". Его некуда улучшать, значит, если у нас есть кандидат с таким решением, то он и задаст предел "полезной сложности" решения.

Аналогичная штука будет у нас при попытке аппроксимировать функцию, заданную множеством точек: мы можем добавлять члены в ряд Тейлора (или Фурье), но примерно после N членов качество аппроксимации N точек расти перестанет.

Связана ли как-то сложность функции-победителя с функцией-проверяющей?
На первый взгляд — да: в наших примерах функция Q должна содержать в себе как минимум весь тот словарь (или значения функции), которые мы хотим аппроксимировать. Победители конкурса будут заведомо не сложнее, чем словарь.

Но это только в том случае, если мы проверяем исключительно "функциональные" свойства. Например, мы можем добавить в функцию Q штраф за время выполнения; и более сложные решения с более удачной асиптотикой начнут выигрывать у более простых. При этом сложность "измерителя времени выполнения" остаётся константой, так что теоретически нам ничто не мешает сравнить между собой две очень-очень сложные функции очень-очень простым кодом.

В любом случае, сложность здесь ограничивается вовсе не сложностью функции Q, а её диапазоном значений.

Для того, чтобы скомпенсировать потенциально бесконечный рост C, надо иметь возможность потенциально бесконечного роста Q. При этом мы, очевидно, не хотим делать критерием саму C или её производные .

Интуитивно кажется, что должна быть такая задача, которую можно решать "неограниченно хорошо". Но пока сформулировать её я не могу.
Если мы введём в способ сравнения участников какую-то игру, то сразу разделяются две ветки: если для игры существует выигрышная стратегия (например, игра в спички), то сразу тупик: реализация этой выигрышной стратегии имеет конечную сложность; выигрывать у неё невозможно по определению. Всё, совершенствоваться некуда.

Если у игры нет стратегии, гарантирующей выигрыш каждый раз, то возможна смешанная стратегия — стохастический выбор из нескольких чистых стратегий.
Нэш доказал, что при использовании смешанных стратегий в некооперативных играх всегда существует равновесие — опять-таки конечное описание смешанных стратегий для каждого из игроков, каждую из которых невозможно улучшить.

Получается, что каким бы маленьким мы ни делали штраф за сложность, никакого неограниченного роста "полезной сложности" не произойдёт, независимо от участия сознания в поиске чемпионов.

Здравствуйте, Sinclair, Вы писали:

S>Несмотря на всю формальную пустоту этого вопроса, есть в нём некоторая филосовская изюминка.

Ни хрена не понял, но прочитал с удовольствием.

Здравствуйте, Sinclair, Вы писали:

S>Давайте зададимся каким-нибудь простым определением сложности. Допустим, это будет просто объём программы+данных.



Тогда просто генерите ПСЧ — и сложность повышается типо. Нет, не об этом.

Во-первых, формального определения сложности нет, о чем я писал выше. Но есть способ ее измерять. Чем больше времени уходит на проектирование системы для решения заданной задачи (при прочих равных) — тем сложнее задача.

Здравствуйте, Erop, Вы писали:

E>При любых ресурсов на сегодняшнем уровне понимания физики невозможно изготовить компьютер размером с солнце, и, тем более, массой с ядро Млечного Пути...
E>В конце концов доступная часть вселенной тоже конечна. Так что откуда взялся тезис о неограниченности сложности людей я не понимаю.

Тут вопрос — а увеличивается ли сложность? Т.е. действительно ли появляются новые функциональные элементы или же просто увеличивается количество однотипных элементов.

S>>Для примера — разработка детекторного приемника и телевизора — очевидно, что телевизор имеет сложность выше. Однако выразить математически это не возможно — сложность возникает только применительно к сознанию, а сознание не формализовано.

E>То, что телеприёмник сложнее детекторного легко выразить. Например в телеприёмнике больше элементов, активных элементов, связей и т. д...

Важно чтобы эти элементы выполняли функцию. Ведь можно к детекторному приемнику подпаять проводок, к которому подключить миллон разных элементов с клубком связей, но они будут выполнять лишь роль антенны. Т.е. еще нужно понимать, выполняют ли элементы какую-нибудь функцию или же просто сделаны для вида.

По этому просто количеством элементов и связей — сложность установить не получится

S>>1. Пишите решением с применением GAN.
S>>2. Пишите аналогичное решение с применением автоэнкодеров.

S>>Смотрите какое решение заняло больше времени. Что заняло больше времени — то и сложнее.
E>У разных команд результат будет разным. Опять же, в любом случае, если с нуля писать, то основное время займёт отладка. Так выйдет, что проще тот, где выч. сложность меньше, так как за тоже время можно сделать больше тестовых прогонов...

Не будет время разным — будет примерно одинаково +-. Разве что если команда уже имеет готовое решение или опыт решения подобных задач, по этому нужно брать с нулевым опытом.

Если получаем +- одинаовые результаты — значит задачи примерно равны. Точное измерение пока выполнить не получится.

S>>А какую задачу решает множество Мандельброта и можно ли ее решить альтернативным способом?

E>Задача такая: нарисовать интересную математическую картинку.

А каким алгоритмом вы будете проверять интересная картинка или нет?

E>Если вы не будете рассуждать формально, а будете всё время менять постановку задачи, то мне это обсуждение станет совсем неинтересным

К сожалению, вопрос сложности завязан на сознание — а все это очень далеко от формализации. Быть может лет через 200 будем иметь формализацию данных понятий.

Здравствуйте, Shmj, Вы писали:

S>Тогда просто генерите ПСЧ — и сложность повышается типо. Нет, не об этом.
Это тоже способ. Запускаем ГСЧ, получаем "программу", замеряем Q и С.
Запускаем второй раз, получаем вторую программу, замеряем Q и С.
Выбираем ту программу, у которой лучше U(). Повторяем.
Это примерно тот подход, который вы критиковали несколько лет назад — попытка получить ДНК длиной в 360 мегабайт случайным перебором.

S>Во-первых, формального определения сложности нет, о чем я писал выше.
Это у вас нет. У меня — есть: я его описал.
S> Но есть способ ее измерять. Чем больше времени уходит на проектирование системы для решения заданной задачи (при прочих равных) — тем сложнее задача.
Вы всё ещё не смогли объяснить, почему изобретение колеса заняло больше времени, чем разработка шаттла.
Один этот факт размазывает вашу идею "сложности" в тонкий блин.

Здравствуйте, Sinclair, Вы писали:

S>Вы всё ещё не смогли объяснить, почему изобретение колеса заняло больше времени, чем разработка шаттла.

Время изобертения шатла = время изобретения колеса + пириод от изобретения колеса до шатла.

Здравствуйте, Shmj, Вы писали:

S>Время изобертения шатла = время изобретения колеса + пириод от изобретения колеса до шатла.
Отлично, я ждал этой реплики
Два уточняющих вопроса:
1. то есть дополнительная сложность шаттла по отношению к колесу меньше, чем сложность собственно колеса?
2. В такой шкале сложности у, скажем, велосипеда и самолёта практически не отличаются — на оба человечеству потребовалось 60000 лет +- доли процента. Вас это не настораживает?

Здравствуйте, Sinclair, Вы писали:

S>1. то есть дополнительная сложность шаттла по отношению к колесу меньше, чем сложность собственно колеса?
S>2. В такой шкале сложности у, скажем, велосипеда и самолёта практически не отличаются — на оба человечеству потребовалось 60000 лет +- доли процента. Вас это не настораживает?

Там нелинейная шкала, по этому пропорциональное отношение вычислить не так просто. Нужно ли вам объяснять что такое нелинейные процессы и почему к ним не применимы пропорции?

Здравствуйте, Shmj, Вы писали:
S>Там нелинейная шкала, по этому пропорциональное отношение вычислить не так просто. Нужно ли вам объяснять что такое нелинейные процессы и почему к ним не применимы пропорции?
Если вы хотите продолжать упорствовать в своих идеях об оценках сложности, то да, придётся объяснять.
Но смысла я не вижу — вы всё равно зайдёте в тупик.

Здравствуйте, Sinclair, Вы писали:

S>Если вы хотите продолжать упорствовать в своих идеях об оценках сложности, то да, придётся объяснять.

Есть линейные процессы а есть нелинейные процессы. К примеру, увеличение популяции микробов в организме — процесс не линейный по времени. А вот процесс испарения воды — процесс линейный.

За одну минуту (условно) микробов становится в 2 раза больше. Но при этом на начальном этапе их стало больше на 10 штук а спустя несколько часов — за ту же минуту стало больше уже на миллион.

И что, теперь скажешь что раз минута в одном случае равно 10 штукам а в другом случае равно 1 млн. штук — то значит рост популяции не привязан ко времени

S>Но смысла я не вижу — вы всё равно зайдёте в тупик.

Смотри не обкакайся.