Здравствуйте, Cyberax, Вы писали:
C>Здравствуйте, gandjustas, Вы писали:
C>>>Но если посмотреть на более простые модели, то... нейронки уж очень хорошо имитируют поведение моска. См.: Alpha Go или https://erikbern.com/2014/11/29/deep-learning-for-chess/ G>>А где там нейронки? C>Функция оценки позиции.
Точно, что-то невнимательно прочитал.
А в чем профит нейросети? Обычная статистика не даст лучший результат?
Здравствуйте, Cyberax, Вы писали:
C>Миллиарда? В моске человека около 80 миллиардов нейронов и 10-50 триллионов синапсов. Сделать такую сеть невозможно пока чисто практически.
Здравствуйте, gandjustas, Вы писали:
N>>Поэтому ГА и популярны в некоторых областях: они непрерывности не требуют.
G>В каких например?
G>Прикол в том, что в природе редко встречаются негладкие или даже разнывные функции. То же самое в области экономики и финансов.
G>Я сходу даже представить себе не могу задачу оптимизации с разрывной функцией.
Зависит от данных. Функции то может и непрерывные но ваших данных не достаточно чтобы эту непрерывность "прочувствовал" обучающий алгоритм. Поэтому при построение моделей надо в первую очередь смотреть на данные, а потом уже обсуждать и пробовать методы.
Вокруг нейроных сетей много разговоров, с появлением deep learning стало еще больше. Но по факту, на инженерных задачах деревья и в частности xgboost дают заметно лучшие результаты. То же самое можно увидеть на Kaggle. Там deep learning чаще всего используется лишь для генерации вспомогательных моделей на стадии ensembling.
Здравствуйте, IncremenTop, Вы писали:
C>>Миллиарда? В моске человека около 80 миллиардов нейронов и 10-50 триллионов синапсов. Сделать такую сеть невозможно пока чисто практически. IT>В мышлении не участвует миллиард.
Да ну? Откуда дровишки?
C>>Но если посмотреть на более простые модели, то... нейронки уж очень хорошо имитируют поведение моска. См.: Alpha Go или https://erikbern.com/2014/11/29/deep-learning-for-chess/ IT>Хорошее слово — имитация.
Ну да. Нейронные сети, однако.
Здравствуйте, gandjustas, Вы писали:
C>>>>Но если посмотреть на более простые модели, то... нейронки уж очень хорошо имитируют поведение моска. См.: Alpha Go или https://erikbern.com/2014/11/29/deep-learning-for-chess/ G>>>А где там нейронки? C>>Функция оценки позиции.
G>Точно, что-то невнимательно прочитал.
G>А в чем профит нейросети? Обычная статистика не даст лучший результат?
Это какая такая статистика? Регрессия штоли?
У нее слишком много ограничений. Результат дает заметно худший чем более современные обучающие методы. Те же нейросети или деревья.
Здравствуйте, gandjustas, Вы писали:
G>Каждый слой НС — умножение вектора на матрицу — непрерывная функция, функция активации — тоже обычно непрерывная.
Это необязательно. Есть нейронки с функциями Хэвисайда, например.
Здравствуйте, gandjustas, Вы писали:
G>>>А где там нейронки? C>>Функция оценки позиции. G>Точно, что-то невнимательно прочитал.
В этой статье тренируется нейронная сеть, которая должна оценивать ход. Затем эта сеть просто применяется для поиска хода простым перебором всех возможных ходов из данной позиции.
G>А в чем профит нейросети? Обычная статистика не даст лучший результат?
Для конкретной практический задачи — часто да. Но смысл в том, что нейронные сети показывают обучаемость, которая достаточно неплохо напоминает биологическую.
Здравствуйте, IncremenTop, Вы писали:
IT>Современные прорывы в нейрофизиологии в большинстве своем заслуга современных технологий. Хотя даже эти прорывы почти не используются в народном хозяйстве.
Вот только что проехался до магазина в автомобиле, которым рулила нейронная сеть. Искусственная нейронная сеть: http://www.computervisionblog.com/2015/03/mobileyes-quest-to-put-deep-learning.html
Здравствуйте, Cyberax, Вы писали:
C>Да ну? Откуда дровишки?
В смысле 80 миллиардов, не миллиард.
Современные компьютеры(Не НС, но все же) уже без проблем выполняют больше операций, чем мозг человека. И это уже было достигнуто еще эдак в 90-м году.
Самый большой мозг вовсе не у человека и главное — не количество, а взаимосвязи. От того, что станет даже 80 миллиардов или даже больше — разум не самозародится.
Здравствуйте, IncremenTop, Вы писали:
C>>Да ну? Откуда дровишки? IT>В смысле 80 миллиардов, не миллиард.
То есть?
IT>Современные компьютеры(Не НС, но все же) уже без проблем выполняют больше операций, чем мозг человека. И это уже было достигнуто еще эдак в 90-м году.
Нет. В мозге около 40-50 триллионов синапсов. Которые в среднем могут до 10 импульсов в секунду давать.
Т.е. нужна скорость порядка 500 триллионов операций в секунду и примерно десятки петабайт памяти для представления связности. Ну и потребуется кардинально другая архитектура вычислительной системы, так как каждый нейрон работает автономно и асинхронно от остальных.
IT>Самый большой мозг вовсе не у человека и главное — не количество, а взаимосвязи.
Вообще-то, кора головного мозга у человека больше, чем у всех остальных животных кроме одного вида китов.
Здравствуйте, Mna, Вы писали:
BDA>> Не понимая, как устроен атом, люди так и не научились трансмутациям, как ни тасовали вещества и условия. BDA>> Однако, добившись какого-то более-менее целостного понимания, свинец превратили в золото (на этом пути свободного преобразования материи еще есть куда стремиться, не беспокойтесь — речь идет об очень маленьких количествах вещества).
Mna>Без волнений: Как превратили, где почитать?
Там экспериментаторы немного схитрили, заменив свинец (lead) висмутом, в котором протонов на один больше, потому, что детектировать атомы золота в такой схеме проще. То есть, сама трансмутация точно такая же, как со свинцом, вопрос в доказательстве успеха.
Вообще-то, я имел в виду эксперимент советских ядерщиков 80-х годов, которые на похожей установке получили те же считанные атомы именно из свинца, о чем советский научпоп не преминул написать, но найти вменяемые сообщения не могу — все «атсрал» забивает. Поэтому, пусть будет в чуть более общей формулировке: «неблагородный металл в благородный».
Здравствуйте, B0FEE664, Вы писали:
BDA>> Однако, добившись какого-то более-менее целостного понимания, свинец превратили в золото
BFE>Свинец? Не ртуть? BFE>В википедии пишут только про ртуть и платину.
Здравствуйте, DemonsInside, Вы писали: DI>Отлично поставленные вопросы! DI>Меня волнуют другие вопросы, например, каким образом можно измерить мощность интеллекта. Есть ли предел у этого значения?
Ну вот на мой взгляд, основная работа разума — это pattern recognition. В широком смысле — то есть охотник выделяет зебру на фоне тростника, а математик находит применение теоремы из одной отрасли науки к совершенно, на первый взгляд, к другой отрасли.
Именно туда направлена основная часть тестов Айзенка.
Тупому человеку надо рассказать анекдот, объяснить анекдот, ещё раз объяснить анекдот, и в итоге сказать "да лан, не парься — он тупо несмешной".
Умному достаточно punchline.
В итоге что мы имеем? Хороший интеллект обнаруживает сложные паттерны и быстро. Например, Швабе наблюдал за Солнцем 17 лет, и заметил циклическую природу уровня солнечной активности. При этом инструментальные наблюдения солнечных пятен велись уже более 200 лет, т.е. теоретически циклы можно было обнаружить и ранее.
Представьте себе, что речь не о пятнах на солнце, а о ценах на нефть, и суперинтеллект способен в реальном времени замечать закономерности, которые обычный разум заметит только через 200 лет наблюдений
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, RiNSpy, Вы писали:
RNS>Вот только построив ИИ на нейронных сетях, этот ИИ навреняка столкнётся с теми же проблемами, что и люди.
Ага. "Антитезис Чёрча": "Недостатки естественного интеллекта являются неотъемлемой частью его достоинств".
RNS>Например, будет сходить с ума, или выматываться; требовать десятилетия на обучение, перестовать нормально обучаться после N лет.
Я опасаюсь даже не таких экстремальных штук, а просто обычных вывертов — типа observer bias, примитивного мистицизма, и прочих "зрительных иллюзий".
RNS>При это так же останется чёрным ящиком, т.е. мы так и не поймём что оно там на самом деле делает и как работает. Потому что, например, сейчас идёт погоня за результатами применения нейронных сетей, а не за пониманием, что эти сети делают.
Тут такая штука: человека изучать очень тяжело. К примеру, есть очень мало исследований мозговой деятельности во время секса — потому, что электроды в мозг втыкать нельзя, а уговорить трахаться в томографе удаётся не каждого. А вот искусственный интеллект пока что юридическими правами не обладает, поэтому можно прикрутить к нему логгирование и изучать вдоль и поперёк
RNS>Основной плюс — можно будет легко копировать. И то, не факт. Может быть, для масштабирования этих сетей, придётся использовать органику, и в результате мы получим ещё одну биологическую систему, которую мы точно так же не сможем читать и копировать, только обучать с нуля.
Да, за одну лёгкость копирования можно отдать половину пунктов в IQ тесте
RNS>Вообщем, не получится ли, что мы просто создадим опять человека, со всеми его проблемами, но только человеком он считаться не будет и можно будет его эксплуатировать (как, скажем, было с неграми в своё время)? Так в чём смысл, когда такой ИИ могли создавать даже первобытные люди, причём наслаждаясь процессом?
Ну вот лично меня интересует два аспекта:
1. Отладка человеческого разума. Т.е. экспериментируя с искусственным разумом, мы можем найти методики обнаружения и исправления сбоев разума естественного.
2. Масштабирование. Результативность интеллекта растёт нелинейно с ростом IQ — как известно, если хороший токарь раза в два эффективнее плохого, то между хорошим программистом и плохим разница уже раз в 10. Если мы сможем получить IQ равный, скажем, 400, то он может оказаться ещё более результативным. Проблема решения сложных задач — в том, что нет возможности эффективно использовать большие коллективы. Один разработчик с IQ400 заменит собой не четырёх IQ-100, а целый отдел.
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Sinclair, Вы писали:
S>Здравствуйте, DemonsInside, Вы писали: DI>>Отлично поставленные вопросы! DI>>Меня волнуют другие вопросы, например, каким образом можно измерить мощность интеллекта. Есть ли предел у этого значения? S>Ну вот на мой взгляд, основная работа разума — это pattern recognition. В широком смысле — то есть охотник выделяет зебру на фоне тростника, а математик находит применение теоремы из одной отрасли науки к совершенно, на первый взгляд, к другой отрасли.
Чем больше я работаю с данными тем больше осознаю первичность данных, и методов их подготовки, а не алгоритмов pattern recognition.
Есть ощущение, что сам pattern recognition у человека может быть вполне себе примитивный. На уровне перцептронов или простейших нейро сетей. А вот умение подбирать и преобразовывать входные данные и менять "loss function" в зависимости от данных — у человека не высоте.
В том же machine learning на подготовку данных и фичь\признаков уходит заметно больше времени и сил чем на обучение модели. Разница между алгоритмами тренировки опять таки не такая уж большая.
Для меня нейронные сети интересны не столько как мощные алгоритмы обучения (обычно бустинг-деревья их легко уделывают) сколько как инструмент способный объединить стадии подготовки данных и тренеровки модели (pattern recognition). Например, хорошо известный https://en.wikipedia.org/wiki/Autoencoder который делает PCA по сути, т.е. готовит данные. Один мой знакомый кандидатскую на эту тему защищал. Говорит, что PCA часто можно заметить в нейро сетях если присмотреться. На работе, в соседней группе на основе диип-лернинга выделяли кросс-фичи (скоро опубликуют статью), которые все такие к подготовке данных имеют большее отношение чем к тренировке модели.
Я это все к тому, что фокусироваться надо на подготовке данных, их представлении, а не алгоритмах. Способности мышления человека тоже надо изучать со стороны данных. Если же мы осознаем как данные представлены в мозгу человек, то сможем применить к ним более мощные компьютерные алгоритмы.
Здравствуйте, D. Petrov, Вы писали:
DP>Чем больше я работаю с данными тем больше осознаю первичность данных, и методов их подготовки, а не алгоритмов pattern recognition.
Ну, есть как бы целый раздел психологии про то, как помочь человеку в обнаружении паттернов. Называется "когнитивная психология".
Но речь не о ней, а о вообще способности выделять закономерности из наблюдений.
DP>Есть ощущение, что сам pattern recognition у человека может быть вполне себе примитивный. На уровне перцептронов или простейших нейро сетей. А вот умение подбирать и преобразовывать входные данные и менять "loss function" в зависимости от данных — у человека не высоте.
Не очень понимаю, что вы имеете в виду. Я говорю о том, что человек способен посмотреть на таблицу атомных весов элементов, и допереть до периодической таблицы, по пути предсказав наличие ещё не открытых элементов.
Какой перцептрон на это способен? Понятно, что для этого пришлось просеять и преобразовать множество данных — ну так это всё часть той же работы мозга.
DP>Я это все к тому, что фокусироваться надо на подготовке данных, их представлении, а не алгоритмах. Способности мышления человека тоже надо изучать со стороны данных. Если же мы осознаем как данные представлены в мозгу человек, то сможем применить к ним более мощные компьютерные алгоритмы.
В этом смысле — да. Потрясает то, что человек уже в полтора года безо всяких проблем понимает, что и ель и берёза — это дерево. Решительно не представляю, как устроено представление "абстрактного дерева" в голове у человека.
Не говоря уже о более абстрактных понятиях — типа "квантовое число" или "тензор".
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
Здравствуйте, Sinclair, Вы писали:
DP>>Есть ощущение, что сам pattern recognition у человека может быть вполне себе примитивный. На уровне перцептронов или простейших нейро сетей. А вот умение подбирать и преобразовывать входные данные и менять "loss function" в зависимости от данных — у человека не высоте. S>Не очень понимаю, что вы имеете в виду. Я говорю о том, что человек способен посмотреть на таблицу атомных весов элементов, и допереть до периодической таблицы, по пути предсказав наличие ещё не открытых элементов. S>Какой перцептрон на это способен? Понятно, что для этого пришлось просеять и преобразовать множество данных — ну так это всё часть той же работы мозга.
Вероятно, что просмотр таблицы и вывод закона был всего лишь элементарной операцией типа "заполни недостающие цифры в ряду: 1, 2, 3, ... 6, 7, ... 10".
Интереснее, как он пришел к такой задаче и из каких фактов исходил. Совсем не обязательно, что эти факты у него появились с целью решения задачи. Но он их смог использовать в решении. Т.е. при решении этой задачи важно не построить супер нейро-сеть, а скорее найти набор этих фактов\фич, из которых решение элементарно выводится относительно простым методом\сетью.
Это аналогия из машин-лернинга — умение находить данные, верно их представлять и извлекать нужные сигналы\фичи определяют 90% успеха. Метод важен всего на 10%.
