G>>Почитайте внимательно. "примеры задач где можно применить НС, но результат будет НЕудовлетворителен." Таких G>примеров вы не приводили. __A>Конеч-ч-но?! Примеры по распознавания образов, прогнозирование, ассоциативная память(частично), управление объектами — все это есть в ресурсах, на которые я указал. Но опять вы их не заетили ...что же ваша воля
Здравствуйте, Gaperton, Вы писали:
G>Бесит, говорите? А можно и посмеятся . Мне вот, к примеру, пришла в голову гениальная идея! А что если применить генетику для обучения нейросети? Это же получится, блин, что крутость нейросетей будет таки умножена на немеряную крутизну генетических алгоритмов! Ультра-турбо-сега-мега-драйв, все инвесторы наши! Назовем результат в честь скромного изобретателя (меня): многослойный Гапертрон.
G>А что? Вот вам правдоподобное объяснение. Нейросети "обучаются" минимизацией функции ошибки методом сопряженного градиента. Этот метод во первых, склонен застревать в локальных минимумах, во вторых очень медленно работает из-за ступенчатого характера функции ошибки (маленький модуль градиента на плоских участках приводит к "пробуксовке"). Ну и в конце концов, требуется дифференцируемость персептрона, из-за чего мы вынуждены применять гладкие финкции в персептронах вместо ступеньки (что делает персептрон менее "персептронистым"), да и расчет самой производной отнимает немало времени.
G>Если мы применим ГА, то убьем всех зайцев сразу. Дифференцируемость не требуется, ну и типа ГА то будет всяко быстрее "сопряженного градиента". Ведь ГА G>1) Модный и современный G>2) Не завязан на градиент, а посему не подвержен пробуксовкам. G>3) Не застревает в локальных минимумах (ну он, типа, имеет шанс оттуда выбраться, для этого есть "мутации" и "скрещивание"). G>4) Ну что они там еще обычто говорят? Ах да, ну ГА же типа это ну совсем как естественный отбор в природе, а посему просто стопудово должно сработать ("Гоги, докажи теорему!" — "Мамой клянусь!" .
G>Вроде здорово должно получится . Вроде как раз та самая ситуация, когда непонятно как решать. Но что-то подсказывает мне, что работать не будет. Совсем. Как раз из-за того, что качество одного умножится на качество другого. Have fun, господа математики!
Я писал подобные алгоритмы в 1995-96 годах (2000 man/hours), программа до сих пор фунционирует (pure assembler). Результаты:
да, таким способом можно решать какие-то отдельные задачи. Общее впечатление: в данном случае неопределенности НС сетей накладываются на неопределенности ГА и для того, чтобы понять, найдено ли решение человек должен сидеть и смотреть результаты в реальном времени, иначе система проскакивает оптимумы и уползает неизвестно куда Специальных методов обучения НС не применялось, обучение шло только от результатов обратной связи с виртуальной средой исполнения, НС связи — весовые все со всеми, алгоритмы мутаций — стандартные, количество типов нейронов — около 30, ГА — поддержка "видов" в среде (расходящиеся виды перестают скрещиватся на определенном этапе), виртуальная среда — не стабильная (изменяющаяся со временем) и т.п.
Существует хороший учебник (издания 197X года) "Введение в кибернетику" (в библиотеках можно найти), там многое хорошо описано о НС и абсрактных алгоритмах. Читайте, очень полезная книга.
Здравствуйте, Jenyay, Вы писали:
J>Для простоты в каждом слое параметры постоянны. Облучаем один раз с одной стороны. Форма — просто "бутерброд". Можно считать бесконечно большой.
Хотя нет. Забыл. Облучаем несколько раз на известных частотах (разных).
Здравствуйте, Аноним, Вы писали:
G>>>Почитайте внимательно. "примеры задач где можно применить НС, но результат будет НЕудовлетворителен." Таких G>примеров вы не приводили. __A>>Конеч-ч-но?! Примеры по распознавания образов, прогнозирование, ассоциативная память(частично), управление объектами — все это есть в ресурсах, на которые я указал. Но опять вы их не заетили ...что же ваша воля
А>Да не, это даже я заетил
проверим наблюдательность к примеру вот на этом! http://www.rsdn.ru/Forum/Message.aspx?mid=332427&only=1mid=332427&only=1
А>А вот эта штука, она что делает?
Иногда полезно почитать, прежде чем спрашивать...
Все что ни происходит — к лучшему!
Re[19]: Нейронный сети
От:
Аноним
Дата:
24.07.03 11:05
Оценка:
Здравствуйте, __Avatar__, Вы писали:
__A>Здравствуйте, Аноним, Вы писали:
G>>>>Почитайте внимательно. "примеры задач где можно применить НС, но результат будет НЕудовлетворителен." Таких G>примеров вы не приводили. __A>>>Конеч-ч-но?! Примеры по распознавания образов, прогнозирование, ассоциативная память(частично), управление объектами — все это есть в ресурсах, на которые я указал. Но опять вы их не заетили ...что же ваша воля
А>>Да не, это даже я заетил __A>проверим наблюдательность к примеру вот на этом! __A>http://www.rsdn.ru/Forum/Message.aspx?mid=332427&only=1mid=332427&only=1
Ну дык а кто кроме тебя мне про это мог рассказать?
А>>А вот эта штука, она что делает? __A>Иногда полезно почитать, прежде чем спрашивать...
О, я прочитал Две вещи не понял, где там про НС и что оно делает.
Ты не мог бы по русски, ну как authorized vizitor, владеющий секретами технологии.
Что значит "The goal of JIGSAW is to create a unified, organised representation of space"?
Но больше всего мне понравилось вот это:
JIGSAW benefits
• Simple integration with other systems • Long life reliability (devices such as robots maintain themselves)
• Self-calibration
• Lower development and maintenance costs using JIGSAW
• Flexibility – works with a variety of data types
Здравствуйте, Аноним, Вы писали:
__A>>проверим наблюдательность к примеру вот на этом! __A>>http://www.rsdn.ru/Forum/Message.aspx?mid=332427&only=1mid=332427&only=1
А>Ну дык а кто кроме тебя мне про это мог рассказать?
__A>>Иногда полезно почитать, прежде чем спрашивать... А>О, я прочитал Две вещи не понял, где там про НС и что оно делает. Оно является демонстративной моделью применеяемых алгоритмов/методов для обработки большого кол-ва
данных в реальном времени(предметы окружающего мира к примеру) и визуализаиии на примере прототипа робота.
НС является частью системы управления роботом!
G>>Почитайте внимательно. "примеры задач где можно применить НС, но результат будет НЕудовлетворителен." Таких G>примеров вы не приводили. __A>Конеч-ч-но?! Примеры по распознавания образов, прогнозирование, ассоциативная память(частично), управление объектами — все это есть в ресурсах, на которые я указал. Но опять вы их не заетили ...что же ваша воля "Каждый видит то, что хочет видеть" — перефразирую изречение скажу. __A>Нет-нет не стоит упоминать, что вы не нашли ничего стоящего — это "вы" не нашли, потому как не стремились найти.Приведеные мною ссылки на критические статьи свидетельствуют о другом!
Супер! Во второй раз уже вам советую перечетать внимательно, с чем ИМЕННО вы спорите. Я ведь с вами целиком и полностью согласен! Вы меня переубедили. От души смеялся, ей богу. Воистину как вы здесь же и написали, "Каждый видит то, что хочет видеть". Ну нельзя же ТАК подставляться! Здесь же типа, серьезный форум!
Здравствуйте, Gaperton, Вы писали:
G>Супер! Во второй раз уже вам советую перечетать внимательно, с чем ИМЕННО вы спорите. Я G>ведь с вами целиком и полностью согласен! Вы меня переубедили. От души смеялся, ей богу. Воистину как вы здесь G>же и написали, "Каждый видит то, что хочет видеть". Ну нельзя же ТАК подставляться! Здесь же типа, серьезный G>форум!
Игра слов — достойное оправдание . Вы ведь прекрасно понимаете о каких задачах и примерах шла речь!
Ну, что же, акцентировать внимание на подобных казусах очень весело, не спорю. Принимая оживленные усмешки вы тем не менее отклоняетесь от темы...очень удачно перевести все в шутку Тем более что решение делемы порядком затянулось!
__A>Возвращаясь к примеру, о распознавании образов, который вы в очередной раз игнорировали непонятно почему . Если качество распознаваемых образов удовлетворительное в сравнении с другими методиками, это ли не повод говорить, что нейросеть в данном случае решает задачу более успешно!?
Гхм Незнание "других методик" есть веский повод вообще ничего не говорить.
G>>Вы же ведете дискуссию невежливо. "вы не потрудились разобраться в теории нейросетей". Уж тогда не обижайтесь, если случайно получите фейсом об тейбл. __A>В очередной раз повторю,я это отметил, возможно в резкой форме, но лишь для того, чтобы вы вместо изысканий недостатков в НС, провели работу и с таким же успехом нашли недостатки и в классических методах. Нет, не стоит подсчитывать, где их больше и где они скерьезнее. Но сам факт наличия изъянов во всем — это аргумент.
Слушаюсь! Вот сейчас прям и побегу проводить работу. Поучите меня еще чего мне делать а чего не делать, а то мне мало.
__A>И вообще наша дискуссия(если можно так назвать) напоминает теннис: подача за подачей, кто же упустит мяч! Если вы поставили цель ни в коем случае не согласиться с мной, то к чему все это?!
Устал я от вас. Ищите себе другого партнера для игры в теннис. Напомню вам, что форумы содзанны для обмена мнениями и открытых обсуждений, а не для того чтобы кто-то с вами соглашался. Адью.
P.S.: На ваше "последнее слово" отвечать все равно не буду, так что не ломайте сильно голову. Take it easy.
Здравствуйте, Jenyay, Вы писали:
J>Здравствуйте, Jenyay, Вы писали:
J>>Для простоты в каждом слое параметры постоянны. Облучаем один раз с одной стороны. Форма — просто "бутерброд". Можно считать бесконечно большой.
J>Хотя нет. Забыл. Облучаем несколько раз на известных частотах (разных).
Жаль. Без полной постановки не могу проанализировать задачу — физику уже забыл намертво.
Ну ГА здесь очевидно применен от безысходности; в конце концов, ГА всяко лучше полного перебора. Это решение задачи "в лоб". То, что он быстро сходится можно объяснить простой формой функции ошибки, что может говорить о том, что закономерности определяющие решение достаточно просты. Это дает надежду найти более эффективное решение, чем ГА, что почти наверняка возможно, но может быть, просто не стоит затрат. Повезло, что можно сказать. Но в другой раз халява может не пройти. NO WARRANTY. Даже на близкой задаче.
А по методам решений обратных задач (куда входит и распознавание образов) есть специальная литература, кстати. И учебные курсы читаются на факультете ВМК МГУ (этим занимается кафедра матфизики) — жесткая хардкорная математика. Только там нет ни слова ни про НС, ни про ГА. И вот мне кажется почему:
Недавно я позвонил в службу спасения с проблемой захлопнувшейся железной двери квартиры, и как вариант предложил им срезать замки на решетках окон (так проще). Знаете, что они сказали? "*Мы* входим в квартиры через *дверь*!". Типа, гордость профессиональная , плевать им на неувязочки, а через окна пусть лохи всякие лезут.
Не то, чтобы я был противник форточек , но я люблю входить через дверь. Есть в этом что-то приятное. И наши математики тоже так думают.
G>Недавно я позвонил в службу спасения с проблемой захлопнувшейся железной двери квартиры, и как вариант предложил им срезать замки на решетках окон (так проще). Знаете, что они сказали? "*Мы* входим в квартиры через *дверь*!". Типа, гордость профессиональная , плевать им на неувязочки, а через окна пусть лохи всякие лезут.
Да, кстати, эти парни вошли через мою железную дверь за три минуты. Воспользовались особенностью замка. Вот так-то!
Тестируем ген, строим функцию ошибки. Дальше ищем ген который будет покроет этот остаток, а не основную функцию. Затем как-то объединяем оба гена. Аналогия с эволюцией в том что выводим не отдельный вид, а симбиоз из нескольких, или один но по отдельным "органам".
Обычный алгоритм ГА конечно формально включает эту стратегию, но на авось. Мы можем накапливать базу фрагментов и собирать решение из них, а не базового алфавита. ГА ведет базу решений — популяцию, но это целые решения, а не фрагменты.
Эта идея навеяна методом нахождения значения функции Аккермана. Это целочисленная рекурсивная функция, обходит огромное дерево и очень ресурсоемкая даже для небольших аргументов. Кто-то придумал кэшировать результаты обхода ветвей и скорость возросла просто катастрофически.
Здравствуйте, Gaperton, Вы писали:
J>>Хотя нет. Забыл. Облучаем несколько раз на известных частотах (разных). G>Жаль. Без полной постановки не могу проанализировать задачу — физику уже забыл намертво.
На самом деле это уже и есть полная.
G>Ну ГА здесь очевидно применен от безысходности; в конце концов, ГА всяко лучше полного перебора.
Такая прога у них была.
G>Это решение задачи "в лоб". То, что он быстро сходится можно объяснить простой формой функции ошибки, что может говорить о том, что закономерности определяющие решение достаточно просты. Это дает надежду найти более эффективное решение, чем ГА, что почти наверняка возможно, но может быть, просто не стоит затрат. Повезло, что можно сказать. Но в другой раз халява может не пройти. NO WARRANTY. Даже на близкой задаче.
А я и не говорю, что ГА для всего подходит. О, вот еще вспомнил применение. Когда-то давно в компьюленте писали, что какой-то парень через ГА вывел раскладку клавы, с которой быстрей печатается, чем с qwerty.
G>А по методам решений обратных задач (куда входит и распознавание образов) есть специальная литература, кстати. И учебные курсы читаются на факультете ВМК МГУ (этим занимается кафедра матфизики) — жесткая хардкорная математика. Только там нет ни слова ни про НС, ни про ГА. И вот мне кажется почему:
Наверняка, те для кого я это писал, про это знают (писал в институте на кафедре антенн). Когда я туда пришел, мне сразу дили библиотеку для ГА (GeneHunter) и сказали, что через ГА работает, т.к. в этой библиотеке есть плагин к екселю, через который им уже кто-то такое писал.
J>>>Хотя нет. Забыл. Облучаем несколько раз на известных частотах (разных). G>>Жаль. Без полной постановки не могу проанализировать задачу — физику уже забыл намертво.
J>На самом деле это уже и есть полная.
Безусловно. Если знать физику, то инфы должно хватить чтобы постройть мат модель. Полной [математической] постановки, я имел в виду.
J> О, вот еще вспомнил применение. Когда-то давно в компьюленте писали, что какой-то парень через ГА вывел раскладку клавы, с которой быстрей печатается, чем с qwerty.
Ну, это вроде как и без ГА понятно и просто Qwerty была специально разработана с целью замедлить печать на старых пишущих машинках где-то лет ~100 назад. А то мотолочки зацеплялись один за другой. Сделано это было так — наиболее часто встречающиеся в текстах буквы разместили в разных концах клавы, подальше от пальцев. Давно известны "быстрые" раскладки, где сделано наоборот — например раскладка Дворака (средний ряд клавиш — "частые" буквы под сильные пальцы).
Здравствуйте, Gaperton, Вы писали:
J>> О, вот еще вспомнил применение. Когда-то давно в компьюленте писали, что какой-то парень через ГА вывел раскладку клавы, с которой быстрей печатается, чем с qwerty. G>Ну, это вроде как и без ГА понятно и просто Qwerty была специально разработана с целью замедлить печать на старых пишущих машинках где-то лет ~100 назад. А то мотолочки зацеплялись один за другой. Сделано это было так — наиболее часто встречающиеся в текстах буквы разместили в разных концах клавы, подальше от пальцев. Давно известны "быстрые" раскладки, где сделано наоборот — например раскладка Дворака (средний ряд клавиш — "частые" буквы под сильные пальцы).
Про это тоже в той же статейки писали. Это я к тому, что ГА еще там применили.
Здравствуйте, Gaperton, Вы писали:
G>Здравствуйте, Slick, Вы писали:
S>>Вопос в тему: а насколько реально сейчас коммерческое применение нейронных сетей?
S>>Т.е. можно ли денег срубить на этом при наличии сопутствующих знаний по С++ и близлежащих технологий? Есть ли IT-конторы серьезно занимающиеся этим вопросом и набирающие специалистов?
S>>Или это пока романтика и на хлеб с маслом ею не заработаешь?
G>К сожалению, это *уже* не романтика. Множество прикладных исследований по всему миру в области нейронных сетей свернуто по причине отсутствия реальной отдачи. Нейронные сети не работают. Все, что можно решить при помощи нейронных сетей либо решается (и обычно гораздо лучше) классическими методами, либо адекватно не решается ни нейросетями ни классикой (тогда "нейросетевики" подгоняют или фальсифицируют результаты). Попробуйте повторить какой-нибудь опубликованный результат — увидите сами.
Акромя знания н.сете надо бы быть несколько математикам чтобы суметь толково адаптровать н.сеть для конкретной задачи. Я не согласен что они не работают у меня все работает. Просто надо применять опубликованные результаты умеючи. Иначе фигня получиться, кто ж тебе будет публиковать все секреты.
Здравствуйте, Supremum, Вы писали:
S>Здравствуйте, Gaperton, Вы писали:
G>>Здравствуйте, Slick, Вы писали:
S>>>Вопос в тему: а насколько реально сейчас коммерческое применение нейронных сетей?
S>>>Т.е. можно ли денег срубить на этом при наличии сопутствующих знаний по С++ и близлежащих технологий? Есть ли IT-конторы серьезно занимающиеся этим вопросом и набирающие специалистов?
S>>>Или это пока романтика и на хлеб с маслом ею не заработаешь?
G>>К сожалению, это *уже* не романтика. Множество прикладных исследований по всему миру в области нейронных сетей свернуто по причине отсутствия реальной отдачи. Нейронные сети не работают. Все, что можно решить при помощи нейронных сетей либо решается (и обычно гораздо лучше) классическими методами, либо адекватно не решается ни нейросетями ни классикой (тогда "нейросетевики" подгоняют или фальсифицируют результаты). Попробуйте повторить какой-нибудь опубликованный результат — увидите сами.
S>Акромя знания н.сете надо бы быть несколько математикам чтобы суметь толково адаптровать н.сеть для конкретной задачи. Я не согласен что они не работают у меня все работает. Просто надо применять опубликованные результаты умеючи. Иначе фигня получиться, кто ж тебе будет публиковать все секреты.
Умеючи-то можно, кто-бы спорил, если задача в принципе может быть решена подбором некоторой аппроксимирующей функции (!).
Одно непонятно, с каких это пор математики перестали публиковать правильные выкладки с целью не выдавать секретов.
Так что становиться, как математику, непонятно, зачем вообще нужно применять нейросеть. Дело в том, что нет никаких, сугубо математических, на то причин, и в то же время есть масса методов, опубликованных со всеми раскрытыми секретами.
Две вещи не понял, где там про НС и что оно делает.
. Вы ведь прекрасно понимаете о каких задачах и примерах шла речь!
Тем более что решение делемы порядком затянулось!
. Если качество распознаваемых образов удовлетворительное в сравнении с другими методиками, это ли не повод говорить, что нейросеть в данном случае решает задачу более успешно!? 
