Здравствуйте. Поиск поюзал, нашел много тем и разговоров касательно нейронных сетей, почитал, кое-что поучил. Стало интересно, хочу двигаться в этом направлении, че-то попрограммить с сетками.
Столкнулся с вопросами, на которые или соображалки не хватает или ен знаю что... В общем.
Вопрос про архитектуру сети. Какую архитектуру сети выбирать? Я имею ввиду не то, что там с обратным распространением ошибки или еще что-то, а именно сколько брать слоев с нейронами и по сколько нейронов на каждом слое поместить. И еще — какие нейроны с какими соединять? Все со всеми? Или как это расчитывается? Ну я знаю сколько входов и выходов должно быть у сети (это от задачи зависит), а вот между входным и выходным слоем — что и сколько?
Вопрос про обучение сети. Я знаю что у каждого нейрона есть такие вещи как порог активации, веса всех его входов, выходы. Только я не могу понять — каким образом менять эти параметры при обучении сети? Есть предположение, что начинать менять все значения по чуть-чуть и таким образом перебрать все комбинации, но это будет огроменное количество итераций для поиска всего одного решения из обучающих данных. И еще... вот я меняю постепенно веса, например, и вот наткнулся на комбинацию, где величина ошибки стала меньше предыдущей. Что делать с этими значениями? Сохранить где-то как промежуточный успешный результат? Или как? — ведь изменение следующего какого-либо параметра может увеличить величину ошибки и она станет больше чем была прошлая якобы успешная....
В общем копошусь в этом, че-то читаю, думаю... Хотелось бы еще информации получить, более похожую на практический пример step-by-step или какой более-менее обобщенный алгоритм. Ну или близко к тому. Может, как вы начинали, с чего? Какие были ваши первые сети и что они делали? Как они обучались? Интересует все, т.к. тяга к этой теме появилась большая, хочу в этом покопаться и застрял
Кто что думает по данной теме? Спасибо заранее всем откликнувшимся, за любую информацию и мысли.
Выскажу своё полулюбительское мнение.
Сейчас работа с нейросетями похожа на шаманство с большим количеством частных рекомендаций.
Выбор архитектуры (персептронные сети, Хопфилда и т.д.) зависит от цели построения нейросети. Для задач распознавания подходят больше такие, для прогнозирования другие... Но не факт, что эти рекомендации будут оптимальны. Количество слоёв и нейронов в них тоже указывается, но на практике подбирается эмпирически. Книга Саймон Хайкин "Нейронные сети. Полный курс" содержит самый полный обзор всевозможных архитектур.
Алгоритм обучения сети зависит от архитектуры. Так как ищется минимум целевой функции, то обучение — это частный случай многопараметрической оптимизации. Чаще всего описывают метод обратного распространения ошибки для персептронной сети — это градиентный метод, который ищет локальные минимумы. Можно и полный перебор устроить, но будет очень медленно. Зачастую, для обучения используют генетические алгоритмы. С помощью них можно и архитектуру сети подбирать (видел где-то статью по этому поводу).
Короче говоря, чаще всего отталкиваются от задачи.
>>а именно сколько брать слоев с нейронами и по сколько нейронов на каждом слое поместить.
Этот вопрос в теории до сих пор не решен. Абсолютно четкая Road-map отсутствует.
Часто число слоев и нейронов увеличивают, если сеть "перестает" обучаться или обучается медленно.
Однако, добавление слоев или кол-ва нейронов неизбежно ведет к необходимости переобучения сети, что само по-себе отнимает не мало времени (ресурсоемко).
В некоторых работах предполагается для определения оптимального количества слоев в нейросети использовать другую нейросеть
Здравствуйте, vit0s, Вы писали:
V>В общем копошусь в этом, че-то читаю, думаю... Хотелось бы еще информации получить, более похожую на практический пример step-by-step или какой более-менее обобщенный алгоритм. Ну или близко к тому. Может, как вы начинали, с чего? Какие были ваши первые сети и что они делали? Как они обучались? Интересует все, т.к. тяга к этой теме появилась большая, хочу в этом покопаться и застрял V>Кто что думает по данной теме? Спасибо заранее всем откликнувшимся, за любую информацию и мысли.
Как человевек, обучавшийся на кафедре нейрокомпьютеров, могу заверить, что "слабать на коленке" нейросеть просто так не получится.
Во-первых — это прежде всего математика, а не программирование. Поэтому нужно обладать довольно таки не плохим мат.аппаратом.
Во-вторых, о чём уже говорилась, для каждого класса задач есть устоявшиеся "архитектуры" сетей и изобретение своих архитектур дело бесполезное, пока не получен значительный практческий опыт. Т.о. нужно иметь доступ к литературе (материалы конференции и заслуженные талмуды), чтобы не тратить в пустую уйму времени.
И в-третьих, самое главное, мало сделать сеть. Нужно суметь построить обучающие и тестовые выборки и научиться анализировать результаты обучения, т.е искать где проблема: в неполных/недостаточных/избыточных обучающих данных, в слишком большом/малом количестве нейронов/слоёв, в алгоритме обучения, в неудачных функциях активации и т.д. Ошибка может быть на любом уровне и, чтобы её найти, нужно обладать чутьём, которое приходит только с практическим опытом (и сильной математикой).
Если интересна тема, предлагаю почитать любую книгу, где есть достаточно полно описанные сети, и реализовать их напрактике потыкавшись во все проблемы носом. И если понравится, то идти потом в гости к Галушкину А.И. Он даст много пищи для размышлений
Здравствуйте, NotGonnaGetUs, Вы писали:
NGG>И в-третьих, самое главное, мало сделать сеть. Нужно суметь построить обучающие и тестовые выборки и научиться анализировать результаты обучения, т.е искать где проблема: в неполных/недостаточных/избыточных обучающих данных, в слишком большом/малом количестве нейронов/слоёв, в алгоритме обучения, в неудачных функциях активации и т.д. Ошибка может быть на любом уровне и, чтобы её найти, нужно обладать чутьём, которое приходит только с практическим опытом (и сильной математикой).
А если речь идёт о задаче классификации, то результат всегда один -- послать нейросети нафиг
IMHO, намного прямее просто взять и нарисовать области соответсвующие тем или иным решениям в пространстве признаков.
NGG>Если интересна тема, предлагаю почитать любую книгу, где есть достаточно полно описанные сети, и реализовать их напрактике потыкавшись во все проблемы носом.
+1
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Здравствуйте, Erop, Вы писали:
E>Здравствуйте, NotGonnaGetUs, Вы писали:
NGG>>И в-третьих, самое главное, мало сделать сеть. Нужно суметь построить обучающие и тестовые выборки и научиться анализировать результаты обучения, т.е искать где проблема: в неполных/недостаточных/избыточных обучающих данных, в слишком большом/малом количестве нейронов/слоёв, в алгоритме обучения, в неудачных функциях активации и т.д. Ошибка может быть на любом уровне и, чтобы её найти, нужно обладать чутьём, которое приходит только с практическим опытом (и сильной математикой).
E>А если речь идёт о задаче классификации, то результат всегда один -- послать нейросети нафиг
E>IMHO, намного прямее просто взять и нарисовать области соответсвующие тем или иным решениям в пространстве признаков.
Не всегда. Существует довольно много методов классификации для линейно разделимых классов: boosting, SVM и т.п. Когда разделить классы гиперплоскостью невозможно, придумывают различные ухищрения, вроде ядрового преобразования в SVM. Данный подход успешно применяется для бинарной классификации (человек/не человек, лицо/не лицо). А более сложные классификаторы не на нейросетях мне не известны. Если кто знает — скажите, буду благодарен, тема интересная.
Преимущество нейросетей для классификации в том, что в общем случае возможно разделить сколь угодно сложные "переплетения" классов.
Например, предсказание курсов валют и акций зачастую сводят к классификации с помощью нейросетей. Закономерность эмпирически уловить практически невозможно (в отличие от классификации тех же символов). А с нейросетями есть шанс, что искомая закономерность будет автоматически "понята" сетью.
Но эта работа не для слабых духом
P.S. Я уже несколько раз бросал и возвращался к нейросетям при решении различных задач. Покупал и продавал книги по ним. Пока все опыты были не очень удачными.
Здравствуйте, Nuzhny, Вы писали:
N>Преимущество нейросетей для классификации в том, что в общем случае возможно разделить сколь угодно сложные "переплетения" классов. N>Например, предсказание курсов валют и акций зачастую сводят к классификации с помощью нейросетей. Закономерность эмпирически уловить практически невозможно (в отличие от классификации тех же символов). А с нейросетями есть шанс, что искомая закономерность будет автоматически "понята" сетью.
Вообще-то нет, вот твой опыт, например, тому доказательство
N>Но эта работа не для слабых духом
N>P.S. Я уже несколько раз бросал и возвращался к нейросетям при решении различных задач. Покупал и продавал книги по ним. Пока все опыты были не очень удачными.
В целом смотри, что у нас происходит:
1) Мы вычисляем по классифицируемому объекту входы сети. То есть, фактически, сводим задачу к классификации точек конечномерного пространства.
Теперь всё, что нам надо -- нарисовать в нём нужные нам классы, возможно с учётом плотности, а возможно и нет. Не суть.
При этом, описать геом. место точек класса можно намного прямее, чем сетью. Скажем опорными векторами (в класс входит всё, что ближе к одному из его опорных векторов, чем к опорным векторам других классов, и ближе порога). Или просто как-то распределение аппроксимировать.
Можно две обучающие выборки сделать -- идеальных образцов и образцов "на грани", тогда можно легко сделать для разных точек разную "плотность" класса. Типа "на грани" будут граничные значения качества, а "внутри" большие и уверенные.
Если у тебя есть какие-то кластера, то их можно как-то анализировать, например изучать их форму и диаметр. Если есть точки, которые далеко от всех коастеров, можно пытаться уточнять класстеризацию, или искать ещё такие точки, чтобы образовать новый класстер или ещё чего делать.
Если же классы сильно перепутаны, то можно расширятьпрстранство признаков. В принципе довольно легко детектируется что надо делать -- расширятьпространство признаков или крутить коасстеризацию или решающее правило.
А с нейросетью что делать не понятно
При этом нейросеть тоже задаёт тебе всего лишь геомместо классов в том же самом пространстве признаков. Просто делает это неудобным для анализа способом. Единственное преимущество нейросети -- это возможность эффективного паралелльного вычисления. Но на компе ты же всё равно этим преимуществом не пользуешься? Мало того, если бы я железку делал, на сети основанную, то я бы изучил какой нейрон я могу родить, и потом понял бы какому способу описания геомместа класса в пространстве это соответсвует, дальше бе на геом. местах отладился и настрился, а потом оттранслировал бы эти геомместа в железную сеть...
А так, с кондачка, возня с сетями -- это всё фуфел, на самом деле. Например, я знаю изнутри несколько промышленных распознавалок чего попало. Все не на сетях
Впрочем это и не удивительно...
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Здравствуйте, Sergey Chadov, Вы писали:
SC>Практически для любой задачи существует более эффективное частное решение, чем нейросеть. Только оно не всегда известно
Дополню твою лемму.
AFAIK, Для задач, для которых эффективное решение не через нейросеть не известно оно не известно и через нейросеть
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Здравствуйте, Erop, Вы писали:
E>Вообще-то нет, вот твой опыт, например, тому доказательство
Мой опыт — это скорее признак недостаточной настойчивости и знаний. Или слабости духа
Говоря "в общем случае", я имел в виду строгое математическое доказательство принципиальной возможности разделения с помощью нейросети. Не помню как оно (доказательство) называется, но точно помню, что видел его где-то.
С остальным спорить не буду, так как мой неудачный опыт не даёт мне морального права этого делать.
Здравствуйте, Nuzhny, Вы писали:
N>Говоря "в общем случае", я имел в виду строгое математическое доказательство принципиальной возможности разделения с помощью нейросети. Не помню как оно (доказательство) называется, но точно помню, что видел его где-то.
Чушь это всё. Если по сети можно различить, то и по геомместам можно, только анализировать удобнее.
А если по геомместам нельзя различить, то и сеть ничего тебе не даст...
Это, собственно и есть твоё "доказательство"
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
E>IMHO, намного прямее просто взять и нарисовать области соответсвующие тем или иным решениям в пространстве признаков.
Не надо быть столь котегоричным.
Есть класс задач (довольно широкий), хорошо решаемый "обычными" методами. Применять для их решения нейросети — дикость.
Однако есть задачи
— упирающиеся в NP-полноту
— слабо формализируемые
— не имеющие точного решения
Например, управление электрическими доменными печами (управляется глубина погружения электрода, если не ошибаюсь). Эти штуки жгут электричества на такие суммы рублей, что экономия в 1% даст значительную экономическую выгоду. Управляются какими-то примитивными датчиками на основе правил. А чтобы эффективно управлять печью, нужно знать такую уйму параметров и написать столько уравнений, что надежд на их решение нет Один анализ только, чем можно пренебречь в расчётах, а чем нет, достоин пары лет труда толпы учёных.
Как решать такие задачи? Фактически нужно найти функцию, которая связывает входные и выходные данные.
НС — это, своего рода, "универсальная" функция. Как настроим веса — такая и будет функция.
Плюс в том, что для настройки весов достаточно задать только общее направление (алгоритм обучения), а дальше "всё само сделается".
Методов построенных по тому же принципу уйма (те же генетические алгоритмы). Но в отличии от них, у НС значительно меньше потенциальных ограничений (вид функции, доказуемость обучаемости и т.д.) и есть уйма железа цена на которое значительно упала по сравнению с прошлым (что, кстати, и вызвало повышенный интерес к НС-м в последние годы).
Тут ситуация как с ФЯ: уйма потенциальных возможностей (хорошая мат.база, просторы для оптимизации компиляторов) и мало практических реализаций, могущих конкурировать с традиционными подходами (императивными языками)
Поглядим, глядишь и выстрелят ещё из этой пушки на весь мир.
Будь я жителем столицы не обременённым жилищными и материальными проблемами, то остался бы в науке и двигал нейросети у нас в стране
E>>IMHO, намного прямее просто взять и нарисовать области соответсвующие тем или иным решениям в пространстве признаков.
NGG>Есть класс задач (довольно широкий), хорошо решаемый "обычными" методами. Применять для их решения нейросети — дикость. NGG>Однако есть задачи NGG>- упирающиеся в NP-полноту NGG>- слабо формализируемые NGG>- не имеющие точного решения
NGG>Например, управление электрическими доменными печами (управляется глубина погружения электрода, если не ошибаюсь). Эти штуки жгут электричества на такие суммы рублей, что экономия в 1% даст значительную экономическую выгоду. Управляются какими-то примитивными датчиками на основе правил. А чтобы эффективно управлять печью, нужно знать такую уйму параметров и написать столько уравнений, что надежд на их решение нет Один анализ только, чем можно пренебречь в расчётах, а чем нет, достоин пары лет труда толпы учёных.
Это не совсем задача классификации IMHO...
Кроме того, я что-то сильно не уверен, что и в этой задаче НС--оптимальное решение...
IMHO единственный плбюс НС -- возможность прямой аппаратной реализации. Но в этом примере с выч. мощностью проблем как раз никаких. Сколько будет стоить устройство управления пофиг.
Ну а что касается самих принципов управления, то я бы в изучение физики и химии процессов вкладывался тут, и в их моделирование, а не в НС...
NGG>Будь я жителем столицы не обременённым жилищными и материальными проблемами, то остался бы в науке и двигал нейросети у нас в стране
Ну все так говорят, а ты вот купи баян!
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Здравствуйте, vit0s, Вы писали:
V>Кто что думает по данной теме? Спасибо заранее всем откликнувшимся, за любую информацию и мысли.
Обычно молодых людей привлекает в НС то, что мозг работает по такой же схеме (якобы), соответственно они мечтают что НС хорошо подходят для создания ИИ, либо для более мощных и интеллектуальных систем, чем придумывание алгоритмов. Если кого-то обманула аналогия с человеческим мозгом, говорю сразу, строить искусственный интеллект НС не помогают никаким боком
НС это всего лишь аппроксимация. В ВУЗе изучается аппроксимация статистических данных рядом тейлора или полиномами. Это более сложный случай того же самого. По сути, НС — это сверхсложная функция типа выходы = F(коэффициенты, входы), типичный подход математиков свести любую задачу к y=f(x), и не более того. Замените F на многочлен или ф-ю тейлора, все станет понятно. «Обучением» называется подбор коэффициентов, чтобы на тестовых данных тестовые входы сошлись с тестовыми выходами. «Обучение» возможно, если задача может быть аппроксимирована заданной функцией, и нет, если не может. Поэтому для каждого класса задач есть свои архитектуры сетей: другая архитектура = другая функция, которая лучше или хуже подходит.
E>>>IMHO, намного прямее просто взять и нарисовать области соответсвующие тем или иным решениям в пространстве признаков.
E>Это не совсем задача классификации IMHO...
Не берусь утверждать, что ваши результаты плод слабых познаний в НС, но и довериться им тоже не могу. Поэтому оставим эту тему в покое, оставшись при своих мнениях
То, что управление печью не задача классификации согласен полностью. Я просто пытался показать, что потенциально есть задачи, которые "классическими" методами решаются не лучше, чем НС, а местами даже хуже.
E>Ну а что касается самих принципов управления, то я бы в изучение физики и химии процессов вкладывался тут, и в их моделирование, а не в НС...
Если бы любые физические уравнения имели решение, то — да. А на практике — полный бесполезняк.
E>Ну все так говорят, а ты вот купи баян!
Ага. Выбор сделан, а после драки кулаками не машут
кстати для функций имеющих разрывы НС работать будет паршиво и обучить её будет сложно.
А вообще программировать НС, можно и не программировать, есть отличнейшая библиотека libFANN.
Здравствуйте, NotGonnaGetUs, Вы писали:
NGG>Если бы любые физические уравнения имели решение, то — да. А на практике — полный бесполезняк.
AFAIK, промоделировать можно всё, кроме очень жёстких (например турбулентных) задач.
Ну а имея адекватную действующую мат. модель можно уже и систему управления виртуально поотлаживать...
А сто значит выделенное?
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Здравствуйте, Erop, Вы писали:
NGG>>Если бы любые физические уравнения имели решение, то — да. А на практике — полный бесполезняк.
E>AFAIK, промоделировать можно всё, кроме очень жёстких (например турбулентных) задач. E>Ну а имея адекватную действующую мат. модель можно уже и систему управления виртуально поотлаживать...
А печка и есть такая "жёсткая" модель.
E>А сто значит выделенное?
Для создания модели используются физические законы, которые приводят к написанию уравнений описывающих систему.
Эти системы не всегда имеют решения, подтверждением чему служит задача трёх тел из астрономии.
Более того, не всегда доступны все необходимые данные. Н-р, печка не позволяет собрать полную информацию о распределении плотности руды, её составе и температуре в момент времени, когда нужно принимать решение.
Здравствуйте, NotGonnaGetUs, Вы писали:
NGG>То, что управление печью не задача классификации согласен полностью. Я просто пытался показать, что потенциально есть задачи, которые "классическими" методами решаются не лучше, чем НС, а местами даже хуже.
Если входные данные настолько рандомны, что нет закономерностей для использования в решении классическими методами, то и сама НС не сможет их найти, а если она-таки нашла, то это можно проанализировать и в будущем создать метод, или алгоритм, который будет работать не хуже.
Если говорить о сиюминутном моменте, когда инженеру надо решить задачу ко вчера, то да, есть задачи где НС нет альтернативы. Но с точки зрения ученого, НС не открывают никакого особого класса задач, которые не решались бы аналитически; даже если сегодня справляется только НС, завтра может быть создан алгоритм.
Может НС и могут «выстрелить» в конкретных прикладных областях, но никакого потенциала организовать новую эру, новые модели вычислений я в них не вижу вообще. Им как минимум не хватает изобретения, которое бы позволило повторно использовать уже обученные сети при построении новых.
Здравствуйте, Кодёнок, Вы писали:
Кё>Если входные данные настолько рандомны, что нет закономерностей для использования в решении классическими методами, то и сама НС не сможет их найти, а если она-таки нашла, то это можно проанализировать и в будущем создать метод, или алгоритм, который будет работать не хуже.
Да, такая точка зрения уже многократно на rsdn озвучивалась.
Доводы против:
1. Производительность. НС, грубо говоря, даёт ответ в один такт. Алгоритму вычисляющий аналогичную функцию на ПК потребуется на порядок больше действий. Всё дело в том, что сети — это максимально распараллельный вычислитель. Стоимость многопроцессорных машин существенно выше стоимости железа для нс.
2. Точно ли этот метод работать не хуже (см. п.1.)? Зачем создавать другой метод, если НС работает? Это не рентабельно. Разве что если сеть изначально использовалась как инструмент исследователя/учёного.
3. Нужно не забывать о том, что НС устойчивы к дефектам, т.е. выход из строя нейрона ведёт не к полному выходу из строя сети, а только частичному ухужшению характеристик. Если этот фактор важен, альтернативные решения должны состоять из дублирующихся систем или быть децентрализованными, что также не бесплатно.
Постановка задачи (довольно бестолковой): по стилю набора на клавиаутре провести идентификацию пользователя.
Входными данными является набор пар (время, клавиша).
Как её решать "обычным" образом? Нет аналитического решения, можно только предлагать различные эвристики и сравнивать результаты их работы, чтобы выбрать лучшую. НС не обладая фантазией может обучиться учитывать такие ньюансы, на поиск которых у человека ушло существенно больше времени.
Кё>Но с точки зрения ученого, НС не открывают никакого особого класса задач, которые не решались бы аналитически; даже если сегодня справляется только НС, завтра может быть создан алгоритм.
С точки зрения учёного — возможно. С точки зрения инженера — скорее да, чем нет.
Кё>Может НС и могут «выстрелить» в конкретных прикладных областях, но никакого потенциала организовать новую эру, новые модели вычислений я в них не вижу вообще.
Ну, НС, как никак, специализированные вычислители — "выстреливать в прикладых областях" и есть их цель.
Кё>Им как минимум не хватает изобретения, которое бы позволило повторно использовать уже обученные сети при построении новых.
А что мешает копировать веса существующей сети в новую? Или использовать комплекс сетей для решения одной задачи?
---
Ты правильно всё сказал, я даже плюсик поставил , что НС это особого рода функция, для которой разработаны способы "автоматического" подбора параметров. Это то, что должен видеть инженер и чем должен уметь пользоваться (если потребуется, конечно же). А для учёного НС это предмет исследований — их воможностей, ограничений. База с которой можно прыгнуть выше. И если хорошо постараться, то можно будет запрыгуть и в новую эру, как её описывал С.Лем С инкубаторами идей и машинами, которые получаю описание желаемого продукта и строят машины, чтобы построить машины, чтобы построить машины, которые в конце концов создатут тот самый продукт
