Здравствуйте, tinytjan, Вы писали:
T>Серьезно? Пообщайтесь с г-ном Виктором Царегородцевым, например. Еще труды В.А. Головко к примеру. T>Я просто уверен, Вы найдете для себя много нового и интересного.
А что, они умеют переиспользовать сеть?
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Здравствуйте, Erop, Вы писали:
E>Здравствуйте, tinytjan, Вы писали:
T>>Серьезно? Пообщайтесь с г-ном Виктором Царегородцевым, например. Еще труды В.А. Головко к примеру. T>>Я просто уверен, Вы найдете для себя много нового и интересного.
E>А что, они умеют переиспользовать сеть?
Не знаю, честно.
Зато они решают очень много проблем именно с помощью нейросетей.
Здравствуйте, Erop, Вы писали:
E>Здравствуйте, tinytjan, Вы писали:
T>>Потому что ни сплайн ни линейно-кусочная аппроксимация не универсальны, в отличие от допустим функции построенной на сигмоидах, которая, как уже заметили выше может саппроксимировать любую функцию с любой заданной точностью.
E>Всё-таки скажи, ты о гладких функциях или о функциях с особенностями? E>Если о гладких, то не понятно чем сплайн не угодил, а если с особенностями, то от чего бы особенности не вычислить явно по заданным данным?
Ок, на простом примере. Можно с помощью ОДНОГО сплайна саппроксиморовать синусоиду на 10 периодах например?
Или другой пример -- можно с помощью сплайна задать функцию типа y(x, t) = f(x, f(x, t-1), f(x, t-2),...) ?
Здравствуйте, vit0s, Вы писали:
V>Здравствуйте. Поиск поюзал, нашел много тем и разговоров касательно нейронных сетей, почитал, кое-что поучил. Стало интересно, хочу двигаться в этом направлении, че-то попрограммить с сетками. V>Столкнулся с вопросами, на которые или соображалки не хватает или ен знаю что... В общем. V>Вопрос про архитектуру сети. Какую архитектуру сети выбирать?
Думаю, для начала стОит попробовать обучить сеть на XOR.
И поразбираться с простыми примерами и архитектурами. ИМХО, самая простая для понимания архитектура -- сеть Кохонена.
V>Я имею ввиду не то, что там с обратным распространением ошибки или еще что-то, а именно сколько брать слоев с нейронами и по сколько нейронов на каждом слое поместить. И еще — какие нейроны с какими соединять? Все со всеми? Или как это расчитывается? Ну я знаю сколько входов и выходов должно быть у сети (это от задачи зависит), а вот между входным и выходным слоем — что и сколько?
Типовой персептрон полносвязный -- если 2 слоя связаны, то связаны полностью. Незначимые связи удаляются после обучения. Это второстепенная задача, не стОит на данном этапе заострять на ней внимание.
V>Вопрос про обучение сети. Я знаю что у каждого нейрона есть такие вещи как порог активации, веса всех его входов, выходы. Только я не могу понять — каким образом менять эти параметры при обучении сети? Есть предположение, что начинать менять все значения по чуть-чуть и таким образом перебрать все комбинации, но это будет
У каждой архитектуры есть свои методы обучения, у Хопфилда один, у MLP другой, у рециркуляционной третий, я думаю Вам стОит разбираться отдельно с каждой архитектурой.
V> огроменное количество итераций для поиска всего одного решения из обучающих данных.
Почему огроменное??? Для обучения сети Кохонена иногда достаточно 2-5 итераций на всей выборке. Для MLP -- зависит от качества подаваемых данных.
V>И еще... вот я меняю постепенно веса, например, и вот наткнулся на комбинацию, где величина ошибки стала меньше предыдущей. Что делать с этими значениями? Сохранить где-то как промежуточный успешный результат? Или как? — ведь изменение следующего какого-либо параметра может увеличить величину ошибки и она станет больше чем была прошлая якобы успешная....
Читать методы обучения.
V>В общем копошусь в этом, че-то читаю, думаю... Хотелось бы еще информации получить, более похожую на практический пример step-by-step или какой более-менее обобщенный алгоритм. Ну или близко к тому. Может, как вы начинали, с чего? Какие были ваши первые сети и что они делали? Как они обучались? Интересует все, т.к. тяга к этой теме появилась большая, хочу в этом покопаться и застрял
Можете посмотреть здесь . Это мой старый проект на Pascal -- для работы с MLP.
Ничего особо сложного, плюс там встроенный адаптивный шаг обучения, ЕМНИП.
V>Кто что думает по данной теме? Спасибо заранее всем откликнувшимся, за любую информацию и мысли.
Здравствуйте, tinytjan, Вы писали:
T>Ок, на простом примере. Можно с помощью ОДНОГО сплайна саппроксиморовать синусоиду на 10 периодах например?
А какая разница? Если у тебя нет инфы о виде функции, то тебе надо достаточно точек, чтобы заметить все 10 периодов синусоиды. А тогда и сплайн хорошо сработает... T>Или другой пример -- можно с помощью сплайна задать функцию типа y(x, t) = f(x, f(x, t-1), f(x, t-2),...) ?
Та же фигня, IMHO...
T>Именно в этом и есть плюс -- в универсальности.
Что может быть универсальнее сплайна?
Всё просто. Если у тебя есть априорные соображения о виде функции, то их удобнее не через НС использовать, а если нет, то ничего полезнее сплайна ты не найдёшь, так как в обучающей выборке должна содержаться информация обо всех особенностях поведения функции
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Здравствуйте, tinytjan, Вы писали:
E>>А что, они умеют переиспользовать сеть? T>Не знаю, честно. T>Зато они решают очень много проблем именно с помощью нейросетей.
Так обсуждались именно способы переиспользования. AFAIK хороших нет. Плохие есть, один из них -- генетические алгоритмы.
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Здравствуйте, Кодёнок, Вы писали:
Кё>Здравствуйте, vit0s, Вы писали:
V>>Кто что думает по данной теме? Спасибо заранее всем откликнувшимся, за любую информацию и мысли.
Кё>НС это всего лишь аппроксимация. В ВУЗе изучается аппроксимация статистических данных рядом тейлора или полиномами. Это более сложный случай того же самого. По сути, НС — это сверхсложная функция типа выходы = F(коэффициенты, входы), типичный подход математиков свести любую задачу к y=f(x), и не более того. Замените F на многочлен или ф-ю тейлора, все станет понятно. «Обучением» называется подбор коэффициентов, чтобы на тестовых данных тестовые входы сошлись с тестовыми выходами. «Обучение» возможно, если задача может быть аппроксимирована заданной функцией, и нет, если не может. Поэтому для каждого класса задач есть свои архитектуры сетей: другая архитектура = другая функция, которая лучше или хуже подходит.
Хмм, просто не хватает чего-то, что сделало бы из нейросети AI.
Допустим у нас есть нейронка. Наворачиваем вокруг механизм, позволяющий одновременно обучаться и прогнозировать. Далее, добавляем способность забывать, это можно сделать просто -- при обучении не учитывать старые образы или просто ограничить их количество.
Далее делаем механизм связи сетей между собой.
Далее привязываем выходы и входы к конкретной информации, осталось придумать хитрый способ обучения без учителя для всей системы и раздуть размер всей системы.
ЗЫЖ: всего-лишь бредовые фантазии на тему , с зерном истины
T>Далее привязываем выходы и входы к конкретной информации, осталось придумать хитрый способ обучения без учителя для всей системы и раздуть размер всей системы.
Вот почему-то все надежды любителей НС выглядят как-то так. Типа мы вот тута навернём, а там ещё то туда всунем и ка-а-а-ак обучим...
К сожалению такой подход только при пложении естиственного интеллекта хорошо себ язарекомендовал пока что.
T>ЗЫЖ: всего-лишь бредовые фантазии на тему , с зерном истины
А реальность AI пока что такова, что чтобы решить задачу надо таки разобраться как это сделать, а не всунуть-вынуть-обучить...
Все эмоциональные формулировки не соотвествуют действительному положению вещей и приведены мной исключительно "ради красного словца". За корректными формулировками и неискажённым изложением идей, следует обращаться к их автором или воспользоваться поиском
Здравствуйте, Erop, Вы писали:
E>Здравствуйте, tinytjan, Вы писали:
T>>Далее привязываем выходы и входы к конкретной информации, осталось придумать хитрый способ обучения без учителя для всей системы и раздуть размер всей системы.
E>Вот почему-то все надежды любителей НС выглядят как-то так. Типа мы вот тута навернём, а там ещё то туда всунем и ка-а-а-ак обучим... E>К сожалению такой подход только при пложении естиственного интеллекта хорошо себ язарекомендовал пока что.
T>>ЗЫЖ: всего-лишь бредовые фантазии на тему , с зерном истины E>А реальность AI пока что такова, что чтобы решить задачу надо таки разобраться как это сделать, а не всунуть-вынуть-обучить...
Здравствуйте, tinytjan, Вы писали:
T>Я сейчас иду в направлении 1. T>А также собираюсь писать автоматического советника на Forex, скоро конкурс .
Тоже занимаюсь этим в свободное время. Заинтересовался как раз после споров в этом топике
Уже неделю один комп без перерывов гоняет генетический алгоритм для вычисления оптимальной конфигурации трёхслойной персептронной сети. Ещё неделю точно работать будет. Причём профайлер показывает, что большая часть времени тратится на вычисление экспоненты для сигмоидных функций. Теперь я понимаю, зачем на биржах устанавливают суперкомпьютеры.
Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, tinytjan, Вы писали:
T>>Я сейчас иду в направлении 1. T>>А также собираюсь писать автоматического советника на Forex, скоро конкурс .
N>Тоже занимаюсь этим в свободное время. Заинтересовался как раз после споров в этом топике N>Уже неделю один комп без перерывов гоняет генетический алгоритм для вычисления оптимальной конфигурации трёхслойной персептронной сети. Ещё неделю точно работать будет. Причём профайлер показывает, что большая часть времени тратится на вычисление экспоненты для сигмоидных функций. Теперь я понимаю, зачем на биржах устанавливают суперкомпьютеры.
На MQL4 что ли? Тогда сочувствую .
Если на нормальном языке, тогда стОит почитать про обучение меодом градиентного спуска и все, что с ним связано, например, про адаптивные шаги.
Здравствуйте, tinytjan, Вы писали:
T>На MQL4 что ли? Тогда сочувствую .
Нет на С++. На MQL4 только саму торговлю. Для обучения тоже генетические алгоритмы взял — мне они просто понравились. Отсюда и тормоза.
Меня, правда, этот факт не сильно напрягает — стоит под столом отдельный ком, работает. Надесь, что-нибудь хорошее получится
T>Если на нормальном языке, тогда стОит почитать про обучение меодом градиентного спуска и все, что с ним связано, например, про адаптивные шаги.
Читал я про него. Просто из интереса хочется попробовать ГА.
Здравствуйте, Nuzhny, Вы писали:
N>Здравствуйте, tinytjan, Вы писали:
T>>На MQL4 что ли? Тогда сочувствую .
N>Нет на С++. На MQL4 только саму торговлю. Для обучения тоже генетические алгоритмы взял — мне они просто понравились. Отсюда и тормоза.
Тогда не забудь про то, что на конкурс нельзя выкладывать советники пользующие dll.
N>Меня, правда, этот факт не сильно напрягает — стоит под столом отдельный ком, работает. Надесь, что-нибудь хорошее получится
Хозяин барин.
T>>Если на нормальном языке, тогда стОит почитать про обучение меодом градиентного спуска и все, что с ним связано, например, про адаптивные шаги.
N>Читал я про него. Просто из интереса хочется попробовать ГА.
Здравствуйте, Erop, Вы писали:
E>Здравствуйте, tinytjan, Вы писали:
T>>Далее привязываем выходы и входы к конкретной информации, осталось придумать хитрый способ обучения без учителя для всей системы и раздуть размер всей системы.
E>Вот почему-то все надежды любителей НС выглядят как-то так. Типа мы вот тута навернём, а там ещё то туда всунем и ка-а-а-ак обучим...
Не , ну если сделать нейросеть побольше и учить ее лет двадцать ...
T>Если на нормальном языке, тогда стОит почитать про обучение меодом градиентного спуска и все, что с ним связано, например, про адаптивные шаги.
Градиентный спуск — _далеко_ не панацея. На сколь-нибудь сложной поверхности его начинает так плющить, что ого-го. ГА хотя и потенциально помедленнее, но справляются там, где градиентные методы дохнут.
P.S. генетикой нейросети давно уже учат, я и сам что-то такое делал. А вот интересно попробовать обучение какими-нибудь более современными стохастическими алгоритмами: differential evolution, particle swarm и т. п.
Здравствуйте, Sergey Chadov, Вы писали:
SC>Здравствуйте, tinytjan, Вы писали:
T>>Если на нормальном языке, тогда стОит почитать про обучение меодом градиентного спуска и все, что с ним связано, например, про адаптивные шаги.
SC>Градиентный спуск — _далеко_ не панацея. На сколь-нибудь сложной поверхности его начинает так плющить, что ого-го. ГА хотя и потенциально помедленнее, но справляются там, где градиентные методы дохнут.
Нуу, для этого есть навороты сверху типа добавления случайного слагаемого, моментума, адаптивный шаг, чтобы повысить эффективность и сходимость.
SC>P.S. генетикой нейросети давно уже учат, я и сам что-то такое делал. А вот интересно попробовать обучение какими-нибудь более современными стохастическими алгоритмами: differential evolution, particle swarm и т. п.
T>>>Если на нормальном языке, тогда стОит почитать про обучение меодом градиентного спуска и все, что с ним связано, например, про адаптивные шаги.
SC>>Градиентный спуск — _далеко_ не панацея. На сколь-нибудь сложной поверхности его начинает так плющить, что ого-го. ГА хотя и потенциально помедленнее, но справляются там, где градиентные методы дохнут.
T>Нуу, для этого есть навороты сверху типа добавления случайного слагаемого, моментума, адаптивный шаг, чтобы повысить эффективность и сходимость.
Здравствуйте, NotGonnaGetUs, Вы писали:
NGG>Здравствуйте, Erop, Вы писали:
E>>А если речь идёт о задаче классификации, то результат всегда один -- послать нейросети нафиг
E>>IMHO, намного прямее просто взять и нарисовать области соответсвующие тем или иным решениям в пространстве признаков.
NGG>Не надо быть столь котегоричным. NGG>Есть класс задач (довольно широкий), хорошо решаемый "обычными" методами. Применять для их решения нейросети — дикость. NGG>Однако есть задачи NGG>- упирающиеся в NP-полноту NGG>- слабо формализируемые NGG>- не имеющие точного решения
NGG>Например, управление электрическими доменными печами (управляется глубина погружения электрода, если не ошибаюсь). Эти штуки жгут электричества на такие суммы рублей, что экономия в 1% даст значительную экономическую выгоду. Управляются какими-то примитивными датчиками на основе правил. А чтобы эффективно управлять печью, нужно знать такую уйму параметров и написать столько уравнений, что надежд на их решение нет Один анализ только, чем можно пренебречь в расчётах, а чем нет, достоин пары лет труда толпы учёных.
NGG>Как решать такие задачи? Фактически нужно найти функцию, которая связывает входные и выходные данные.
это делается с помощью нешаманского регрессионного анализа
