Здравствуйте, AndreyFedotov, Вы писали:
AF>>>Метод наименьших квадратов преполагает, насколько я помню, что все выборки известны сразу... G>>Ну и что? Чем именно это плохо? Все равно сеть сначала обучают, а потом используют, она не может "дообучатся" по мере использования. Так что где практическая разница?
AF>В-третьих наш подход ничем не отличается. Метод backpropagation можно применить и к многочленам и к рядам Фурье.
Отличается , и серьезно.
1) Он гарантирует нахождение решения с глобальным минимумом на функции ошибки. Backpropagation для НС это не гарантирует (т. е. он не гарантирует нахождения решения. Вдумайтесь в это. Разница существенна).
2) Он гарантирует, что время настройки на данные будет хорошо предсказуемо и линейно зависеть от размера выборки. Чего не гарантирует backpropagation (там скорость зависит от вида функции ошибки).
3) Он дает предсказуемость результатов при экстраполяци. Чего не дает персептрон.
4) Он позволяет оценить ошибку экстраполяции. Попробуйте сделать это с НС.
5) Он настраивается на данные гораздо быстрее backpropagation-а.
И все это в частности благодаря тому, что мы НЕ применяем backpropagation. К тому же, если мы применим к ним backpropagation, то он перестанет быть backpropagation, и станет обычным численным методом . Потому, что термин "обратное распространение" имеет отношение к проблемам с расчетом градиента, а не к методу минимизации невязки сопряженным градиентом
AF>В чётвёртых — ряд Фурье или многочлен так же можно рассматривать как нелинейную нейронную сеть. Это всего лишь вопрос определения того, что называть нейронной сетью. (Кто сказал что только функции вида СУММА( wi * xi ) ? )
Нельзя . Основное отличие в том, что коэффициенты входят в многочлен (и в ряд фурье) линейно, что и дает нам все прелести. А в многослойный персептрон они входят нелинейно, что и создает геморрой. Персептрон — это самая нейронная сеть из всех нейронных, с него началось все направление; собственно он и представляет собой "линейную модель нейрона".
А называть ряд Фурье нейросетью — это знаете-ли нечестно! Хотя-бы потому, что он существует независимо от достижений нейросетевиков и их мнения о нем. А вот господин Фурье — имеет к ряду отношение, так что пусть это будет рядом Фурье.
AF> Так что как не крути — а шлапу придётся есть нам обоим. Я честно извиняюсь за непарламенские выражения, примённые мной по недомыслию в ходе состоявшейся дискусии, признаю себя ослом и ем свою половину шляпы...
Ну по такому случаю, я тоже откушу, просто из уважения. Скрепим трапезой наше знакомство!
Здравствуйте, Gaperton, Вы писали:
AF>>В чётвёртых — ряд Фурье или многочлен так же можно рассматривать как нелинейную нейронную сеть. Это всего лишь вопрос определения того, что называть нейронной сетью. (Кто сказал что только функции вида СУММА( wi * xi ) ? ) G>Нельзя . Основное отличие в том, что коэффициенты входят в многочлен (и в ряд фурье) линейно, что и дает нам все прелести. А в многослойный персептрон они входят нелинейно, что и создает геморрой. Персептрон — это самая нейронная сеть из всех нейронных, с него началось все направление; собственно он и представляет собой "линейную модель нейрона".
Опять таки полностью согласен. Но я разве утверждал что НС это именно персептрон?
В том, что относится Ваших выводов относительно классических функций, когда то в древности применённых в НС, я полностью согласен. Ондако на мой взгляд не эти функции делают НС потенциально переспективным направлением.
Так же, как я согласен с тем, что механичесие экраны, применяемые на заре телевидения были монстрами, однако ТВ то мы смотрим...
G>А называть ряд Фурье нейросетью — это знаете-ли нечестно! Хотя-бы потому, что он существует независимо от достижений нейросетевиков и их мнения о нем. А вот господин Фурье — имеет к ряду отношение, так что пусть это будет рядом Фурье.
Обычно и не называют. Однако его можно рассматривать в таком качестве. Особенно если строить многослойные сети.
Вообще я встречался с работами в которых НС рассматривались как совокупность связанных между собой процессоров, выполняющие сложные функции по обработке информации...
Особенно интересным мне показались возникшие в последнее время идеи создания сети из квантовых вычислителей...
В прочем основная проблема с НС, как их не рассматривай — в том, что крайне сложно понять, как они работают...
AF>> Так что как не крути — а шлапу придётся есть нам обоим. Я честно извиняюсь за непарламенские выражения, примённые мной по недомыслию в ходе состоявшейся дискусии, признаю себя ослом и ем свою половину шляпы...
G>Ну по такому случаю, я тоже откушу, просто из уважения. Скрепим трапезой наше знакомство!
Re[5]: Нейронная сеть - Это вечный двигатель
От:
Аноним
Дата:
07.07.04 02:46
Оценка:
Здравствуйте, AndreyFedotov
Я внимательно почитал ваши диалоги с господином Gaperton'ом ..
Еще раз увидел как размазывают по стенке все доводы фанатов нейросетей.
С вашей стороны просто не было ниодного разумного аргумента.. в НС безусловно много интересного. но и только.
как только заходит речь о практическом применении — все туфта..
математика дает ответы только на правильно поставленые вопросы. А вы хотите от НС решения задачи не имеющей однозначного решения. или хоть какогото ограниченоого множества решений.. короче батенька учиться вам еще надо
Здравствуйте, Аноним, Вы писали:
А>Здравствуйте, AndreyFedotov
А>Я внимательно почитал ваши диалоги с господином Gaperton'ом .. А>Еще раз увидел как размазывают по стенке все доводы фанатов нейросетей. А>С вашей стороны просто не было ниодного разумного аргумента.. в НС безусловно много интересного. но и только. А>как только заходит речь о практическом применении — все туфта.. А>математика дает ответы только на правильно поставленые вопросы. А вы хотите от НС решения задачи не имеющей однозначного решения. или хоть какогото ограниченоого множества решений.. короче батенька учиться вам еще надо
Я, конечно, задам, быть может, не совсем коректный вопрос, но скажите: "Вы хоть читали какие-нибуть фундаментальный труды по теории нейронных сетей?".
Как мне показалось, Ваши знания (и не только) базируются только на высказываниях "некоторых" так сказать личностях и не более того. Что бы понять возможности, преимущества и недостатки НС необходимо с ними хоть немного самому поработать. Тогда уж и дозволено так вот выражаться ("все туфта").
Что же касается реального применения, то могу сказать, что зачастую НС ОЧЕНЬ полезна и вполне работоспособна.
Даже что касается шашек. о которых было упомянуто. Лично играл в реализованную игру ИМЕННО на основе нейронных сетей. Даже где-то дома лежит документация по этой реализации...
Так что, мой совет — не стоит делать таких вот голословных выводов..
Здравствуйте, nyquist, Вы писали:
N> Я, конечно, задам, быть может, не совсем коректный вопрос, но скажите: "Вы хоть читали какие-нибуть фундаментальный труды по теории нейронных сетей?".
N> Как мне показалось, Ваши знания (и не только) базируются только на высказываниях "некоторых" так сказать личностях и не более того. Что бы понять возможности, преимущества и недостатки НС необходимо с ними хоть немного самому поработать. Тогда уж и дозволено так вот выражаться ("все туфта").
Т. е. НС до такой степени круты, что их возможности, преимущества и недостатки невыразимы на человеческом языке, неформализуемы, и не поддаются теоретическому анализу? Можно встречный, возможно некорректный вопрос? Вы владеете теорией функций хотя-бы на элементарном уровне, достаточном, чтобы понять высказывания "так сказать" личностей, и аргументированно, без хамства, сказать что-нибудь по сути вопроса?
N>Так что, мой совет — не стоит делать таких вот голословных выводов..
Голословными бывают обычно высказывания. Намек.
Здравствуйте, Gaperton, Вы писали:
G>Т. е. НС до такой степени круты, что их возможности, преимущества и недостатки невыразимы на человеческом языке, неформализуемы, и не поддаются теоретическому анализу?
Об этом я не написал ни строчки !!!
G>Можно встречный, возможно некорректный вопрос? Вы владеете теорией функций хотя-бы на элементарном уровне, достаточном, чтобы понять высказывания "так сказать" личностей, и аргументированно, без хамства, сказать что-нибудь по сути вопроса?
Мои комментарии были направлены "Анониму" и ни в коем разе не задевали определенных личностей.
Что же касается сути вопроса, то, как мне кажется, тут суть так размазаласть, что получается просто демагогия какая-то.
G>Голословными бывают обычно высказывания. Намек.
Вышенаписанная строчка — это тоже высказывание, в котором сути не так уж и много.
Здравствуйте, nyquist, Вы писали:
N>Здравствуйте, Gaperton, Вы писали:
G>>Т. е. НС до такой степени круты, что их возможности, преимущества и недостатки невыразимы на человеческом языке, неформализуемы, и не поддаются теоретическому анализу?
N>Об этом я не написал ни строчки !!!
Пардон. А это тогда о чем? N> Как мне показалось, Ваши знания (и не только) базируются только на высказываниях "некоторых" так сказать личностях и не более того. Что бы понять возможности, преимущества и недостатки НС необходимо с ними хоть немного самому поработать.
Я объясню. Вот формальный разбор этой фразы.
Предположения, скрытые в вашем высказывании:
1) Какие-бы не были эти личности, независимо от того, занимались они сами нейросетями или нет, из того, что они говорят, невозможно сделать достоверные выводы о возможностях, преимуществах и недостатках НС.
2) Невозможно никому передать знание о возможностях, преимуществах и недостатках НС, единственный способ приобрести знание о них — поработать с ними самому.
Выводы:
Возможности, преимущества и недостатки НС невыразимы на человеческом языке, неформализуемы, и не поддаются теоретическому анализу.
N>Мои комментарии были направлены "Анониму" и ни в коем разе не задевали определенных личностей.
Тады ладно . Но очень на то похоже, можно легко перепутать.
Здравствуйте, Gaperton, Вы писали:
G>Я объясню. Вот формальный разбор этой фразы.
G>Предположения, скрытые в вашем высказывании: G>1) Какие-бы не были эти личности, независимо от того, занимались они сами нейросетями или нет, из того, что они говорят, невозможно сделать достоверные выводы о возможностях, преимуществах и недостатках НС. G>2) Невозможно никому передать знание о возможностях, преимуществах и недостатках НС, единственный способ приобрести знание о них — поработать с ними самому.
G>Выводы: G>Возможности, преимущества и недостатки НС невыразимы на человеческом языке, неформализуемы, и не поддаются теоретическому анализу.
Логика желазная, только сюда вкрадась одна МЕЛКАЯ бяка:
Под работой с НС я подразумеваю не программирование (и т.п.), а попытку самостоятельно разобраться со всей теоретической проблемой. А как же можно получить знания, не зная, что за этим стоит. Т.е. "слышал звон, да...".
Это вполне естественно.
Например, когда высказываются конкретные вещи (не будем развивать далее демогогию), в определенном контексте, где оговаривается, что что-то плохо, а что-то хорошо, то просто оставлять без контекста "хорошо" и "плохо" — это ...
Поэтому, чтобы как-то оченить проблему, нужно быть с нею знакомым (это не к Вам, а к таким типа "Аноним") и не более того.
N>>Мои комментарии были направлены "Анониму" и ни в коем разе не задевали определенных личностей. G>Тады ладно . Но очень на то похоже, можно легко перепутать.
Бывает
Здравствуйте, Mikola, Вы писали:
M>Народ, нужен алгоритм и/или описание нейронной сети, которая ищет логические ошибки в коде программы (язык-любой) M>Помогите plz. кто чем может M>
Мне кажется, что тут надо подойти с двух сторон: сделать state machine, которая будет трейсить текст и выдавать характеристики текста (вид блока, вид синтаксической конструкции, вид инструкций (декларация/использование) и т.д.)... эту машину надо научить по куче исправного кода... нейросеть во время трейсинга будет предсказывать вероятность перехода машины в пространстве ее состояний, и если переход будет резко отличаться от предсказанного, тогда выдается ошибка с комментариями по "предсказанию"... если сделать state machine достаточно емким для категорий характеристик текста, то прога должна давать неплохие результаты...
Здравствуйте, itheme, Вы писали:
I> нейросеть во время трейсинга будет предсказывать вероятность перехода машины в пространстве ее состояний
Вероятности можно не предсказывать, а знать точно — ведь если мы уже набрали статистику по большому количеству правильных программ, то это и означает, что нам точно известны все вероятности. Все те вероятности которые нам остались не известны очень малы ( = 0.0000...) — ниже точности измерений. С другой стороны, пусть машина делает один переход вероятность которого равна 0.0000000000001 и что это означает? Может мы как раз и попали в тот маловероятный, но правильный код? Или машина делает один переход вероятность которого 0.99999999999999999999, но вдруг этот код ошибочен? Вот если проверяя программу машина сделает очень много маловероятных переходов или очень мало высоковероятных, вот тут можно задуматься о том что где-то в этой программе, возможно, скрыты ошибки, но по одному переходу — ничего сказать нельзя.
Здравствуйте, itheme, Вы писали:
I>Здравствуйте, Mikola, Вы писали:
M>>Народ, нужен алгоритм и/или описание нейронной сети, которая ищет логические ошибки в коде программы (язык-любой) M>>Помогите plz. кто чем может M>>
I>Мне кажется, что тут надо подойти с двух сторон: сделать state machine, которая будет трейсить текст и выдавать характеристики текста (вид блока, вид синтаксической конструкции, вид инструкций (декларация/использование) и т.д.)... эту машину надо научить по куче исправного кода... нейросеть во время трейсинга будет предсказывать вероятность перехода машины в пространстве ее состояний, и если переход будет резко отличаться от предсказанного, тогда выдается ошибка с комментариями по "предсказанию"... если сделать state machine достаточно емким для категорий характеристик текста, то прога должна давать неплохие результаты... Это называется "марковский автомат". Где на дугах стоят рассчитанные статически веса-вероятности переходов. Ну, если есть желание решить задачу через зад, то можно конечно и нейросеть где-нибудь прикрутить . Я бы посоветовал приспособить ее для управления прогресс-баром, чтобы она не мешала работать марковскому автомату .
Кстати, все это никак не решает поставленную задачу.
Здравствуйте, Gaperton, Вы писали:
G> Это называется "марковский автомат". Где на дугах стоят рассчитанные статически веса-вероятности переходов. Ну, если есть желание решить задачу через зад, то можно конечно и нейросеть где-нибудь прикрутить . Я бы посоветовал приспособить ее для управления прогресс-баром, чтобы она не мешала работать марковскому автомату .
это второй вопрос! главное, что именно нейросетка нажимает на красную или зеленую кнопку при виде банана, который дает ей автомат
следовательно, условия ТЗ (в целом) выполнены
G>Кстати, все это никак не решает поставленную задачу.
решить поставленную задачу в рамках НС, разумеется, нельзя, а вот вывести с некоторой точностью места наивероятного расположения ошибок — вполне... (цели исправить ошибки не было...)
Здравствуйте, bkat, Вы писали:
B>Здравствуйте, Аноним, Вы писали:
А>>Здравствуйте, bkat, Вы писали:
B>>>Здравствуйте, Аноним, Вы писали:
B>>>Легко указать сам факт того, что есть ошибка. B>>>Понять в чем ошибка — тут уже синтаксического анализа будет недостаточно.
А>>Так понимание — это прерогатива разума .
B>да это так, но я лично от компилятора ожидаю внятных сообщений об ошибках
К вопросу о компиляторах — в Eclipse 3.1 очень внятные сообщения об ошибках, только вот не верится, что они нейронные сети туда зашили!
. Основное отличие в том, что коэффициенты входят в многочлен (и в ряд фурье) линейно, что и дает нам все прелести. А в многослойный персептрон они входят нелинейно, что и создает геморрой. Персептрон — это самая нейронная сеть из всех нейронных, с него началось все направление; собственно он и представляет собой "линейную модель нейрона".
Можно встречный, возможно некорректный вопрос? Вы владеете теорией функций хотя-бы на элементарном уровне, достаточном, чтобы понять высказывания "так сказать" личностей, и аргументированно, без хамства, сказать что-нибудь по сути вопроса? 
