Здравствуйте, Философ, Вы писали:
Ф>Реальное исследование можно было вообще не делать — лишний, никому не нужный труд.
Ф>Вот так вот она делается, современная наука.
Ну у меня диплом тоже был на ИНС (rbf). Делал интерполяцию по заданным точкам, которые приходили из реального мира. Теоретически всё хорошо, практически — тоже, замечательная интерполяция. Но для практического применения (что тоже было важно в дипломе) я мог обойтись без нейронных сетей, что могло существенно упростить разработку программы. А раз упростилась бы программа, то её можно было бы запихнуть в простой контроллер. А я в дипломе предполагал использовать FPGA.
G>Адаптировать ИНС для композиции с другой сложно, если они не изначально для этого разрабатывались. Потому что для одной сети еще можно понять семантику значений на входе и выходе, а для их композиции это уже нереально.
Это очевидно нет так, т.к. с математической точки зрения многослойные сети это обычный такой математический функционал, который в многомерном пространстве строит многомерную плоскость — которая, может использоваться для разделения данных на классы.
Здравствуйте, Mystic, Вы писали:
M>Ну а потом произошел обвал, нейросети перестали быть панацеей, они заняли свое законное место.
А в чем суть обвала?
Нейросети или похожие структуры сейчас используются на порядки больше, чем десяток лет назад.
Просто общая грамотность в этом вопросе чуть подросла, т.е. народ уже понимает, что до реального ИИ еще как минимум 6 порядков по кол-ву эмулируемых нейронов и связей. Поэтому произошел обвал лишь этой романтики, но зато всплеск сухого применения по-делу.
Здравствуйте, Nuzhny, Вы писали:
N>Все самые последние (и продвинутые) алгоритмы в области фото и видео анализа нейросети не используют.
Откуда дровишки?
N>Поиск лиц и улыбок в фотоаппаратах — AdaBoost. N>Поиск пешеходов в автомобилях — AdaBoost.
AdaBoost тренирует вектор (весовую ф-ию) — полный аналог однослойной сетки. Распознавание изображений как раз строится на сетках без обратных связей по классике, а для этих сетей все многослойные можно свести к эквивалентной однослойной. Так что мимо.
N>Поиск похожих изображений в поисковиках — Bag of words.
Точно такая же весовая ф-ия и точно так же обучается. Опять мимо.
N>Единственное, что мне неизвестно алгоритм в FineReader'е.
Очевидно, тебе не только это неизвестно.
Наработки ИИ используют как готовый аппарат обучаемых весовых ф-ий, на вход которых уже подается закодированная информация, типа как номера литералов для Bag of words.
DG>имхо, нейронные сети не жизнеспособны, потому что не поддерживают композицию и декомпозицию. DG>т.е. если есть НС размера N, которая распознает буквы А и B, то из нее нельзя вычленить часть, которая распознает только букву A, кроме как заново переобучить НС. Верно и обратно, имея НС размера N для распознавания буквы A, и имея НС размера N для распознавания буквы B — их нельзя объединить в одну сеть размера N для распознавания букв A и B (даже, если известно, что НС размера N достаточно для распознавания обоих букв)
Как раз объединить можно, если структура идентичная. Например, для многослойной сетки просто "склеиваешь" связи с одинаковыми коэффициентами из обоих сеток, уменьшая кол-во нейронов в промежуточных слоях. Правда если использовалась большая разрядность для коэф, то, возможно, не удастся ничего склеить... т.е. тогда их объединение будет равносильно тому, что две независимые сетки расположили рядом.
DG>другими словами, любое изменение входных условий приводит к тому, что требуется полное переобучение при этом без всякой гарантий, что результат будет не хуже предыдущих.
Это проблема кодирования, скорее. Меняется входной "алфавит", старый становится недействителен. Хотя и тут надо смотреть на конкретику.
Здравствуйте, vdimas, Вы писали:
V>Просто общая грамотность в этом вопросе чуть подросла, т.е. народ уже понимает, что до реального ИИ еще как минимум 6 порядков по кол-ву эмулируемых нейронов и связей.
А откуда эта романтичная идея, что увеличение числа нейронов вдруг даст ИИ? Принцип работы же не меняется, а на небольших сетях видно, как далек он от какого-либо интеллекта. Впрочем, это здесь уже обсуждалось...
Здравствуйте, D. Mon, Вы писали:
DM>А откуда эта романтичная идея, что увеличение числа нейронов вдруг даст ИИ? Принцип работы же не меняется, а на небольших сетях видно, как далек он от какого-либо интеллекта.
Мы еще не видели больших сетей. IBM, получив "бесценный" опыт экспериментов в этом направлении пришла к тому, что архитектура ЭВМ общего назначения никогда эту задачу не поднимут. Поэтому стала идти в сторону специализированных чипов.
Здравствуйте, vdimas, Вы писали:
N>>Поиск лиц и улыбок в фотоаппаратах — AdaBoost. N>>Поиск пешеходов в автомобилях — AdaBoost.
V>AdaBoost тренирует вектор (весовую ф-ию) — полный аналог однослойной сетки. Распознавание изображений как раз строится на сетках без обратных связей по классике, а для этих сетей все многослойные можно свести к эквивалентной однослойной. Так что мимо.
Во-первых в НС количество нейронов фиксированно и соответственно количество возможных слабых классификаторов тоже фиксированно(а это плохо), как их выбирать тоже непонятно, во-вторых adaboost подругому обучает эту комбинацию . Для adaboost доказано, что модель можно дообучать до нулевой ошибки.
N>>Поиск похожих изображений в поисковиках — Bag of words.
V>Точно такая же весовая ф-ия и точно так же обучается. Опять мимо.
Не такая же и не также.
N>>Единственное, что мне неизвестно алгоритм в FineReader'е.
V>Очевидно, тебе не только это неизвестно. V>Наработки ИИ используют как готовый аппарат обучаемых весовых ф-ий, на вход которых уже подается закодированная информация, типа как номера литералов для Bag of words.
Для распознования букв лучше использовать SVM, благо на сей день разработаны очень быстрые алгоритмы для обучения.
Пять лет назад я пытался применить их для распознования паттернов в сигналах с датчиков. Получилось крайне неустойчивая система, для военного заказчика никуда не годная, но в академическом смысле интересная. Я не нашел в этом инструменте того, что искал. Сигналы, которые поступают от естественной среды она обрабатывает плохо. Может быть для распознования искусственных объектов она годиться лучше. Буквы на картинках это да, а вот вещи типа показаний сейсмодатчиков — нет. Я нашел приемлемое решение на основе вейвлет анализа. Предыдущее поколение тех систем, что мы разрабатывали базировалось на БПФ, логичным продолжением стало дискретное вейвлет-преобразование.
Т.е. нейросети сейчас один из множества инструментов, нашедших своё применение в узких нишах. Ничего тайного и магического в них нет. Есть субъективное ощущение, что раз они моделируют работу нервных клеток, то в них есть огромные возможности. На практике это просто метод обработки данных, требующий больших ресурсов и не дающий даже на намека на возможность найти оптимальное или субоптимальное решение задачи распознования.
M>НС — это один из инструментов в исследованиях по ИИ. Соответственно тебе нужно подумать именно об изучении ИИ, и методах его разработке, среди которых есть и НС. Покоцанный ИИ есть в играх, но вот стоит ли там применять НС — хз.
Насколько я помню на сайте библиотеки libfann они писали что Кармак их библу использовал в Q3 для ботов.
Я тоже её использовал, очень давно, для программы которая по спонсорским банерам кликала там потом нужно было капчу пройти с числами и буквами.
AM>Во-первых в НС количество нейронов фиксированно и соответственно количество возможных слабых классификаторов тоже фиксированно(а это плохо), как их выбирать тоже непонятно, во-вторых adaboost подругому обучает эту комбинацию . Для adaboost доказано, что модель можно дообучать до нулевой ошибки.
В упор не понимаю, что тебе мешает считать, что в процессе работы adaboost мы не только обучаем, но и строим сетку? Выход-то один и тот же — такая же точно модель сетки, только однослойная. Я не уверен, что есть алгоритмы построения из готовой однослойной сетки многослойной — это лишь вопрос оптимизации, т.е. не принципиальный. (Просто однослойные сетки — это как "раскрытые скобки" в выражении, по-сути — существенная избыточность/неэффективность в вычислениях).
V>>Точно такая же весовая ф-ия и точно так же обучается. Опять мимо. AM>Не такая же и не также.
Так же так же. Векторный спуск вообще вне ИИ был разработан изначально.
там потом нужно было капчу пройти с числами и буквами.
