Re[6]: Deep learning или новый тип программ.
От: Sharov Россия  
Дата: 19.08.15 19:38
Оценка:
Здравствуйте, LaptevVV, Вы писали:

S>>ЗЫ: Почему-то все как на подбор бросились обсуждать автора. По теме сказать нечего. Ну т.е. обычное "аффтар дурак и вывсеврети".

LVV>Про статью я уже написал — беллетристика.

Я сегодня рассказывал для этого сюжета, что примерно так же комментировал интернет лет двадцать назад (в 1995, а вебсайты же я делал с 1994 года -- первый вебсайт до сих пор живёт, ему уж 21 год будет через пару недель: http://libertarium.ru/). Как и сегодня про искуственный интеллект в целом и глубокое обучение в частности, я тогда пел песню, что "это перевернёт жизнь миллиардов людей", а телевизионщики, да и не только они, хихикали и поминали "Москва слезам не верит" с его "не будет ни газет, ни книг, ни кино, ни театров, а будет одно сплошное телевидение".


http://ailev.livejournal.com/1202950.html
Кодом людям нужно помогать!
Re[7]: Deep learning или новый тип программ.
От: Слава  
Дата: 19.08.15 21:29
Оценка:
Здравствуйте, Sharov, Вы писали:

S>Я сегодня рассказывал для этого сюжета, что примерно так же комментировал интернет лет двадцать назад (в 1995, а вебсайты же я делал с 1994 года -- первый вебсайт до сих пор живёт, ему уж 21 год будет через пару недель: http://libertarium.ru/). Как и сегодня про искуственный интеллект в целом и глубокое обучение в частности, я тогда пел песню, что "это перевернёт жизнь миллиардов людей", а телевизионщики, да и не только они, хихикали и поминали "Москва слезам не верит" с его "не будет ни газет, ни книг, ни кино, ни театров, а будет одно сплошное телевидение".

S>[/q]

S>http://ailev.livejournal.com/1202950.html


Это всегда так. Господа программисты при виде Алиева начинают писать кипятком, потому что не понимают, о чем он вообще говорит.

Тут где-то недалеко был тред, где утверждалось, что стать узким специалистом по страхованию старушек или там — какой-то особой обточке каких-то особых валов выгоднее, чем стать хорошим программистом. У Алиева не первый год двигается тема "инженерии знаний", направленная как раз на то, чтобы опыт таких вот "узких специалистов" можно было использовать без участия самих специалистов. Основная проблема в том, что эти самые "выгодные узкие специалисты" свою деятельность нихрена не документируют, потому их и держат. В то время как IT документированно очень хорошо, в отличие от любой другой отрасли. В этом ее сила, и в этом же слабость — зовут индусов вместо людей. Когда практики IT в документировании будут распространены на другие отрасли, начнется новая революция в экономике, а узкие специалисты останутся без своей job security и взвоют.
Re[6]: Deep learning или новый тип программ.
От: night beast СССР  
Дата: 20.08.15 05:27
Оценка:
Здравствуйте, vdimas, Вы писали:

NB>>нейронные сети, они как бы разные бывают.

NB>>бывают сверточные, рекурсивные,

V>рекуррентные наверно?


да. сорри.
но суть та же.
Re: Deep learning или новый тип программ.
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 20.08.15 09:08
Оценка: 8 (2) +1
Здравствуйте, Sharov, Вы писали:

S>Ну чего, будущее уже здесь? Как по вашему это повлияет на индустрию -- программисты будущего не будут знать конвенциональные яп и парадигмы, а будут знать фреймворки или (что скорее всего) какие-нибудь DSL языки пригодные для научения нс? И повлияет ли вообще... Или это очередной пшик?


И пшик, и нет. В реальности он всё сильно преувеличивает: то же распознавание образов сетки осуществляют не лучше человека, а просто по другому. Например, моя годовалая дочка с первого взгляда захрюкает, глядя на пару неловких карандашных линий, означающих мордочку поросёнка. Современным нейросетям, обученным хоть Гуглом на своей огромной базе, до такого результата ещё лететь и лететь. Просто эволюция шла своими путями, а учёные идут своими.
Левенчук же всё больше смотрит на красивые результаты и радуется графикам и картинкам. Насколько далеки глубокие нейросети от по-настоящему прорывных вещей, какие у них есть принципиальные проблемы он не понимает. Занимается популяризацией — да, это хорошо.
Кстати, вот недавний пример распиаренной во всех местах статьи от Гугловцев "Real-Time Pedestrian Detection With Deep Networks Cascades". Что они там пишут:

Our algorithm runs in real-time at 15 frames per second. The resulting approach achieves a 26.2% average miss rate on the Caltech Pedestrian detection benchmark, which is competitive with the very best reported results. It is the first work we are aware of that achieves extremely high accuracy while running in real-time.

Реалтйам на NVIDIA K20 Tesla GPU это у них 15 fps?!! Хвалятся качеством? А оно не такое уж и выдающееся. Фактически это звучит так: "Мы применили новый модный Deep learning на мощнейшем железе, всё медленно и не так уж и хорошо". Можно посмотреть на статьи тех же Тойотовцев со своим CoHOG: и быстрее, и качественней, и железо слабее. Просто сидят на модном пузыре.
Re[7]: Deep learning или новый тип программ.
От: vdimas Россия  
Дата: 20.08.15 12:18
Оценка:
Здравствуйте, night beast, Вы писали:

NB>но суть та же.


Ммм... рекуррентность — это возвращение по-русски
Викисловарь вещает:

From Latin recurro ‎(“run back”)

этим термином иногда называют обратную связь

а рекурсия — это рекурсия. ))
тот же корень, но уже в значении "повторение".
Re[7]: Deep learning или новый тип программ.
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 20.08.15 12:38
Оценка: +1
Здравствуйте, Sharov, Вы писали:

S>

S>Я сегодня рассказывал для этого сюжета, что примерно так же комментировал интернет лет двадцать назад (в 1995, а вебсайты же я делал с 1994 года -- первый вебсайт до сих пор живёт, ему уж 21 год будет через пару недель: http://libertarium.ru/). Как и сегодня про искуственный интеллект в целом и глубокое обучение в частности, я тогда пел песню, что "это перевернёт жизнь миллиардов людей", а телевизионщики, да и не только они, хихикали и поминали "Москва слезам не верит" с его "не будет ни газет, ни книг, ни кино, ни театров, а будет одно сплошное телевидение".

S>http://ailev.livejournal.com/1202950.html

Кстати, прозорливость человека в одном случае совсем не означает такую же в другом. Можно посмотреть примеры ошибок у Невзорова:

Что такое учёный? Это человек, который сделал некое открытие, то есть проявил в строго определённом вопросе некую безошибочность. Давайте посмотрим, распространяется ли эта безошибочность вообще на всё, с чем учёные имеют дело. Давайте посмотрим на набор смешных невероятных заблуждений и ошибок, которые были присущи потрясающим, великолепным, значительнейшим учёным. Например, тот же самый Исаак Ньютон был убеждён, что метеориты – это чепуха, потому что им вообще неоткуда падать. И тот же самый Исаак был убеждён и горячо проповедовал, что в соотношении исторических и археологических данных Земля имеет 6 тысяч лет своего возраста.

Фрэнсис Бэкон был убеждён в злобном влиянии ведьм на качество посевов, Бехтерев Владимир Михайлович всерьёз говорил о цветотерапии, Либих не верил, что дрожжи являются живым организмом. Роберт Бойль, который Бойль – Мариотт, обязывал рудокопов докладывать, на какой глубине начинаются демонские гнёзда, и описывать, как выглядят гнёзда демонов. Бюффон был убеждён что в Америке, по сравнению со всеми остальными континентами, эволюция идёт гораздо медленнее, Кеплер считал, что кратеры на луне – это строения, которые воздвигли лунные жители, Фламмарион был убеждён, что на Луне есть растительность. А Галилео Галилей всерьёз полагал, что разговор Кеплера о том, что приливы и отливы это следствие влияния Луны, – это глупость и ребячество.

Re[8]: Deep learning или новый тип программ.
От: night beast СССР  
Дата: 20.08.15 12:42
Оценка: :))
Здравствуйте, vdimas, Вы писали:

NB>>но суть та же.


V>а рекурсия — это рекурсия. ))

V>тот же корень, но уже в значении "повторение".

вот же педант попался
Re[8]: Deep learning или новый тип программ.
От: 1303  
Дата: 20.08.15 23:22
Оценка:
Здравствуйте, Nuzhny, Вы писали:
...
N>Давайте посмотрим на набор смешных невероятных заблуждений и ошибок, которые были присущи потрясающим, великолепным, значительнейшим учёным....

Было бы неплохо ещё сравнить с набором заблуждений и ошибок, присущим людям обыкновенным той же эпохи, да сравнить.
Re: Deep learning или новый тип программ.
От: wildwind Россия  
Дата: 21.08.15 07:06
Оценка: 22 (3)
Здравствуйте, Sharov, Вы писали:

S> Ну чего, будущее уже здесь?


Еще нет, но движение в эту сторону явно наметилось.
Вот, например: Image Scaling using Deep Convolutional Neural Networks. Нейросеть ресайзит изображения. Причем делает это явно лучше, чем бикубическая интерполяция.

S> Как по вашему это повлияет на индустрию -- программисты будущего не будут знать конвенциональные яп и парадигмы, а будут знать фреймворки или (что скорее всего) какие-нибудь DSL языки пригодные для научения нс?


Нет, до новой парадигмы пока очень далеко. Универсального подхода к любой задаче с помощью нейросетей пока не существует. Высокоуровневые фреймворки будут специализированными. А на низком уровне предвижу следущий шаг — перенос вычислений на GPU. И как следствие — некоторая стандартизация описания сетей и алгоритмов на них. Дальше, разумеется, появятся DSL. А там видно будет.

P.S. Для интересующихся — введение в тему: Michael A. Nielsen, "Neural Networks and Deep Learning"
Hardware eventually fails. Software eventually works. ::: avalon/1.0.442
Re[9]: Deep learning или новый тип программ.
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 21.08.15 07:33
Оценка:
Здравствуйте, 1303, Вы писали:

N>>Давайте посмотрим на набор смешных невероятных заблуждений и ошибок, которые были присущи потрясающим, великолепным, значительнейшим учёным....

1>Было бы неплохо ещё сравнить с набором заблуждений и ошибок, присущим людям обыкновенным той же эпохи, да сравнить.

Ну, можешь сравнить, если интересно. Я лишь иллюстрировал давно известный всем принцип — нельзя безоглядно доверяться авторитетам.
Re[2]: Deep learning или новый тип программ.
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 21.08.15 08:05
Оценка:
Здравствуйте, wildwind, Вы писали:

W>Еще нет, но движение в эту сторону явно наметилось.

W>Вот, например: Image Scaling using Deep Convolutional Neural Networks. Нейросеть ресайзит изображения. Причем делает это явно лучше, чем бикубическая интерполяция.

Да! Это ещё один яркий пример того, как сравнивается реализация на нейросетях с простейшим алгоритмом, которому уже много лет, и который ну никак не является стандартом качества. Теперь бы ещё оценить ресурсоёмкость подхода, чтобы понять насколько он плох на современных архитектурах (и на GPU в том числе).
Re[9]: Deep learning или новый тип программ.
От: vdimas Россия  
Дата: 21.08.15 08:16
Оценка: :))
Здравствуйте, night beast, Вы писали:

NB>вот же педант попался


перфекционист, скорее ))
Re[3]: Deep learning или новый тип программ.
От: vdimas Россия  
Дата: 21.08.15 08:24
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N>Да! Это ещё один яркий пример того, как сравнивается реализация на нейросетях с простейшим алгоритмом, которому уже много лет, и который ну никак не является стандартом качества. Теперь бы ещё оценить ресурсоёмкость подхода, чтобы понять насколько он плох на современных архитектурах (и на GPU в том числе).


Да тут такое дело, что ИИ потенциально неплохо масштабируется с ростом выч. мощностей. Т.е. принцип работы тупой до безобразия — это интерполяция/экстраполяция, где точность растёт с ростом кол-ва членов многочлена и точности вычислений (разрядности). Таких настолько хорошо масштабируемых алгоритмов и нет, наверно. Например, бикубическая интерполяция не покажет лучших результатов при увеличении выч. мощностей, разве что быстрее работать будет.
Re[4]: Deep learning или новый тип программ.
От: Nuzhny Россия https://github.com/Nuzhny007
Дата: 21.08.15 09:43
Оценка:
Здравствуйте, vdimas, Вы писали:

V>Да тут такое дело, что ИИ потенциально неплохо масштабируется с ростом выч. мощностей. Т.е. принцип работы тупой до безобразия — это интерполяция/экстраполяция, где точность растёт с ростом кол-ва членов многочлена и точности вычислений (разрядности). Таких настолько хорошо масштабируемых алгоритмов и нет, наверно. Например, бикубическая интерполяция не покажет лучших результатов при увеличении выч. мощностей, разве что быстрее работать будет.


Да, я с этим согласен. Мне не понятно, почему:
а) Идёт сравнение именно с древней и простой бикубической интерполяцией, а не с чем-нибудь более современным и/или мощным. Я могу найти сотни работ по этой теме с различными подходами (фракталы, вейвлеты — их легион), которые в хлам уделывают бикубик. Где сравнение с ними?
б) В статье не сказано, какой ценой было достигнуто улучшение. Адекватно ли десятикратное (цифра взята из головы) увеличение стоимости полученным результатам качества?

Несколькими постами выше я уже кидал ссылку на работу по распознаванию пешеходов, где были получены весьма сомнительные результаты. Понятно, что универсальный аппроксиматор (т.е. их нейросеть) можно настроить таким образом, чтобы он работал с требуемой точностью с любой задачей. И даже был полным по Тьюрингу, что не устаёт напоминать г-н Левенчук чуть ли не в каждом своём посте. Но это совсем не говорит об оптимальности полученных инженерных решений. На практике очень часто получается, что применение deep learning носит лишь интересный иллюстративный характер, красивый и показательный, но на практике не применимый. ИМХО, задача image scaling (по ссылке выше) как раз из таких: да, прикольно, но не для нас.
Re[8]: Deep learning или новый тип программ.
От: LaptevVV Россия  
Дата: 21.08.15 10:56
Оценка:
С>Тут где-то недалеко был тред, где утверждалось, что стать узким специалистом по страхованию старушек или там — какой-то особой обточке каких-то особых валов выгоднее, чем стать хорошим программистом. У Алиева не первый год двигается тема "инженерии знаний", направленная как раз на то, чтобы опыт таких вот "узких специалистов" можно было использовать без участия самих специалистов. Основная проблема в том, что эти самые "выгодные узкие специалисты" свою деятельность нихрена не документируют, потому их и держат. В то время как IT документированно очень хорошо, в отличие от любой другой отрасли. В этом ее сила, и в этом же слабость — зовут индусов вместо людей. Когда практики IT в документировании будут распространены на другие отрасли, начнется новая революция в экономике, а узкие специалисты останутся без своей job security и взвоют.
Где статьи Левенчука по инженерии знаний?
Я просто в теме — не вижу его статей.
ИМХО он в этом — дилетант и рассуждает по дилетантски.
Инженерия знаний — довольно давняя отрасль в ИИ.
Последнее время подсела на термин "онтология",
хотя по мне — практически не отличается от семантических сетей (которые с начала 60-х годов известны... )
Где статьи господина Левенчука по онтологиям?
Или по каким другим моделям ?
Вот, например, из журнала Информационные технологии: http://novtex.ru/IT/it2009/number_10_annot.html#10

А. Н. Данчул, д-р техн. наук, проф.,
зав. кафедрой, Российская академия государственной службы при Президенте PФ, e-mail: danch@ur.rags.ru,
А. П. Новиков, инженер, Учебно-методический центр по информационно-аналитической работе департамента образования г. Москвы

Представление знаний о предметной области на основе гносеологической модели

Изложены концепции представления знаний о предметной области на основе гносеологической модели. Рассмотрено формирование сетевой структуры в гносеологической модели, которое приводит к представлению знаний о предметной области в виде квазиграфа. Отмечается, что созданная оболочка экспертной системы, реализующая предложенные концепции, обладает необходимой оперативностью актуализации знаний.
Ключевые слова: гносеологическая модель, представление знаний, сетевая структура.

Стр. 44 – 50

Или вот: http://novtex.ru/IT/it2010/number_09_annot.html#5

И. П. Норенков, д-р техн. наук, проф., зав. каф. МГТУ им. Н. Э. Баумана, e-mail: norenkov@wwwcdl.bmstu.ru

Генетические алгоритмы поиска решений в онтологических базах знаний*

На примере задачи синтеза оптимальных маршрутов обучения и поддерживающих их электронных учебных пособий показано применение генетических алгоритмов к поиску решений на альтернативных И/ИЛИ-графах.
Ключевые слова: системы принятия решений, онтологии, И/ИЛИ-графы, генетические алгоритмы, траектории обучения.

Стр. 20 – 24

Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Отредактировано 21.08.2015 11:09 LaptevVV . Предыдущая версия .
Re[9]: Deep learning или новый тип программ.
От: Sharov Россия  
Дата: 21.08.15 11:06
Оценка:
Здравствуйте, LaptevVV, Вы писали:

LVV>Где статьи Алиева по инженерии знаний?


Простите, что вмешиваюсь, но о каком Алиеве идет речь? А.И. Левенчук. ЖЖ блогер ailev.
Кодом людям нужно помогать!
Re[10]: Deep learning или новый тип программ.
От: LaptevVV Россия  
Дата: 21.08.15 11:33
Оценка:
S>Простите, что вмешиваюсь, но о каком Алиеве идет речь? А.И. Левенчук. ЖЖ блогер ailev.
Ну, да. Я исправил.
Хочешь быть счастливым — будь им!
Без булдырабыз!!!
Re[2]: Deep learning или новый тип программ.
От: Don Reba Канада https://stackoverflow.com/users/49329/don-reba
Дата: 21.08.15 11:47
Оценка:
Здравствуйте, wildwind, Вы писали:

W>Вот, например: Image Scaling using Deep Convolutional Neural Networks. Нейросеть ресайзит изображения. Причем делает это явно лучше, чем бикубическая интерполяция.


Просто это сравнение с неправильным ресайзом. Обычно после интерполяции применяют sharpen.
Ce n'est que pour vous dire ce que je vous dis.
Re[5]: Deep learning или новый тип программ.
От: wildwind Россия  
Дата: 21.08.15 11:53
Оценка:
Здравствуйте, Nuzhny, Вы писали:

N> Да, я с этим согласен. Мне не понятно, почему:

N> а) Идёт сравнение именно с древней и простой бикубической интерполяцией, а не с чем-нибудь более современным и/или мощным. Я могу найти сотни работ по этой теме с различными подходами (фракталы, вейвлеты — их легион), которые в хлам уделывают бикубик. Где сравнение с ними?

Никто не ставил себе такой задачи. Человек просто описал задачу, которую им нужно было решить, и описал найденное решение. Сопоставление результатов с бикубической интерполяцией дано исключительно для того, чтобы показать, что метод работает и работает хорошо. Автор даже не пытался продвинуть метод как самый лучший для этой задачи или оптимальный по каким-либо критериям. С чем ты споришь, непонятно.

Я привел эту статью для иллюстрации того, что нейросети стали все больше использовать для решения разнообразных практических задач, а не только для защиты дипломов или банальшины вроде OCR. Еще лет пять назад, ЕМНИП, этого еще не было.
Hardware eventually fails. Software eventually works. ::: avalon/1.0.442
Re[6]: Deep learning или новый тип программ.
От: D. Mon Великобритания http://thedeemon.livejournal.com
Дата: 21.08.15 12:41
Оценка:
Здравствуйте, wildwind, Вы писали:

W>Я привел эту статью для иллюстрации того, что нейросети стали все больше использовать для решения разнообразных практических задач, а не только для защиты дипломов или банальшины вроде OCR. Еще лет пять назад, ЕМНИП, этого еще не было.


В дипломах эта же практическая задача этим же способом решалась 16 лет назад.
http://dl.acm.org/citation.cfm?id=2319807&CFID=538799060&CFTOKEN=85349085
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.