Где искать работу в области анализа данных, машинного обучения и ИИ?
Реально ли найти удаленную работу?
В каких направлениях стоит копать (распознавание видео, анализ текстов, биг дата, и т.д.)
Какие отрасли больше интересуются данным направлением (например, ритейл) и почему?
Какие направления могут быть интересны для создания стартапа?
Здравствуйте, Буравчик, Вы писали:
Б>Где искать работу в области анализа данных, машинного обучения и ИИ? Б>Реально ли найти удаленную работу?
Вконтакте есть очень активная русскоязычная группа deeplearning, там регулярно публикуются вакансии по теме. Таких групп несколько, можно подписаться, мониторить. Кстати, там и про стартапы в области ИИ много публикуется.
Можно посмотреть что-то аналогичное в Линкедин для поиска за пределами России.
Мне кажется, что стартап надо начинать с какого-нибудь прикольного мобильного приложения типа выстреливших недавно: поиск по лицу в соцсетях, стилизация своих фото и т.п. Надо что-то ускоспециализированное и прикольное для начала. А там уже сам знать будешь, куда двигаться.
Здравствуйте, The Passenger, Вы писали:
TP>я тут подумывал на кывте предложить веточку создать по Data Science и Machine Learning ... но вот наберется ли материала
Кстати, а бум уже прошел или только начинается?
Вот, изучил пару книжек по Spark и ни фига не вдохновился. Было интересно в начале, о чем это все говорят везде. А теперь уже нет. Со мной что-то не так?
Здравствуйте, Буравчик, Вы писали: Б>Где искать работу в области анализа данных, машинного обучения и ИИ? Б>Реально ли найти удаленную работу?
это настолько широкая область, что это нужно практически любой компании, просто они пока об этом не знают
может это не самый лучший способ, но можно начать такие проекты по собственной инициативе в любой компании где вы сейчас работаете
Здравствуйте, Буравчик, Вы писали:
Б>Где искать работу в области анализа данных, машинного обучения и ИИ?
Для примера, список реальных задач и компаний: Kaggle competitions
Kaggle — отличная возможность получить опыт решения реальных задач, поучиться, как решают другие.
Находит применение практически во всех областях:
— контекстная реклама — оптимизация прибыли, повышение клик-рейта и т.д.
— медицина — обработка данных анализов для постановки диагноза
— рекомендательные системы, например подбор отеля, тура и т.д.
— автомобилестроение — определение режима работы двигателя исправный/неисправный на основе показаний датчиков
— банкинг — прогнозирование вероятности возврата кредита, оценка рейтинга
и многое другое...
Здравствуйте, __kot2, Вы писали:
Б>>Где искать работу в области анализа данных, машинного обучения и ИИ? __>это настолько широкая область, что это нужно практически любой компании, просто они пока об этом не знают
Анализ данных — да, а вот машинка — вряд ли. Традиционные инженерные методы по сочетанию цена/качество в большинстве случаев выигрывают конкуренцию у "машинного обучения". А задачи, где без машинки никак — есть далеко не у каждой компании.
Здравствуйте, viellsky, Вы писали: Б>>>Где искать работу в области анализа данных, машинного обучения и ИИ? __>>это настолько широкая область, что это нужно практически любой компании, просто они пока об этом не знают V>Анализ данных — да, а вот машинка — вряд ли. Традиционные инженерные методы по сочетанию цена/качество в большинстве случаев выигрывают конкуренцию у "машинного обучения". А задачи, где без машинки никак — есть далеко не у каждой компании.
никто не запрещает решать задачи другими методами окромя скачать тормозной фреймворк и поставить его работать бесконечно
Здравствуйте, dsorokin, Вы писали:
D>Здравствуйте, The Passenger, Вы писали:
TP>>я тут подумывал на кывте предложить веточку создать по Data Science и Machine Learning ... но вот наберется ли материала
D>Кстати, а бум уже прошел или только начинается?
D>Вот, изучил пару книжек по Spark и ни фига не вдохновился. Было интересно в начале, о чем это все говорят везде. А теперь уже нет. Со мной что-то не так?
хз, мне интересно ... я думаю что основная проблема сейчас в том что многие проблемы пытаются решать либо чисто МЛ либо совсем без него ...
вот когда пойдут комбинации — тут начнется настоящий фан
... но вроде как сети уже пытались взлетать пару раз в 60х и в 90х сейчас начался очередной хайп ... выгорит ли или опять затухнет — непонятно
но то что сети уже распознают изображения быстрее приматов — это факт
то что есть беспилотники на сетях — тоже факт — и они эффективнее в скорости точности и намного лучше по энергопотреблению
то что спрос на специалистов растет — тоже пока факт
так что я думаю — потенциал огромный ... но это я так думаю
Здравствуйте, The Passenger, Вы писали:
TP>хз, мне интересно ... я думаю что основная проблема сейчас в том что многие проблемы пытаются решать либо чисто МЛ либо совсем без него ... TP>вот когда пойдут комбинации — тут начнется настоящий фан
TP>... но вроде как сети уже пытались взлетать пару раз в 60х и в 90х сейчас начался очередной хайп ... выгорит ли или опять затухнет — непонятно TP>но то что сети уже распознают изображения быстрее приматов — это факт
Мне сети представляются так. Не знаю как решить? Какую модель составить? Что там, вообще, происходит в реальности? Дай-ка тогда возьму нейросеть, авось прокатит на непонятном мне наборе данных (образов). Похоже? Или сильно утрирую? Просто взгляд со стороны.
То, что нейросети — хорошая штука, нисколько не спорю. Увлекался ими в свое время. Больше как прикладной математик. Особенно потрясло, например, то, что сеть Хопфильда очень напоминает обобщенное преобразование Фурье из функционального анализа. У нее еще и физическая интерпретация есть
Здравствуйте, dsorokin, Вы писали: D>Мне сети представляются так. Не знаю как решить? Какую модель составить? Что там, вообще, происходит в реальности? Дай-ка тогда возьму нейросеть, авось прокатит на непонятном мне наборе данных (образов). Похоже? Или сильно утрирую? Просто взгляд со стороны.
мне лично все эти современные нейросети напоминают прыганье мартышку у автомата с печеньками. она бьет его палкой и трясет, а он иногда их ей выдает. это все-лишь инструмент решения задачи. например, задача может быть — оценивать кол-во клиентов магазина в зависимости от погоды. берем статистику, строим какие-то предположения, чистим статистику. а потом уже что конкретно использовать для построения зависимости — да что угодно. можно и нейросети, н я бы сначала с чего попроще начал
Здравствуйте, The Passenger, Вы писали:
TP>то что есть беспилотники на сетях — тоже факт — и они эффективнее в скорости точности и намного лучше по энергопотреблению
TP>то что спрос на специалистов растет — тоже пока факт
TP>так что я думаю — потенциал огромный ... но это я так думаю
По моим ощущениям спрос вырос с нулевого до очень маленького. Но это мои ощущения.
В BI платформах давно есть всякие кластеризации-деревья решений, k means и прочее, на практике в бизнесе (ритейлы, банкинг, энергетика) применяется довольно безрезультатно. В основном.
Здравствуйте, __kot2, Вы писали:
__>мне лично все эти современные нейросети напоминают прыганье мартышку у автомата с печеньками. она бьет его палкой и трясет, а он иногда их ей выдает. это все-лишь инструмент решения задачи. например, задача может быть — оценивать кол-во клиентов магазина в зависимости от погоды. берем статистику, строим какие-то предположения, чистим статистику. а потом уже что конкретно использовать для построения зависимости — да что угодно
пока так и есть ( мое личное мнение, я пока только недавно начал и может чегото не знаю ) но это все просто потому что это еще довольно неизведанное поле
и дисциплины как таковой практически нет, так — набор общих математических правил — это как сравнить с придумыванием нового языка программирования
я тут собрал свою небольшую сеточку основываясь только на очень общих знаниях — пка ее тестил фиксил — потом стал читать дальше про всякие разные типы сетей, оказалось сам както набрел
на принципы уже до меня изобретенные ... так что поле для первооткрывательства коллосальное
Здравствуйте, dsorokin, Вы писали:
D>Мне сети представляются так. Не знаю как решить? Какую модель составить? Что там, вообще, происходит в реальности? Дай-ка тогда возьму нейросеть, авось прокатит на непонятном мне наборе данных (образов). Похоже? Или сильно утрирую? Просто взгляд со стороны.
Я скорее вижу это как набор вероятностей ... пока пытаюсь разобраться как работают внутренние слои ... на примере 3 нейрона и один внутренний слой — это легко, а вот если разобраться как работает сверточная
сеть на несколько тысяч нейронов и пару сотен слоев — наверно было бы интересно.
И я не очень согласен с вычислениями по сигмоидной фуннкции ( вот тут ветка форума и пригодилась бы )
я сча вижу пару проблем в продвижении сетей — первое все пытаются заменить сетью и логику и просчет вероятностей — вот например — читал статью где один чел жаловался —
дескать тренировал сеть распознавать типы хищных кошек а она не может отличить кошку от пятнистого дивана, и вывод — сети — шлак
а вот если бы он создал 2 сетки — одна по форме отличала бы кошек от всего остального а вторая по окрасу разбирала бы кто это — тгда я думаю было бы получше
второе — все дрочатся на какихто картинках или статистике, но наглухо отсутствует ( или я не нашел, по крайней мере не слышал ) скажем база обьектов в мире с описанием возможных свойств
с такой базой было бы повеселее
Здравствуйте, The Passenger, Вы писали:
TP>пока так и есть ( мое личное мнение, я пока только недавно начал и может чегото не знаю ) но это все просто потому что это еще довольно неизведанное поле TP>и дисциплины как таковой практически нет, так — набор общих математических правил — это как сравнить с придумыванием нового языка программирования
Чего? Оно еще с 60-х годов развивается. Интерес к нему то угасает, то опять становится популярным. Научных статей по ним море, кандидатских и докторских защищено в мире море. Там в общем то уже поле перепаханое на 10-ки раз.
Здравствуйте, steep8, Вы писали:
S>Чего? Оно еще с 60-х годов развивается. Интерес к нему то угасает, то опять становится популярным. Научных статей по ним море, кандидатских и докторских защищено в мире море. Там в общем то уже поле перепаханое на 10-ки раз.
я не спорю, но скажем программирование вообще было изобретено давно, но как дисциплина от паттернов проектирования, бест практицес и код стайлига до аджайла и таск трекеров
она сформировалась относительно недавно.
Или же скажем устройство нейрона — многие наработки появились только в 90х ... и я думаю вариации на тему устройства нейрона далеко не исчерпаны, а большинство научных статей основаны на сетях
из достаточно примитивных нейронов, и функции активации не отличаются особым многообразием ... но я Хайкина допрочитаю — тогда может диалог будет более предметным, а то я по факту спорю о вкусе устриц которых не ел
Здравствуйте, The Passenger, Вы писали:
TP>Здравствуйте, steep8, Вы писали:
S>>Чего? Оно еще с 60-х годов развивается. Интерес к нему то угасает, то опять становится популярным. Научных статей по ним море, кандидатских и докторских защищено в мире море. Там в общем то уже поле перепаханое на 10-ки раз.
TP>я не спорю, но скажем программирование вообще было изобретено давно, но как дисциплина от паттернов проектирования, бест практицес и код стайлига до аджайла и таск трекеров TP>она сформировалась относительно недавно.
Нет, мне эта аналогия совершенно не нравится. Современное программирование — очень сильно фрагментированная область, где в каждой группе свой устав, свои сводные правила. Эти правила и уставы часто взаимоисключающие. Возьмите для примера перепалки между сторонниками ООП и ФП. О том, что программирование сформировалось в нечто законченное говорить никак нельзя, и я думаю, что это скорее хорошо, признак постоянного развития, изменений.
Чуть ли не каждое десятилетие новый король, на смену которому приходит другой. Где теперь этот хваленный UML, от которого прохода не было в начале 2000-х? А где структурное программирование, которое было в названиях многих книг, которые теперь пылятся в забытых библиотеках в эпоху интернета?
Причем с изменением физических возможностей компьютеров и самих типовых решаемых задач меняется и мейнстрим программирования, хотя сама основа программирования остается практически неизменной на протяжении многих десятилетий.
Здравствуйте, dsorokin, Вы писали:
D>Нет, мне эта аналогия совершенно не нравится. Современное программирование — очень сильно фрагментированная область, где в каждой группе свой устав, свои сводные правила. Эти правила и уставы часто взаимоисключающие. Возьмите для примера перепалки между сторонниками ООП и ФП. О том, что программирование сформировалось в нечто законченное говорить никак нельзя, и я думаю, что это скорее хорошо, признак постоянного развития, изменений.
хз — по мне программирование все больше становится рутиной чем искусством — на каждый чих уже придуманы всевозможные бест практики
и развитие уже идет не теми темпами — в основном свистелки перделки
D>Чуть ли не каждое десятилетие новый король, на смену которому приходит другой. Где теперь этот хваленный UML, от которого прохода не было в начале 2000-х? А где структурное программирование, которое было в названиях многих книг, которые теперь пылятся в забытых библиотеках в эпоху интернета?
UML вполне себе идет как часть документации где есть более менее сложная архитектура и алгоритмы поведения — гораздо информативнее кода в комментах
структурного — в эмбеддед — валом
