Вот, нашел статью от одной женщины из Microsoft-а как можно натыкать кнопок, даже без написания кода, и заставить нейронную сеть прогнозировать некую информацию: https://habr.com/company/microsoft/blog/325728/
Все делается в визуальном редакторе. Там же есть и возможность писать код, если потребуется.
И мне интересно. Раз все так уже автоматизировали — то, вероятно, для большинства случаев в этой профессии вообще код писать не придется. Т.е. специалист по машинному обучению и биг-дата — должен просто знать как собрать из кубиков и запустить нужный алгоритм, как то алгоритм Random Forest.
Ну или же чуть дописать кода, к примеру для трансформации/преобразования сложных данных.
Так или нет?
И еще, немного начал копать. Есть сейчас бесплатный курс, даже на русский перевели. Вот тут https://habr.com/company/ods/blog/322626/ А так же Google и MS предоставляют бесплатно сервера для обучения (у Google даже доспут по SSH можно получить, там же можно попробовать и битки генерить — видяха мощная).
Интересно что в этом курсе предупреждают, что без знания вышки курс пройти то можно, но перспективы карьерного роста не будет. Т.е. нейронки без знания математики мало полезны. Странно, а MS наоборот утверждает что ничегошеньки знать не нужно — нейронка все сделает типа за вас.
Такое ощущение что прямо затаскивают в эту сферу. Все дают, ты только учись. Зачем им это? Какая выгода для них?
Здравствуйте, Shmj, Вы писали:
S>Такое ощущение что прямо затаскивают в эту сферу. Все дают, ты только учись. Зачем им это? Какая выгода для них?
Эта область обещает потреблять вычислительные ресурсы и дисковое пространство облаков в ниибических масштабах. А это не хилый рынок. Но пока пользы не очень много и куда присунуть незнают.
Поэтому много шумихи, тьма конкурсов как в песне Газманова "А сотни тысяч слуг Засеяли бархан цветами, Но ждёт напрасно хан, Цветы его надежд завяли. Ну, хоть один! Нет, все лежат."
Например сейчас мегафон пытается понять нафига собирали столько данных и можно ли из них что-то полезное извлеч https://telecomdatacup.ru/ или хотя бы найти тех кто может.
S>И каковы перспективы всего этого?
В нашей стране у этого направления туманные перспективы. В основном всё сводятся к тому как побольше собрать бабок с населения и иногда пулумётам которые сами целятся выборочно стреляют.
Хотя есть более "позитивные" направления: попытки заменить врачей, таксистов и других людей.
Здравствуйте, kov_serg, Вы писали:
_>Поэтому много шумихи, тьма конкурсов как в песне Газманова "А сотни тысяч слуг Засеяли бархан цветами, Но ждёт напрасно хан, Цветы его надежд завяли. Ну, хоть один! Нет, все лежат."
Очень яркая аллегория
Но почему вы так категоричны? Есть же целые отделы так называемых аналитиков, польза труда которых весьма сомнительна. Добавят еще отдел аналитики с машинным обучением.
Microsoft просто продают продукт под видом что его может использовать не особо квалифицированный персонал (то есть там куча API прилично работающих из коробки, к которым нужно просто подключить данные из своих систем) — профит простой — плата за использование облачных ресурсов
Курс ODS изначально делался сотрудником Mail.ru и финалисты курса приглашались в Mail.ru на выпускной ивент и пособеседоваться, то же делает ряд других курсов.
Mail.ru судя по количеству публикуемых вакух нужны сотни людей на это направление, то же для Яндекса, то же для Сбербанка и прочих, перечисленные организации и качают ODS, спонсируют Data Fest (посмотри на юутубе, кстати, там со сцены рассказывают о применениии этого в перечисленных компаниях) который опять же hiring event
S>И каковы перспективы всего этого?
Народу входит много, в отличии от оперденей и веба, рабочих мест не так много,
поэтому в большинстве случаев от претендента хотят элитный математический бэкграунд за плечами,
но с кем общаюсь — реально делают интересные штуки, от которых их самих прет,
в общем программирование, которое очень ресерч
Оплачивается тоже неплохо (хотя в связи с возрастанием поголовья прошедшего курсы, тот же сбер уже не публикует вакухи за триста, а нанимает стажеров за писят)
Здравствуйте, mtnl, Вы писали:
M>Народу входит много, в отличии от оперденей и веба, рабочих мест не так много,
Много — это сколько? Посмотрел — курс прошли несколько сотен чел. Помоему 200 чел. Это много?
M>поэтому в большинстве случаев от претендента хотят элитный математический бэкграунд за плечами, M>но с кем общаюсь — реально делают интересные штуки, от которых их самих прет, M>в общем программирование, которое очень ресерч
Везде есть два эшелона:
1. Создающие алгоритмы.
2. Знающие протоколы и использующие алгоритмы.
Для 1 — нужен мат. бекграунд и таких людей реально мало. Но и работы этой мало — хороший рабочий алгоритм можно написать 1 раз и юзать его везде. Вот, для примера, тот же алгоритм сжатия видео для ютюбе — очень крутой, работать в этой области могут единицы. Но и не нужно много таких спецов. А вот умельцев обернуть и предоставить пользователям в виде софта или встраиваемого HTML-плеера — нужно поболее.
Вопрос мой такой — нужны ли будут спецы второго эшелона, у которых нет особых способностей и глубокого мат. бекграунда, но которые смогут сделать пред-обработку данных и заюзать нужные алгоритмы, подключить нужные библиотеки для обучения сетей и анализа?
Сейчас можно сказать только топовые проекты привлекают таких спецов. Широкий бизнес ничего про машинное обучение вообще не слышал.
S>Вопрос мой такой — нужны ли будут спецы второго эшелона, у которых нет особых способностей и глубокого мат. бекграунда, но которые смогут сделать пред-обработку данных и заюзать нужные алгоритмы, подключить нужные библиотеки для обучения сетей и анализа?
Для того, чтобы сделать предобработку, выбрать подходящий алгоритм, проделать анализ, оценить результаты, донести результаты до бизнеса, тоже нужен хороший бэкграунд. И этот бэкграунд получить и наработать нисколько не проще математического. Но и математический тоже нужен, так как всё самое интересное начинается не тогда, когда что-то получилось, а тогда, когда нихрена не получается, а сделать надо.
S>Вопрос мой такой — нужны ли будут спецы второго эшелона, у которых нет особых способностей и глубокого мат. бекграунда, но которые смогут сделать пред-обработку данных и заюзать нужные алгоритмы, подключить нужные библиотеки для обучения сетей и анализа?
Нужны, конечно. В плане математики таким людям нужны тервер и матстат, причем без фанатизма, ну и понимание что и как делают готовые алгоритмы ML, чтобы применять их осмысленно.
Чтобы быть хорошим программистом или админом СУБД необязательно иметь навыки или опыт разработки своего движка СУБД, примерно такая аналогия.
Но для твоего спеца второго эшелона будут очень востребованы навыки бизнес-анализа и понимание предметной области, чтобы сознавать, что имеет смысл вообще анализировать, а что нет.
Здравствуйте, Shmj, Вы писали:
S>И мне интересно. Раз все так уже автоматизировали — то, вероятно, для большинства случаев в этой профессии вообще код писать не придется. Т.е. специалист по машинному обучению и биг-дата — должен просто знать как собрать из кубиков и запустить нужный алгоритм, как то алгоритм Random Forest.
Не автоматизировали, писать код надо. И тут не надо смешивать ML и биг-дата: специалисты разные чаще всего.
S>Ну или же чуть дописать кода, к примеру для трансформации/преобразования сложных данных.
По факту, писать надо всегда.
S>И еще, немного начал копать. Есть сейчас бесплатный курс, даже на русский перевели. Вот тут https://habr.com/company/ods/blog/322626/ А так же Google и MS предоставляют бесплатно сервера для обучения (у Google даже доспут по SSH можно получить, там же можно попробовать и битки генерить — видяха мощная).
Никто ничего не переводил, ods — это крупнейшее русскоязычное сообщество, там уже 20 тысяч человек состоит, общаются. Курс этот не сторонний.
S>Такое ощущение что прямо затаскивают в эту сферу. Все дают, ты только учись. Зачем им это? Какая выгода для них?
Профессиональное развитие сообщества — это всегда хорошо. В итоге, представители ods стабильно берут несколько (а то и большую часть) призовых мест на различных соревнованиях.
S>И каковы перспективы всего этого?
Сообщества? Профессиональное русскоязычное коммьюнити. Я как-то приводил данные, что дата сайентистов за несколько лет стало намного больше, буквально с 10 до 500 тысяч человек в мире. В перспективе улучшится понимание причинно следственных связей между различными процессами, промышленные отрасли будут быстрее реагировать на изменения в мире, увеличится автоматизация самых разнообразных процессов.
Вопрос примерно такого же характера, как "кто такой программист?".
Там много областей знаний и областей применений. В общем программисты в области Machine Learning делятся на такие категории:
(1-2%) 1. Создатели библиотек, или реализаций конкретных моделей нейросетей или алгоритмов на конкретном железе. Это С++, часто CUDA и пр. Работают они в основном в гуянбуках.
(5%) 2. Создатели нишевых продуктов, решающих конкретную задачу, результатом которой является платное API или система. Обычно это питон, реже — плюса. В качестве основы используются библиотеки из п.1.
(5-10%) 3. Создатели автоматизированных решений для бизнеса. Используется модули и продукты из п.2. и объединяются в бизнес-решение. Тут могут быть любые языки программирования. К Machine Learning отношение такое, что нужно понимать как все эти библиотеки/алгоритмы работают (какие задачи выполняют и в целом что примерно внутри них).
(85%) 4. Собственно дата-сайнтесты, решающие задачи бизнеса по анализу конкретных данных. Это обычно питон и библиотеки из п.1. Глубокой мат. подготовки не нужно. Это самая распространенная группа.
Здравствуйте, sharpcoder, Вы писали:
S>Вопрос примерно такого же характера, как "кто такой программист?".
Не согласен со всем написанным.
Давай начнём с другой стороны — Data Scientist vs Data Analyst vs Data Engineer: тут и тут.
Реализовывать инструменты для машинного обучения и быть специалистом в машинном обучении — это совсем разные роли. Первые могут вообще мало понимать в обучении как таковом, а больше специализироваться на оптимизации и знать тонкости архитектур железа, а не тех же нейросетей.
Вся бигдата — это Data Engineer, а не Machine Learning Engineer, тут точно путать не надо. Если говорить о Machine Learning, то никакой бигдаты может и не быть, можно U-net обучить на минимуме медицинских снимков, как это было всего несколько лет назад.
Специалист по машинному обучению — это всё таки data scientist. Ему надо строить и обучать модели, пофиг в какой области и на каком языке (в основном Питон, но и Матлаб, R, Julia, C++).
Потом надо различать роли по выбору и обучению модели и по внедрению модели в продакшен (часто их выполняет один человек, но роли всё равно остаются разными). Те кто внедряет часто тоже не являются Machine Learning специалистами, просто программисты, которые берут модель, могут преобразовать её в другой формат, пилят inference (часто на С++), используют готовое API от производителя фреймворка или железа. Обучить можно на Питоне в PyTorch, а потом преобразовать модель в другой формат, оптимизировать её и запускать, например, из С++ на Intel OpenVINO. Inference в данном случае — это чисто программисткая задача, Machine Learning тут и боком не стоял.
Здравствуйте, De-Bill, Вы писали:
DB>Для того, чтобы сделать предобработку, выбрать подходящий алгоритм, проделать анализ, оценить результаты, донести результаты до бизнеса, тоже нужен хороший бэкграунд. И этот бэкграунд получить и наработать нисколько не проще математического.
Ну вы сравнили. Провести векторизацию и нормализацию — много ума не нужно. Ликбез по этому можно провести и для школьника за пару недель.
А вот написать самому с нуля новый тип нейросетевого алгоритма — это задача совсем другого уровня.
DB>Но и математический тоже нужен, так как всё самое интересное начинается не тогда, когда что-то получилось, а тогда, когда нихрена не получается, а сделать надо.
При использовании стандартных алгоритмов по-любому что-то да и получится — разница лишь в качестве прогнозирования.
Здравствуйте, TMU_1, Вы писали:
TMU>Нужны, конечно. В плане математики таким людям нужны тервер и матстат, причем без фанатизма, ну и понимание что и как делают готовые алгоритмы ML, чтобы применять их осмысленно.
S>Ну вы сравнили. Провести векторизацию и нормализацию — много ума не нужно.
Только вот подготовка и управление данными совершенно не ограничивается "векторизацией и нормализацией". А поиск, очистка, реорганизация данных может занимать так процентов 80 времени.
S>Ликбез по этому можно провести и для школьника за пару недель.
Ты, похоже, просто не в теме...
S>При использовании стандартных алгоритмов по-любому что-то да и получится — разница лишь в качестве прогнозирования.
Так можно сказать и про стандартный алгоритм random. Что-нибудь да получится. Точность будет только не очень. Бизнесу нужны решения, а не прогнозы ради прогнозов. Например, в некоторых случаях, если система классифицирует правильно меньше 97% объектов, то она нафиг никому не нужна. А использование "стандартных алгоритмов" сходу даёт точность 75%. И что дальше? И так практически всегда.
Здравствуйте, De-Bill, Вы писали:
DB>Только вот подготовка и управление данными совершенно не ограничивается "векторизацией и нормализацией". А поиск, очистка, реорганизация данных может занимать так процентов 80 времени.
Это да, времени занимает. Но много мозгов не нужно. Это стандартные задачи, которым обучить можно практически любого чела.
S>>При использовании стандартных алгоритмов по-любому что-то да и получится — разница лишь в качестве прогнозирования.
DB>Так можно сказать и про стандартный алгоритм random. Что-нибудь да получится. Точность будет только не очень. Бизнесу нужны решения, а не прогнозы ради прогнозов. Например, в некоторых случаях, если система классифицирует правильно меньше 97% объектов, то она нафиг никому не нужна. А использование "стандартных алгоритмов" сходу даёт точность 75%. И что дальше? И так практически всегда.
Попробовать другие варианты — кто-то быстрее найдет более подходящий а кто-то медленнее. Приходит с опытом. Но именно порог вхождения не большой.
S>Это да, времени занимает. Но много мозгов не нужно. Это стандартные задачи, которым обучить можно практически любого чела.
Твоё высказывание приблизительно уровня "практически любого чела можно научить писать на C++". Далеко не любого, и мозгов нужно прилично так.
S>Попробовать другие варианты — кто-то быстрее найдет более подходящий а кто-то медленнее. Приходит с опытом. Но именно порог вхождения не большой.
Порог вхождения — знание функции random, а дальше всё приходит с опытом. Но ты не прав про "пробовать другие варианты". Решение зачастую лежит совершенно не в области "попробовать другой алгоритм".
Здравствуйте, De-Bill, Вы писали:
DB>Твоё высказывание приблизительно уровня "практически любого чела можно научить писать на C++". Далеко не любого, и мозгов нужно прилично так.
Тогда выразите сложность количественно:
1. Писать на C++. Что именно писать, кстати? Стать универсальным спецом, которые может и сетевые стеки и графику и ядро СУБД?
2. Писать на C# (как то ядра магазинов и пр. делать).
3. Освоить Machine Learning на уровне достаточном для получения работы и выполнения реальных заданий.
4. Для наглядности — писать на PHP.
