ET>Хочу начать осваивать питон и ai.
Если Python, то это не AI, а ML. AI — это больше к PowerPoint. Шутка. ET>подскажите с чего начать?
Сильно зависит от того, чем хочешь заниматься (ML большой), и где территориально находишься. Сейчас самый простой путь, как мне кажется:
1. https://habr.com/ru/company/ods/blog/438940/
2. https://opendatascience.slack.com
3. https://www.kaggle.com/
4. Поиск работы на начальную позицию и начальную зарплату.
А уж там как попрёт.
S>Я сейчас беру статистику. И если статистика не добъет, то буду S>покупть сертификат и для ML&DL курса.
Думаю, что начинать сейчас ML с хорошей статистики и математики — это как начинать путь PHP программиста с книг Кнута. Оно как бы хорошо и полезно, если ты студент и у тебя есть вагон времени, в других случаях лучше ML начинать c вызова fit/predict и высокоуровневых курсов, где самое хардкорное — это взятие производной и умножение матриц, а также делать то, что поможет устроиться на реальную работу по этой теме.
Здравствуйте, De-Bill, Вы писали:
DB>Думаю, что начинать сейчас ML с хорошей статистики и математики — это как начинать путь PHP программиста с книг Кнута. Оно как бы хорошо и полезно, если ты студент и у тебя есть вагон времени, в других случаях лучше ML начинать c вызова fit/predict и высокоуровневых курсов, где самое хардкорное — это взятие производной и умножение матриц, а также делать то, что поможет устроиться на реальную работу по этой теме.
Абсолютно согласен, только вместо Кнута нужно подсавить ассемблер. Точнее будет. Из того, что я читал в интернете на енту тему, не утихают споры про разницу в статистике и ML,
чуть ли енто не одно и тоже, только названия немного разные. Тут к сожалению, отсутсвтие какого-либо вменяемого менторства и моя дотошность понимать азы играют немаловажную роль.
Далее, нужно же как-то понимать, как работют тот же fit/predict под капотом? Ну какой смысл как обезъяне вызывать ф-ии едва ли имея представление как оне работают?
Шаг влево или шаг вправо расстрел? Без тервера\статистики и линейки многие вещи, кмк, оттуда просто непонять. Т.е. искусственно ограничить себя уровнем каких-то api,
без возможности читать и понимать работы в этой области, которые штампуются как пирожки -- https://paperswithcode.com/
Еще такой момент\вопрос -- меня смущает в ентой отрасли огромное кол-во молодежи. Т.е. если взять какие-нибудь чисто технические выступление, там люди en-masse ~35 лет, тут же, если
смотреть по всяким лекциям и по публике на одс, средний возрас ~25 лет. Почему так? Мне не кажется это направление легким,
а вот что оно оченно к мат. подготовке требовательно, и огромное кол-во людей, которые математику знают или не забыли, отлично там себя чувствуют.
S>смотреть по всяким лекциям и по публике на одс, средний возрас ~25 лет. Почему так?
Потому что пока ты мучаешься с математикой, они решают задачки на kaggle, участвуют в хакатонах и собираются на митингах. Пока ты разбираешься со статистикой, они устраиваются на работу и получают реальный опыт.
Здравствуйте, De-Bill, Вы писали:
S>>смотреть по всяким лекциям и по публике на одс, средний возрас ~25 лет. Почему так?
DB>Потому что пока ты мучаешься с математикой, они решают задачки на kaggle, участвуют в хакатонах и собираются на митингах. Пока ты разбираешься со статистикой, они устраиваются на работу и получают реальный опыт.
Все так, я это осознаю. Но я не могу с ними в этом плане конкурировать, поскольку у меня предпомоечный возраст(), а им ~25 и оне готовы работать за ~80т. руб.
Я же при смене работы собираюсь просить не менее 150т, ну может и 120т. устроят, если увижу реальную перспективу. Короче, при прочих равных незнаниях оне готовы
получать существенно меньше. Ситуация действительно тупиковая, ибо есть ощущение что за этим будущее и хочется вскочить в этот уходящий поезд. С другой стороны,
никаких особых знаний в общем, ни в частном типа cv или nlp у меня нет. Поэтому приходитя добирать, тратя самый ценный ресурс, время.
Знал бы прикуп...
ЗЫ:Меня больше интересует возможность фриланса в этой или смежной сфере. Не знаю, насколько это будет реально, а-ля веб-дизайнер начала 00-х.
Здравствуйте, De-Bill, Вы писали:
ET>>Хочу начать осваивать питон и ai. DB>Если Python, то это не AI, а ML. AI — это больше к PowerPoint. Шутка.
тут в другом отделе планируется проект. у них в требованиях automation anywhere + python.
Я правильно понял что это как программирование в шарепойнте? то есть ты просто с помощью питона обучаешь готовую систему?
DB>Сильно зависит от того, чем хочешь заниматься (ML большой), и где территориально находишься. Сейчас самый простой путь, как мне кажется:
Какие области есть?
В идеале, чтобы легко найти удаленку и местный офис иностранной конторы с хорошей зп и потом переехать в штаты.
DB>4. Поиск работы на начальную позицию и начальную зарплату.
ну как то хх дает до 200. не густо. или не так ищу?
DB>А уж там как попрёт.
много вообще работы и насколько легко найти в Мск\мире?
Какие вилки зп?
Здравствуйте, Sharov, Вы писали:
S>kaggle для портфолио и навыков (я лично пока не созрел, т.к. в теории слаб)
если есть база, то я бы советовал полезть в кагл
сразу получишь и опыт на реальных задачах
сейчас там можно форкнуться от какого нибудь успешного крнела и сразу вылезти в первую половину а то и выше
если еще почитать обсуждения — там тоже много чего интересного
но я както в мл разочаровался после этого — по сути дела все уже используют готовые модели и ансамбли из них
никто нового не изобретает, надо тупо иметь железный зад надрачивая почти рандомно разные параметры, метрики и функции потерь.
даже лидеры слабо объясняют как получили результат — типа мы попробовали вот так вот и стало лучше.
к тому же авто МЛ активно наступает на пятки — читал как чувак на компетишине от сбербанка взял 5е место тупо используя
автоМЛ от h2o
дальше думаю будет хуже — несколько большеголовых дядек будут пилить автомлы а остальные будут их тупо юзать
поэтому я както забил на леарнинг ( попробуйте меня переубедить )
думаю хайп уже начал спадать, дальше больше
есть перспектива с реинфорсмент — но там надо много времени и мозгов без гарантрованного выхлопа, что мне не подходит
Здравствуйте, The Passenger, Вы писали:
TP>Здравствуйте, Sharov, Вы писали:
S>>kaggle для портфолио и навыков (я лично пока не созрел, т.к. в теории слаб)
TP>если есть база, то я бы советовал полезть в кагл
Что подразумевается под базой? Думается, что у меня ее нет.
TP>сразу получишь и опыт на реальных задачах TP>сейчас там можно форкнуться от какого нибудь успешного крнела и сразу вылезти в первую половину а то и выше TP>если еще почитать обсуждения — там тоже много чего интересного
Блин, хотелось бы с ментором. Все-таки один много времени потеряю.
TP>но я както в мл разочаровался после этого — по сути дела все уже используют готовые модели и ансамбли из них TP>никто нового не изобретает, надо тупо иметь железный зад надрачивая почти рандомно разные параметры, метрики и функции потерь. TP>даже лидеры слабо объясняют как получили результат — типа мы попробовали вот так вот и стало лучше.
TP>к тому же авто МЛ активно наступает на пятки — читал как чувак на компетишине от сбербанка взял 5е место тупо используя TP>автоМЛ от h2o TP>дальше думаю будет хуже — несколько большеголовых дядек будут пилить автомлы а остальные будут их тупо юзать TP>поэтому я както забил на леарнинг ( попробуйте меня переубедить ) TP>думаю хайп уже начал спадать, дальше больше
А какие у Вас были видения и взгляды на технологию, когда только начинали изучать вопрос? Веб вон тоже глох в начале 00-х. Сейчас
технология выходит на плато, это уже не хайп, это уже данность, как сайт у компании в середине 00-х. А у Вас это хобби или работаете с этим, ml инженер?
Еще вопрос -- как думаете, если у данной отрасли возможность работы на фрилансе?
TP>есть перспектива с реинфорсмент — но там надо много времени и мозгов без гарантрованного выхлопа, что мне не подходит
Времени на что, на изучение темы или обучения сетей?
все что я напишу мое личное имхо человека, который не считает себя профи в этом деле, скорее любителем, поэтому сужу субъективно
со своей не очень высокой колокольни.
TP>>если есть база, то я бы советовал полезть в кагл
S>Что подразумевается под базой? Думается, что у меня ее нет.
ну меня очень интересовало и интересует компьютерное зрение, прежде чем участвовать в соревнованиях я в принципе проштудировал пару книг
и представлял как работает сверточная сеть, полносвязные слои, что такое функция потерь, какие бывают, приблизительно представлял как работает обучение и бэкпропагейшен
так же почему обучение мнибатчами работает лучше, почему и как работает пулинг, кое какое представление о регуляризации в обучении и learning rate,
как определить оверфи стинг ттинг, важность первоначальной инициализации весов ( поиск всегда идет по локальному минимуму )
Основные архитектуры начиная с lenet кончая всякими извращенными вариантаими u-net c блоками inception residual ( о последнем я уже узнал на кагле )
дальше — практика — с keras работать вообще одно удовольствие, так же на последних компетициях много лидеров работало с fastai но я пока его не мотрел.
fastai — за время компетиции они выпустили несколько релизов — так что растет очень быстро
S>Блин, хотелось бы с ментором. Все-таки один много времени потеряю.
ну я полагал как раз этот раздел форума должен помогать
TP>>дальше думаю будет хуже — несколько большеголовых дядек будут пилить автомлы а остальные будут их тупо юзать TP>>поэтому я както забил на леарнинг ( попробуйте меня переубедить ) TP>>думаю хайп уже начал спадать, дальше больше
S>А какие у Вас были видения и взгляды на технологию, когда только начинали изучать вопрос? Веб вон тоже глох в начале 00-х. Сейчас S>технология выходит на плато, это уже не хайп, это уже данность, как сайт у компании в середине 00-х. А у Вас это хобби или работаете с этим, ml инженер?
хаха — я недавно с этим чуваком в контакте посрался, на тему того что нет в сетях никакого ни интеллекта ни мышления
для меня лично — это большая вероятностная база данных ( уже не звучит как интеллект )
другое дело реинфорсмент ... но и он, по моему в зачаточном состоянии
по поводу перспектив — в 90х 2000х каждый уважающий себя программист писал свою stl ну и где они сейчас?
Думаю тоже ждет машинное обучение — будут крутые библиотеки, которые будешь только пользовать имея смутное представление о том что там под капотом ... опять же мое имхо
почти все разработчики за последний год два выпустили свои автомл, они еще молодые и слабые, и ручные сети пока получше, но думаю лет за 5 обрастут мясом,
и после этого ты будешь либо их разрабатывать либо использовать ... для меня вероятность их разрабатывать выглядит призрачной
как мне видиться сча идет борьба кто будет главным\by default по автомл
о практике:
я немного поработал на одном проекте — но потом его прикрыли ... но это было больше похоже на обучение чем на реальную работу
S>Еще вопрос -- как думаете, если у данной отрасли возможность работы на фрилансе?
Я смотрел — нашел мало, может не там искал
хотя машинное обучение поделилось на направления — у каждого своя специфика, я смотрел по компьютерному зрению
TP>>есть перспектива с реинфорсмент — но там надо много времени и мозгов без гарантрованного выхлопа, что мне не подходит
S>Времени на что, на изучение темы или обучения сетей?
S>>Что подразумевается под базой? Думается, что у меня ее нет.
TP>ну меня очень интересовало и интересует компьютерное зрение, прежде чем участвовать в соревнованиях я в принципе проштудировал пару книг
Я тоже в сторону cv посматриваю. Какие книги читали? Я пока подобрал https://www.ozon.ru/context/detail/id/135933819/ и https://www.ozon.ru/context/detail/id/19898948/.
TP>и представлял как работает сверточная сеть, полносвязные слои, что такое функция потерь, какие бывают, приблизительно представлял как работает обучение и бэкпропагейшен TP>так же почему обучение мнибатчами работает лучше, почему и как работает пулинг, кое какое представление о регуляризации в обучении и learning rate, TP>как определить оверфи стинг ттинг, важность первоначальной инициализации весов ( поиск всегда идет по локальному минимуму ) TP>Основные архитектуры начиная с lenet кончая всякими извращенными вариантаими u-net c блоками inception residual ( о последнем я уже узнал на кагле )
У меня ентих знаний пока нет, я начал было читать Николенко по DL, но он сходу засыпал терминами типа MAP, KL distance, MLE и т.д. Сейчас я откапываюсь
митовскими курсами на edx по статистике. Можно читать и не зная все это, но мне такой подход не очень...
TP>дальше — практика — с keras работать вообще одно удовольствие, так же на последних компетициях много лидеров работало с fastai но я пока его не мотрел. TP>fastai — за время компетиции они выпустили несколько релизов — так что растет очень быстро
TP>ну я полагал как раз этот раздел форума должен помогать
Для обучения ентот форум не айс, так курилка. Слишком мало народу читает и дисперсия навыков у народа большая. Тут надо в сторону ods смотреть.
Хотя свою команду для kaggle можем организовать.
TP>>>дальше думаю будет хуже — несколько большеголовых дядек будут пилить автомлы а остальные будут их тупо юзать TP>>>поэтому я както забил на леарнинг ( попробуйте меня переубедить ) TP>>>думаю хайп уже начал спадать, дальше больше
Наоборот, сейчас уже спец. железно типа нейропроцессоров и проч. подгонят. Кмк, данное напраление активно развивается.
S>>А какие у Вас были видения и взгляды на технологию, когда только начинали изучать вопрос? Веб вон тоже глох в начале 00-х. Сейчас S>>технология выходит на плато, это уже не хайп, это уже данность, как сайт у компании в середине 00-х. А у Вас это хобби или работаете с этим, ml инженер?
TP>по поводу перспектив — в 90х 2000х каждый уважающий себя программист писал свою stl ну и где они сейчас? TP>Думаю тоже ждет машинное обучение — будут крутые библиотеки, которые будешь только пользовать имея смутное представление о том что там под капотом ... опять же мое имхо TP>почти все разработчики за последний год два выпустили свои автомл, они еще молодые и слабые, и ручные сети пока получше, но думаю лет за 5 обрастут мясом, TP>и после этого ты будешь либо их разрабатывать либо использовать ... для меня вероятность их разрабатывать выглядит призрачной TP>как мне видиться сча идет борьба кто будет главным\by default по автомл
Никакой интриги, гугл и\или фб.
TP>о практике: TP>я немного поработал на одном проекте — но потом его прикрыли ... но это было больше похоже на обучение чем на реальную работу
S>>Еще вопрос -- как думаете, если у данной отрасли возможность работы на фрилансе?
TP>Я смотрел — нашел мало, может не там искал TP>хотя машинное обучение поделилось на направления — у каждого своя специфика, я смотрел по компьютерному зрению
Вроде как инструменты для разметки данных вполне непаханное поле, или ошибаюсь?
Здравствуйте, Sharov, Вы писали:
TP>>Я смотрел — нашел мало, может не там искал TP>>хотя машинное обучение поделилось на направления — у каждого своя специфика, я смотрел по компьютерному зрению
S>Вроде как инструменты для разметки данных вполне непаханное поле, или ошибаюсь?
пожалуй разметка данных и выделение фич — это да, будет только расти я думаю
первый том можно найти в сети ... два других чудом попались по случаю, так просто их не найти, но в них ничего такого чтобы они столько стоили, тем более немного устарели уже
), а им ~25 и оне готовы работать за ~80т. руб. 
... но это было больше похоже на обучение чем на реальную работу