Думаю в каком направлении дальше развиваться.
BigData или Enterprise/Web Java приложения.
Есть большой опыт в хранилищах данных + небольшой опыт в Java EE.
BigData
Плюсы
1) У меня есть опыт в классических реляционных хранилищах данных около 10 лет, поэтому BigData — это логическое продолжение хранилищ.
2) Вроде зарплаты пока неплохие от 150 000 можно получать
Минусы
1) Относительно небольшое относительно Java количество вакансий по Москве. На Хэдхантере со словом BgData около 29 штук. Из них разработчик-архитектор, где-то половина.
2) Неясные перспективы. Может быть наиграются c BigData и забросят.
Enterprise/Web Java приложения
Плюсы
1) Большое кол-во вакансий.
2) JAVA EE нужно будет еще лет 10-20, как минимум поддержка того, что сейчас наваяли.
Минусы
1) Высокая конкуренция.
2) Зарплаты сильно варьируются.
3) Если много заниматься фронтэндом на JavaScript, то можно получить нервный срыв от фреймворков с ошибками, трудностями отладки JavaScript, различными браузерами и т.д.
Здравствуйте, Joz07, Вы писали:
J>Думаю в каком направлении дальше развиваться. J>BigData или Enterprise/Web Java приложения. J>А вы бы что выбрали и почему ?
Пробуйте новое, бигдата как раз пока очень перспективна, энторпрайз никуда не денется через лет 5 точно а может и лет 10 (выпустят может пару новых спек и фреймворков но нерадикально)
Здравствуйте, Joz07, Вы писали:
J>Думаю в каком направлении дальше развиваться. J>BigData или Enterprise/Web Java приложения. J>Есть большой опыт в хранилищах данных + небольшой опыт в Java EE.
J>А вы бы что выбрали и почему ?
BigData. Вряд ли забросят, будут и дальше развивать.
BigData — это не хранилища данных, это больше статистические алгоритмы обработки данных, т.е. это мат. статистика, а не Hadoo, HBASE и прочее.
Здравствуйте, Joz07, Вы писали:
J>Думаю в каком направлении дальше развиваться. J>BigData или Enterprise/Web Java приложения. J>Есть большой опыт в хранилищах данных + небольшой опыт в Java EE.
J>BigData
На острие прогресса, движуха, фреммворки меняются каждые 2 года. Вряд ли туда первого встречного возьмут, только самых продвинутых.
J>Enterprise/Web Java приложения
Кал мамонта, интриги, туповатые коллеги, стабильность, болото булькает, фреммворки 10-15 летней давности.
Что выбрать- выглядеть дебилом на фоне коллег в бигдате, или выглядеть умным на фоне коллег в корпоративном вебе. Решать тебе.
Здравствуйте, Тёмчик, Вы писали:
J>>BigData Тё>На острие прогресса, движуха, фреммворки меняются каждые 2 года. Вряд ли туда первого встречного возьмут, только самых продвинутых.
Че за фреймворки? Вроде все сидят на R уже 30 лет. Молодые и дерзкие на 20 летнем Python-е.
А все эти хадупы и спарки — от лукавого. Пусть меняются хоть каждые пол года как javascript фреймворки. Они там погоды не делают лишь маркетинговый шум негоняют.
Здравствуйте, D. Petrov, Вы писали:
DP>А все эти хадупы и спарки — от лукавого. Пусть меняются хоть каждые пол года как javascript фреймворки. Они там погоды не делают лишь маркетинговый шум негоняют.
Flink и Spark. Akka. Angular4. Нет, можно конечно пилить кал мамонта, но зачем так жить? Скучно же.
Здравствуйте, Тёмчик, Вы писали:
DP>>А все эти хадупы и спарки — от лукавого. Пусть меняются хоть каждые пол года как javascript фреймворки. Они там погоды не делают лишь маркетинговый шум негоняют.
Тё>Flink и Spark. Akka. Angular4. Нет, можно конечно пилить кал мамонта, но зачем так жить? Скучно же.
Akka & Angular4? Какое они имеют отношение к big data? Родились примерно в одно время?
Здравствуйте, Joz07, Вы писали:
J>Думаю в каком направлении дальше развиваться. J>BigData или Enterprise/Web Java приложения.
А нигде в вакансиях эти множества не пересекаются? Логика подсказывает, что сидеть на двух стульях надёжнее. Хотя, разумеется, требуется широкий зад лоб.
Здравствуйте, D. Petrov, Вы писали:
DP>Здравствуйте, Тёмчик, Вы писали:
Тё>>Flink и Spark. Akka. Angular4. Нет, можно конечно пилить кал мамонта, но зачем так жить? Скучно же.
DP>Akka & Angular4? Какое они имеют отношение к big data? Родились примерно в одно время?
Здравствуйте, Joz07, Вы писали:
J>Думаю в каком направлении дальше развиваться. J>BigData или Enterprise/Web Java приложения. J>Есть большой опыт в хранилищах данных + небольшой опыт в Java EE.
я бы здесь взял и то и другое и еще анализ данных так как биг дата без анализа это как выпускник пту, если можно так выразиться.
а на будущее запланировал бы машинное обучение.
я для себя запланировал такой рост (вместо просмотра передачи "Время" и чтение всякой ерунды )
1) Java EE/Web (пока я тут)
2) Big Data
3) Вспомнить мат анализ статистику
4) Data Science
5) AI & ML
Конечно это предполагается на всю жизнь за 5 лет такое может и осилишь но сломаешься
Здравствуйте, dsorokin, Вы писали:
D>Например, Spark реализован на основе Akka.
Flink реализован на Akka. Оба Flink и Spark используют Kryo серилизацию. Может я не туда смотрел в Spark-е и пропустил его связь с Akka, но ядро на Scala там и там.
Здравствуйте, Тёмчик, Вы писали:
Тё>Flink реализован на Akka. Оба Flink и Spark используют Kryo серилизацию. Может я не туда смотрел в Spark-е и пропустил его связь с Akka, но ядро на Scala там и там.
Спарк на акка. Ну, да это и не важно... У меня просто другие представления о биг-дата — строить модели это оно, а все остальное — нет. Если про Спарк и т.п. еще к ним относится то веб-фреймворки уж точно нет. Хотя, сегодня у каждого своя биг-дата.
J>А вы бы что выбрали и почему ?
То, за что платят здесь и сейчас, и попутно то, что интересно.
Лично мне анализ данных и статистика асболютно неинтересны.
Мне это видится каким-то унылым счетоводством.
Это даже не инженерное направление.
Здравствуйте, D. Petrov, Вы писали:
DP>Спарк на акка. Ну, да это и не важно... У меня просто другие представления о биг-дата — строить модели это оно, а все остальное — нет. Если про Спарк и т.п. еще к ним относится то веб-фреймворки уж точно нет. Хотя, сегодня у каждого своя биг-дата.
Зависимости от Akka в pom-х spark-а не торчат. Если оно действительно на акка, я ожидал бы явных ушей в виде зависимостей и отнаследованных от Actor классов. В Flink они сразу на поверхности.
Ещё раз придётся мне, видимо, повториться- громкие "биг дата" указанных фреймворков оказались примитивным map-reduce, когда граф исполнения должен быть построен заранее, и точка входа исполнения в accumulator-е. Довольно узкозаточенное, не требующее каких-либо знаний применение, поэтому пришлось ковырять саму акку. Модель активных объектов оказалась довольно занятной парадигмой- как behavior tree, только асинхронный и интер-процессный.
Здравствуйте, namespace, Вы писали:
J>>А вы бы что выбрали и почему ? N>То, за что платят здесь и сейчас, и попутно то, что интересно. N>Лично мне анализ данных и статистика асболютно неинтересны. N>Мне это видится каким-то унылым счетоводством. N>Это даже не инженерное направление.
Ты прав — это больше работа для аналитиков. Но в принципе задачи интересные. По крайней мере, в первое время будет интересно, особенно, если создание корпоративных приложений надоело.
Здравствуйте, namespace, Вы писали:
N>Мне это видится каким-то унылым счетоводством.
Это конечно же счетоводство, но оно не более уныло чем программирование. В целом — все, как обычно, зависит от задач, новый проект или поддержка.
N>Это даже не инженерное направление.
Как я вижу, именно сейчас это потихоньку и превращается из науки в инженерное дело.
DP>Это конечно же счетоводство, но оно не более уныло чем программирование. В целом — все, как обычно, зависит от задач, новый проект или поддержка. DP>Как я вижу, именно сейчас это потихоньку и превращается из науки в инженерное дело.
Инженерия подразумевает созидание. Здесь же, после того, как все устаканится, останется пара нишевых продуктов анализа.
Посадят вас в отдел маркетинга и будете там искать в данных взаимосвязи, которых нет.
Здравствуйте, namespace, Вы писали:
N>Инженерия подразумевает созидание. Здесь же, после того, как все устаканится, останется пара нишевых продуктов анализа.
Все примерно так и будет. Только вот масштаб изменений значительно больше. Пара нишевых продуктов появится практически в каждой области. Плюс десятки продуктов второго эшелона. Достаточно вспомнить, что принесли предыдущие волны прогресса: cloud computing, web-development, databased и т.п.
N>Посадят вас в отдел маркетинга и будете там искать в данных взаимосвязи, которых нет.
Кто не готов развиватья, вероятно, тем и закончат.
Здравствуйте, Joz07, Вы писали:
J>А что спрашивают на собеседованиях по BigData ?
J>Design Patterns спрашивают и какие в первую очередь?
Как мы выяснили выше в комментариях — у каждого своя биг-дата. Кто-то модели строит и анализирует, кто-то пайплайны налаживет и оптимизирует, кто-то инфраструктуру делает (flunk и spark), кто то вообще в вебе графики рисует (Angular). И каждый считает свою область биг-дата, потому что так теперь принято. И каждый прав.
Все кроме анализа и моделирования (ака ML) — это обычная инженерия и вопросы на собеседовании соответствующие. На позиции близкие к модным инструментам типа spark будут спрашивать про эти инструменты. Анализ и ML — это отдельная тема. Там навыки программирования чуть менее важны но много вопросов про ML и обработку данных (SQL, Python Pandas, или R).
Можете посоветовать книгу по Big Data (где встречаются все основные технологии Hadoop, Spark, ...), где много примеров. Желательно, чтобы примеры можно было с сайта скачать и запустить.
Можете посоветовать книгу по Big Data (где встречаются все основные технологии Hadoop, Spark, ...), где много примеров. Желательно, чтобы примеры можно было с сайта скачать и запустить.
Здравствуйте, Joz07, Вы писали:
J>Можете посоветовать книгу по Big Data (где встречаются все основные технологии Hadoop, Spark, ...), где много примеров. Желательно, чтобы примеры можно было с сайта скачать и запустить.
На русском я не в курсе. На английском довольно печально. Книги сильно отстают от развития Спарка, а меняется от очень быстро. За полтора года с версии 1.5 до 2.0 API практически полностью поменялся.
Это все конечно выглядит круто и модно (точнее выглядело 2 года назад) но по факту ничего в нем особенного нет. Нормальный ML он делать пока не научился, на кластерах часто приходится тюнить — больно уж прожорливый, с Питоном нормально не умеет работать. Одни растройства от этого спарка. На практике если есть возможность его не пользовать — то лучше ею воспользоваться.
J>А то в основном книги по терии Big Data, а хотелось бы со множеством примеров + обзор + все в одной книге.