Re: BigData или Enterprise/Web Java приложения
От: Тёмчик жж
Дата: 20.03.17 02:53
Оценка: +2
Здравствуйте, Joz07, Вы писали:

J>Думаю в каком направлении дальше развиваться.

J>BigData или Enterprise/Web Java приложения.
J>Есть большой опыт в хранилищах данных + небольшой опыт в Java EE.


J>BigData

На острие прогресса, движуха, фреммворки меняются каждые 2 года. Вряд ли туда первого встречного возьмут, только самых продвинутых.

J>Enterprise/Web Java приложения

Кал мамонта, интриги, туповатые коллеги, стабильность, болото булькает, фреммворки 10-15 летней давности.

Что выбрать- выглядеть дебилом на фоне коллег в бигдате, или выглядеть умным на фоне коллег в корпоративном вебе. Решать тебе.
LIVE camera in Dee Why: http://www.coastalwatch.com/surf-cams-surf-reports/nsw/dee-why
Re[9]: BigData или Enterprise/Web Java приложения
От: D. Petrov США  
Дата: 30.03.17 08:44
Оценка: 2 (1)
Здравствуйте, Joz07, Вы писали:

J>Можете посоветовать книгу по Big Data (где встречаются все основные технологии Hadoop, Spark, ...), где много примеров. Желательно, чтобы примеры можно было с сайта скачать и запустить.


На русском я не в курсе. На английском довольно печально. Книги сильно отстают от развития Спарка, а меняется от очень быстро. За полтора года с версии 1.5 до 2.0 API практически полностью поменялся.

Его родные доки на английском вполне годные:
http://spark.apache.org/docs/latest/quick-start.html
http://spark.apache.org/docs/latest/sql-programming-guide.html

Можно скачать Spark на рабочий комп и запускать в standalone режиме без Hadoop-а и кластера.

Я в свое время искал реальные сценарии но так ничего и не нашел. Пришлось самому написать пару блог постов про то как делать МЛ на Спарке на 30Гб датасете. 2 года назад это было внушительно. Оно работало out-of-memory даже на моем старом лаптопе с 4Гб памяти.
Вот: https://fullstackml.com/beginners-guide-apache-spark-machine-learning-scenario-with-a-large-input-dataset-1f0c6bc53f8f

То же самое но для python:
https://fullstackml.com/beginners-guide-apache-spark-python-machine-learning-scenario-with-a-large-input-dataset-3fd1c319bbc

Это все конечно выглядит круто и модно (точнее выглядело 2 года назад) но по факту ничего в нем особенного нет. Нормальный ML он делать пока не научился, на кластерах часто приходится тюнить — больно уж прожорливый, с Питоном нормально не умеет работать. Одни растройства от этого спарка. На практике если есть возможность его не пользовать — то лучше ею воспользоваться.

J>А то в основном книги по терии Big Data, а хотелось бы со множеством примеров + обзор + все в одной книге.


Читай про ML на Python или R.
Re: BigData или Enterprise/Web Java приложения
От: white_znake  
Дата: 19.03.17 19:20
Оценка: +1
Здравствуйте, Joz07, Вы писали:

J>Думаю в каком направлении дальше развиваться.

J>BigData или Enterprise/Web Java приложения.
J>Есть большой опыт в хранилищах данных + небольшой опыт в Java EE.

J>А вы бы что выбрали и почему ?


BigData. Вряд ли забросят, будут и дальше развивать.
BigData — это не хранилища данных, это больше статистические алгоритмы обработки данных, т.е. это мат. статистика, а не Hadoo, HBASE и прочее.
Re[5]: BigData или Enterprise/Web Java приложения
От: Joz07  
Дата: 25.03.17 05:51
Оценка: :)
Спасибо большое,

а что спрашивают на собеседованиях по Big Data ?
Design Patterns спрашивают и какие в первую очередь?

Спасибо
BigData или Enterprise/Web Java приложения
От: Joz07  
Дата: 19.03.17 08:57
Оценка:
Думаю в каком направлении дальше развиваться.
BigData или Enterprise/Web Java приложения.
Есть большой опыт в хранилищах данных + небольшой опыт в Java EE.


BigData
Плюсы
1) У меня есть опыт в классических реляционных хранилищах данных около 10 лет, поэтому BigData — это логическое продолжение хранилищ.
2) Вроде зарплаты пока неплохие от 150 000 можно получать

Минусы
1) Относительно небольшое относительно Java количество вакансий по Москве. На Хэдхантере со словом BgData около 29 штук. Из них разработчик-архитектор, где-то половина.
2) Неясные перспективы. Может быть наиграются c BigData и забросят.


Enterprise/Web Java приложения
Плюсы
1) Большое кол-во вакансий.
2) JAVA EE нужно будет еще лет 10-20, как минимум поддержка того, что сейчас наваяли.

Минусы
1) Высокая конкуренция.
2) Зарплаты сильно варьируются.
3) Если много заниматься фронтэндом на JavaScript, то можно получить нервный срыв от фреймворков с ошибками, трудностями отладки JavaScript, различными браузерами и т.д.

А вы бы что выбрали и почему ?

Спасибо
Re: BigData или Enterprise/Web Java приложения
От: javacoder Россия http://upwork.com/freelancers/~016e5772d90cce5fd1
Дата: 19.03.17 10:51
Оценка:
Здравствуйте, Joz07, Вы писали:

J>Думаю в каком направлении дальше развиваться.

J>BigData или Enterprise/Web Java приложения.
J>А вы бы что выбрали и почему ?

Пробуйте новое, бигдата как раз пока очень перспективна, энторпрайз никуда не денется через лет 5 точно а может и лет 10 (выпустят может пару новых спек и фреймворков но нерадикально)
java шараги -> enterprise галеры, банки -> highload/bigdata/ml стартапы => Upwork $$$
Re[2]: BigData или Enterprise/Web Java приложения
От: D. Petrov США  
Дата: 20.03.17 05:58
Оценка:
Здравствуйте, Тёмчик, Вы писали:

J>>BigData

Тё>На острие прогресса, движуха, фреммворки меняются каждые 2 года. Вряд ли туда первого встречного возьмут, только самых продвинутых.

Че за фреймворки? Вроде все сидят на R уже 30 лет. Молодые и дерзкие на 20 летнем Python-е.

А все эти хадупы и спарки — от лукавого. Пусть меняются хоть каждые пол года как javascript фреймворки. Они там погоды не делают лишь маркетинговый шум негоняют.
Отредактировано 20.03.2017 5:59 D. Petrov . Предыдущая версия .
#datascience #bigdata #humor
Re[3]: BigData или Enterprise/Web Java приложения
От: Тёмчик жж
Дата: 20.03.17 14:44
Оценка:
Здравствуйте, D. Petrov, Вы писали:

DP>А все эти хадупы и спарки — от лукавого. Пусть меняются хоть каждые пол года как javascript фреймворки. Они там погоды не делают лишь маркетинговый шум негоняют.


Flink и Spark. Akka. Angular4. Нет, можно конечно пилить кал мамонта, но зачем так жить? Скучно же.
LIVE camera in Dee Why: http://www.coastalwatch.com/surf-cams-surf-reports/nsw/dee-why
Re[4]: BigData или Enterprise/Web Java приложения
От: D. Petrov США  
Дата: 21.03.17 07:21
Оценка:
Здравствуйте, Тёмчик, Вы писали:

DP>>А все эти хадупы и спарки — от лукавого. Пусть меняются хоть каждые пол года как javascript фреймворки. Они там погоды не делают лишь маркетинговый шум негоняют.


Тё>Flink и Spark. Akka. Angular4. Нет, можно конечно пилить кал мамонта, но зачем так жить? Скучно же.


Akka & Angular4? Какое они имеют отношение к big data? Родились примерно в одно время?
Re[5]: BigData или Enterprise/Web Java приложения
От: Тёмчик жж
Дата: 21.03.17 20:15
Оценка:
Здравствуйте, D. Petrov, Вы писали:

DP>Akka & Angular4? Какое они имеют отношение к big data? Родились примерно в одно время?


Бигдата это вообще базворд какой-то. Куча народа носится с map-reduce, а шаг влево-шаг вправо и флинк с спарком тухнут. ангулар4 для дашборда.
LIVE camera in Dee Why: http://www.coastalwatch.com/surf-cams-surf-reports/nsw/dee-why
Re: BigData или Enterprise/Web Java приложения
От: mgu  
Дата: 22.03.17 01:38
Оценка:
Здравствуйте, Joz07, Вы писали:

J>Думаю в каком направлении дальше развиваться.

J>BigData или Enterprise/Web Java приложения.

А нигде в вакансиях эти множества не пересекаются? Логика подсказывает, что сидеть на двух стульях надёжнее. Хотя, разумеется, требуется широкий зад лоб.
Re[5]: BigData или Enterprise/Web Java приложения
От: dsorokin Россия  
Дата: 22.03.17 05:33
Оценка:
Здравствуйте, D. Petrov, Вы писали:

DP>Здравствуйте, Тёмчик, Вы писали:


Тё>>Flink и Spark. Akka. Angular4. Нет, можно конечно пилить кал мамонта, но зачем так жить? Скучно же.


DP>Akka & Angular4? Какое они имеют отношение к big data? Родились примерно в одно время?


Например, Spark реализован на основе Akka.
Re: BigData или Enterprise/Web Java приложения
От: InfoPilot  
Дата: 22.03.17 07:10
Оценка:
Здравствуйте, Joz07, Вы писали:

J>Думаю в каком направлении дальше развиваться.

J>BigData или Enterprise/Web Java приложения.
J>Есть большой опыт в хранилищах данных + небольшой опыт в Java EE.

я бы здесь взял и то и другое и еще анализ данных так как биг дата без анализа это как выпускник пту, если можно так выразиться.
а на будущее запланировал бы машинное обучение.

я для себя запланировал такой рост (вместо просмотра передачи "Время" и чтение всякой ерунды )

1) Java EE/Web (пока я тут)
2) Big Data
3) Вспомнить мат анализ статистику
4) Data Science
5) AI & ML

Конечно это предполагается на всю жизнь за 5 лет такое может и осилишь но сломаешься
Отредактировано 22.03.2017 7:12 InfoPilot . Предыдущая версия .
Re[6]: BigData или Enterprise/Web Java приложения
От: Тёмчик жж
Дата: 22.03.17 07:13
Оценка:
Здравствуйте, dsorokin, Вы писали:

D>Например, Spark реализован на основе Akka.


Flink реализован на Akka. Оба Flink и Spark используют Kryo серилизацию. Может я не туда смотрел в Spark-е и пропустил его связь с Akka, но ядро на Scala там и там.
LIVE camera in Dee Why: http://www.coastalwatch.com/surf-cams-surf-reports/nsw/dee-why
Re[7]: BigData или Enterprise/Web Java приложения
От: D. Petrov США  
Дата: 22.03.17 09:12
Оценка:
Здравствуйте, Тёмчик, Вы писали:

Тё>Flink реализован на Akka. Оба Flink и Spark используют Kryo серилизацию. Может я не туда смотрел в Spark-е и пропустил его связь с Akka, но ядро на Scala там и там.


Спарк на акка. Ну, да это и не важно... У меня просто другие представления о биг-дата — строить модели это оно, а все остальное — нет. Если про Спарк и т.п. еще к ним относится то веб-фреймворки уж точно нет. Хотя, сегодня у каждого своя биг-дата.
Re: BigData или Enterprise/Web Java приложения
От: namespace  
Дата: 22.03.17 09:55
Оценка:
J>А вы бы что выбрали и почему ?
То, за что платят здесь и сейчас, и попутно то, что интересно.
Лично мне анализ данных и статистика асболютно неинтересны.
Мне это видится каким-то унылым счетоводством.
Это даже не инженерное направление.
Re[8]: BigData или Enterprise/Web Java приложения
От: Тёмчик жж
Дата: 22.03.17 10:21
Оценка:
Здравствуйте, D. Petrov, Вы писали:

DP>Спарк на акка. Ну, да это и не важно... У меня просто другие представления о биг-дата — строить модели это оно, а все остальное — нет. Если про Спарк и т.п. еще к ним относится то веб-фреймворки уж точно нет. Хотя, сегодня у каждого своя биг-дата.


Зависимости от Akka в pom-х spark-а не торчат. Если оно действительно на акка, я ожидал бы явных ушей в виде зависимостей и отнаследованных от Actor классов. В Flink они сразу на поверхности.
Ещё раз придётся мне, видимо, повториться- громкие "биг дата" указанных фреймворков оказались примитивным map-reduce, когда граф исполнения должен быть построен заранее, и точка входа исполнения в accumulator-е. Довольно узкозаточенное, не требующее каких-либо знаний применение, поэтому пришлось ковырять саму акку. Модель активных объектов оказалась довольно занятной парадигмой- как behavior tree, только асинхронный и интер-процессный.
LIVE camera in Dee Why: http://www.coastalwatch.com/surf-cams-surf-reports/nsw/dee-why
Re[2]: BigData или Enterprise/Web Java приложения
От: white_znake  
Дата: 22.03.17 15:08
Оценка:
Здравствуйте, namespace, Вы писали:

J>>А вы бы что выбрали и почему ?

N>То, за что платят здесь и сейчас, и попутно то, что интересно.
N>Лично мне анализ данных и статистика асболютно неинтересны.
N>Мне это видится каким-то унылым счетоводством.
N>Это даже не инженерное направление.

Ты прав — это больше работа для аналитиков. Но в принципе задачи интересные. По крайней мере, в первое время будет интересно, особенно, если создание корпоративных приложений надоело.
Re[6]: BigData или Enterprise/Web Java приложения
От: rlt  
Дата: 22.03.17 17:20
Оценка:
D>Например, Spark реализован на основе Akka.

В Spark былаAkka, начиная со второй версии акку выпилили и заменили на Netty. Ну и к тому же она никогда не было и близко основой парка
Re[2]: BigData или Enterprise/Web Java приложения
От: D. Petrov США  
Дата: 22.03.17 18:56
Оценка:
Здравствуйте, namespace, Вы писали:

N>Мне это видится каким-то унылым счетоводством.


Это конечно же счетоводство, но оно не более уныло чем программирование. В целом — все, как обычно, зависит от задач, новый проект или поддержка.

N>Это даже не инженерное направление.


Как я вижу, именно сейчас это потихоньку и превращается из науки в инженерное дело.
Re[3]: BigData или Enterprise/Web Java приложения
От: namespace  
Дата: 23.03.17 10:26
Оценка:
DP>Это конечно же счетоводство, но оно не более уныло чем программирование. В целом — все, как обычно, зависит от задач, новый проект или поддержка.
DP>Как я вижу, именно сейчас это потихоньку и превращается из науки в инженерное дело.
Инженерия подразумевает созидание. Здесь же, после того, как все устаканится, останется пара нишевых продуктов анализа.
Посадят вас в отдел маркетинга и будете там искать в данных взаимосвязи, которых нет.
Re[4]: BigData или Enterprise/Web Java приложения
От: D. Petrov США  
Дата: 24.03.17 17:17
Оценка:
Здравствуйте, namespace, Вы писали:

N>Инженерия подразумевает созидание. Здесь же, после того, как все устаканится, останется пара нишевых продуктов анализа.


Все примерно так и будет. Только вот масштаб изменений значительно больше. Пара нишевых продуктов появится практически в каждой области. Плюс десятки продуктов второго эшелона. Достаточно вспомнить, что принесли предыдущие волны прогресса: cloud computing, web-development, databased и т.п.

N>Посадят вас в отдел маркетинга и будете там искать в данных взаимосвязи, которых нет.


Кто не готов развиватья, вероятно, тем и закончат.
Re[5]: BigData или Enterprise/Web Java приложения
От: Joz07  
Дата: 25.03.17 05:49
Оценка:
Спасибо большое,

А что спрашивают на собеседованиях по BigData ?

Design Patterns спрашивают и какие в первую очередь?

Спасибо
Re[6]: BigData или Enterprise/Web Java приложения
От: D. Petrov США  
Дата: 25.03.17 18:20
Оценка:
Здравствуйте, Joz07, Вы писали:

J>А что спрашивают на собеседованиях по BigData ?


J>Design Patterns спрашивают и какие в первую очередь?


Как мы выяснили выше в комментариях — у каждого своя биг-дата. Кто-то модели строит и анализирует, кто-то пайплайны налаживет и оптимизирует, кто-то инфраструктуру делает (flunk и spark), кто то вообще в вебе графики рисует (Angular). И каждый считает свою область биг-дата, потому что так теперь принято. И каждый прав.

Все кроме анализа и моделирования (ака ML) — это обычная инженерия и вопросы на собеседовании соответствующие. На позиции близкие к модным инструментам типа spark будут спрашивать про эти инструменты. Анализ и ML — это отдельная тема. Там навыки программирования чуть менее важны но много вопросов про ML и обработку данных (SQL, Python Pandas, или R).
Re[7]: BigData или Enterprise/Web Java приложения
От: Joz07  
Дата: 29.03.17 11:23
Оценка:
Можете посоветовать книгу по Big Data (где встречаются все основные технологии Hadoop, Spark, ...), где много примеров. Желательно, чтобы примеры можно было с сайта скачать и запустить.

Нашел пока только одну по Spark: Big Data Analytics with Spark: A Practitioner's Guide to Using Spark for Large Scale Data Analysis (https://www.amazon.com/Big-Data-Analytics-Spark-Practitioners/dp/1484209656).

А то в основном книги по терии Big Data, а хотелось бы со множеством примеров + обзор + все в одной книге.

Спасибо
Re[8]: BigData или Enterprise/Web Java приложения
От: Joz07  
Дата: 29.03.17 11:24
Оценка:
Можете посоветовать книгу по Big Data (где встречаются все основные технологии Hadoop, Spark, ...), где много примеров. Желательно, чтобы примеры можно было с сайта скачать и запустить.

Нашел пока только одну по Spark: Big Data Analytics with Spark: A Practitioner's Guide to Using Spark for Large Scale Data Analysis (https://www.amazon.com/Big-Data-Analytics-Spark-Practitioners/dp/1484209656).

А то в основном книги по терии Big Data, а хотелось бы со множеством примеров + обзор + все в одной книге.

Спасибо
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.