Re[5]: BigData или Enterprise/Web Java приложения
От: Joz07  
Дата: 25.03.17 05:49
Оценка:
Спасибо большое,

А что спрашивают на собеседованиях по BigData ?

Design Patterns спрашивают и какие в первую очередь?

Спасибо
Re[5]: BigData или Enterprise/Web Java приложения
От: Joz07  
Дата: 25.03.17 05:51
Оценка: :)
Спасибо большое,

а что спрашивают на собеседованиях по Big Data ?
Design Patterns спрашивают и какие в первую очередь?

Спасибо
Re[6]: BigData или Enterprise/Web Java приложения
От: D. Petrov США  
Дата: 25.03.17 18:20
Оценка:
Здравствуйте, Joz07, Вы писали:

J>А что спрашивают на собеседованиях по BigData ?


J>Design Patterns спрашивают и какие в первую очередь?


Как мы выяснили выше в комментариях — у каждого своя биг-дата. Кто-то модели строит и анализирует, кто-то пайплайны налаживет и оптимизирует, кто-то инфраструктуру делает (flunk и spark), кто то вообще в вебе графики рисует (Angular). И каждый считает свою область биг-дата, потому что так теперь принято. И каждый прав.

Все кроме анализа и моделирования (ака ML) — это обычная инженерия и вопросы на собеседовании соответствующие. На позиции близкие к модным инструментам типа spark будут спрашивать про эти инструменты. Анализ и ML — это отдельная тема. Там навыки программирования чуть менее важны но много вопросов про ML и обработку данных (SQL, Python Pandas, или R).
Re[7]: BigData или Enterprise/Web Java приложения
От: Joz07  
Дата: 29.03.17 11:23
Оценка:
Можете посоветовать книгу по Big Data (где встречаются все основные технологии Hadoop, Spark, ...), где много примеров. Желательно, чтобы примеры можно было с сайта скачать и запустить.

Нашел пока только одну по Spark: Big Data Analytics with Spark: A Practitioner's Guide to Using Spark for Large Scale Data Analysis (https://www.amazon.com/Big-Data-Analytics-Spark-Practitioners/dp/1484209656).

А то в основном книги по терии Big Data, а хотелось бы со множеством примеров + обзор + все в одной книге.

Спасибо
Re[8]: BigData или Enterprise/Web Java приложения
От: Joz07  
Дата: 29.03.17 11:24
Оценка:
Можете посоветовать книгу по Big Data (где встречаются все основные технологии Hadoop, Spark, ...), где много примеров. Желательно, чтобы примеры можно было с сайта скачать и запустить.

Нашел пока только одну по Spark: Big Data Analytics with Spark: A Practitioner's Guide to Using Spark for Large Scale Data Analysis (https://www.amazon.com/Big-Data-Analytics-Spark-Practitioners/dp/1484209656).

А то в основном книги по терии Big Data, а хотелось бы со множеством примеров + обзор + все в одной книге.

Спасибо
Re[9]: BigData или Enterprise/Web Java приложения
От: D. Petrov США  
Дата: 30.03.17 08:44
Оценка: 2 (1)
Здравствуйте, Joz07, Вы писали:

J>Можете посоветовать книгу по Big Data (где встречаются все основные технологии Hadoop, Spark, ...), где много примеров. Желательно, чтобы примеры можно было с сайта скачать и запустить.


На русском я не в курсе. На английском довольно печально. Книги сильно отстают от развития Спарка, а меняется от очень быстро. За полтора года с версии 1.5 до 2.0 API практически полностью поменялся.

Его родные доки на английском вполне годные:
http://spark.apache.org/docs/latest/quick-start.html
http://spark.apache.org/docs/latest/sql-programming-guide.html

Можно скачать Spark на рабочий комп и запускать в standalone режиме без Hadoop-а и кластера.

Я в свое время искал реальные сценарии но так ничего и не нашел. Пришлось самому написать пару блог постов про то как делать МЛ на Спарке на 30Гб датасете. 2 года назад это было внушительно. Оно работало out-of-memory даже на моем старом лаптопе с 4Гб памяти.
Вот: https://fullstackml.com/beginners-guide-apache-spark-machine-learning-scenario-with-a-large-input-dataset-1f0c6bc53f8f

То же самое но для python:
https://fullstackml.com/beginners-guide-apache-spark-python-machine-learning-scenario-with-a-large-input-dataset-3fd1c319bbc

Это все конечно выглядит круто и модно (точнее выглядело 2 года назад) но по факту ничего в нем особенного нет. Нормальный ML он делать пока не научился, на кластерах часто приходится тюнить — больно уж прожорливый, с Питоном нормально не умеет работать. Одни растройства от этого спарка. На практике если есть возможность его не пользовать — то лучше ею воспользоваться.

J>А то в основном книги по терии Big Data, а хотелось бы со множеством примеров + обзор + все в одной книге.


Читай про ML на Python или R.
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.