Здравствуйте, Joz07, Вы писали:
J>А что спрашивают на собеседованиях по BigData ?
J>Design Patterns спрашивают и какие в первую очередь?
Как мы выяснили выше в комментариях — у каждого своя биг-дата. Кто-то модели строит и анализирует, кто-то пайплайны налаживет и оптимизирует, кто-то инфраструктуру делает (flunk и spark), кто то вообще в вебе графики рисует (Angular). И каждый считает свою область биг-дата, потому что так теперь принято. И каждый прав.
Все кроме анализа и моделирования (ака ML) — это обычная инженерия и вопросы на собеседовании соответствующие. На позиции близкие к модным инструментам типа spark будут спрашивать про эти инструменты. Анализ и ML — это отдельная тема. Там навыки программирования чуть менее важны но много вопросов про ML и обработку данных (SQL, Python Pandas, или R).
Можете посоветовать книгу по Big Data (где встречаются все основные технологии Hadoop, Spark, ...), где много примеров. Желательно, чтобы примеры можно было с сайта скачать и запустить.
Можете посоветовать книгу по Big Data (где встречаются все основные технологии Hadoop, Spark, ...), где много примеров. Желательно, чтобы примеры можно было с сайта скачать и запустить.
Здравствуйте, Joz07, Вы писали:
J>Можете посоветовать книгу по Big Data (где встречаются все основные технологии Hadoop, Spark, ...), где много примеров. Желательно, чтобы примеры можно было с сайта скачать и запустить.
На русском я не в курсе. На английском довольно печально. Книги сильно отстают от развития Спарка, а меняется от очень быстро. За полтора года с версии 1.5 до 2.0 API практически полностью поменялся.
Это все конечно выглядит круто и модно (точнее выглядело 2 года назад) но по факту ничего в нем особенного нет. Нормальный ML он делать пока не научился, на кластерах часто приходится тюнить — больно уж прожорливый, с Питоном нормально не умеет работать. Одни растройства от этого спарка. На практике если есть возможность его не пользовать — то лучше ею воспользоваться.
J>А то в основном книги по терии Big Data, а хотелось бы со множеством примеров + обзор + все в одной книге.