Перспективы работы в области реляционных DWH и Big Data в России
От: Joz07  
Дата: 08.05.17 20:11
Оценка:
Задумался о будущем и об области применения реляционных DWH и Big Data в России. Ну и о путях своего дальнейшего развития


Область применения классических DWH (SQL -хранилищ, построенных на Oracle, MSSQL, Teradata, ...):
1. Создание строгой отчетности по структурированным данным. Например, банковская отчетность для регуляторов(ЦБ), государственных структур, высшего менеджмента.
Здесь данные уже структурированы (например, денежные транзакции) и важна точность.


Область применения Big Data:
1. Поддержка принятия решений, где данных много, где данные неструктурированны, где нужен их анализ (Machine Learning).


Будущее в России:
1. Классические реляционные DWH останутся в крупных и средних компаниях (особенно в банках), где нужна отчетность для регуляторов, где данные структурированы.
2. BigData останется и будет там, где действительно много данных для реляционных хранилищ, где данные неструктурированны, и где есть хоть небольшая, но конкуренция, например, телеком, ретейл, банковские продукты, ориентированные не на корпоративный сектор. Где есть польза от принятия решений на основе анализа рынка.
3. Все больше OLTP и OLAP систем будет строиться на бесплатных реляционных СУБД типа PostgreSQL. Некоторые компании уже перешли и у многих в планах переход с дорогой РСУБД Oracle на PostgreSQL.
4. Много BigData проектов после всплеска интереса умрет, т.к. в России не развитая экономика и для многих направлений аналитика данных особенно не приносит дохода, т.к. проще договориться с кем нужно, чем основываясь на аналитике данных повышать продажи на 1%.
5. в BigData если и будут платить деньги выше среднего программиста, то только аналитикам BigData(которые знают Machine Learning), могут непосредственно давать советы бизнесу. А зарплаты программистов, например Spark, упадут.
6. Сейчас зарплаты программистов отчетности и ETL для классических DWH ниже зарплат Java программистов и в дальнейшем не будут расти, т.к. рынок DWH уже сформировался. Новых проектов на реляционных DWH почти нет. Остается поддержка и доработка существующих ETL процессов, поддержка отчетности. Специалистов сформировалось за годы внедрения DWH с начала 2000-х много.
7. BigData системы шире будут использоваться для ETL. BigData выполняет ETL, аггрегацию данных и меньшее количество аггрегированных данных записывает в РСУБД типа PostgreSQL для формирования отчетов с помощью BI.

Вопрос: согласны ли вы с данными выводами ?


Спасибо
Re: Перспективы работы в области реляционных DWH и Big Data в России
От: CEMb  
Дата: 10.05.17 02:25
Оценка: :)
J>Вопрос: согласны ли вы с данными выводами ?

Герман Оскарович, залогиньтесь!
also, it's desktop photo frame
Re: Перспективы работы в области реляционных DWH и Big Data в России
От: rm822 Россия  
Дата: 10.05.17 08:18
Оценка: -1
Здравствуйте, Joz07, Вы писали:

J>Область применения классических DWH (SQL -хранилищ, построенных на Oracle, MSSQL, Teradata, ...):

J>1. Создание строгой отчетности по структурированным данным. Например, банковская отчетность для регуляторов(ЦБ), государственных структур, высшего менеджмента.
J>Здесь данные уже структурированы (например, денежные транзакции) и важна точность.
Ничего тут не структурировано, везде полный бардак, отчетность строится в экселе, это объективная реальность.

J>Будущее в России:

J>1. Классические реляционные DWH останутся в крупных и средних компаниях (особенно в банках), где нужна отчетность для регуляторов, где данные структурированы.
500 банков это не ниша и хрена с два они там останутся, все кто может соскакивает на сервисы

J>3. Все больше OLTP и OLAP систем будет строиться на бесплатных реляционных СУБД типа PostgreSQL. Некоторые компании уже перешли и у многих в планах переход с дорогой РСУБД Oracle на PostgreSQL.

Не будет. Потому что TCO. чтобы вкрячить в инфраструктуру очередной кусок говна нужно нанять и обучить специалистов как это обслуживать. В крупных организациях есть список разрешенного софта, и никаких mongodb mysql и прочих наколеночных поделок там нет и еще очень долго не будет. Может и вообще не будт, потому что стоимость аренды лицензий долгое время падала.

J>4. Много BigData проектов после всплеска интереса умрет, т.к. в России не развитая экономика и для многих направлений аналитика данных особенно не приносит дохода, т.к. проще договориться с кем нужно, чем основываясь на аналитике данных повышать продажи на 1%.

Те кому аналитика нужна ее давно делает, а BigData- просто баззворд, среди корп сектора я вообще не видел никакого интереса к нему

J>5. в BigData если и будут платить деньги выше среднего программиста, то только аналитикам BigData(которые знают Machine Learning), могут непосредственно давать советы бизнесу. А зарплаты программистов, например Spark, упадут.

Звучит смешно. Да никто из ЛПР не будет слушать какого-то там аналитика...

J>Вопрос: согласны ли вы с данными выводами ?

Мне сложно судить куда пойдет рынок в целом, но представление о применимости технологии в энтерпрайзе у вас в корне неверное
Re[2]: Перспективы работы в области реляционных DWH и Big Data в России
От: sr_dev  
Дата: 10.05.17 09:35
Оценка:
Здравствуйте, rm822, Вы писали:

R>Те кому аналитика нужна ее давно делает, а BigData- просто баззворд, среди корп сектора я вообще не видел никакого интереса к нему


в целом согласен, тема редкая, хотя базворд часто повторяем уже лет 5 минимум.
но немного есть применений хадупа и hive (+pig и что там еще сопутствует) в реальном бизнесе. знаю минимум 2 примера — викимарт и вроде танки онлайн что то пытались.
плюс был реальный запрос от правительства москвы по обработке неструктурированной свалки документов, хотя это больше не к бигдата а больше к машинному пониманию текста.
Re: Перспективы работы в области реляционных DWH и Big Data в России
От: sr_dev  
Дата: 10.05.17 09:49
Оценка: +1
Здравствуйте, Joz07, Вы писали:

J>Задумался о будущем и об области применения реляционных DWH и Big Data в России. Ну и о путях своего дальнейшего развития


Почему именно реляционные? MSAS довольно распространен и нифига не реляционен (хотя был там tabular mode или что то такое).

Про бигдаты/хадупы жужжание уже больше 5 лет, на практике попадается очень редко.

Если зарплаты сравнивать, то они как обычно зависят от вашего умения работать и продавать себя. В аналитики бигдата с машинлернингом я бы не шёл, ни разу не видел чтобы бизнесу что-то давал это машинлернинг (хотя в BI платформах 100 лет есть всякие классификации-кластеризации, линейные регрессии и прочее).
Re: Перспективы работы в области реляционных DWH и Big Data в России
От: MasterZiv СССР  
Дата: 15.05.17 13:46
Оценка: +1
Здравствуйте, Joz07, Вы писали:

J>Задумался о будущем и об области применения реляционных DWH и Big Data в России. Ну и о путях своего дальнейшего развития


Как бы смешно размышлять над будущем маркетингового лозунга ("BigData")...
Да, маркетинг будет жить, придумают ещё не одну чушь, обозначенную громкими яркими словами...


J>Вопрос: согласны ли вы с данными выводами ?


Нет.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.