Задумался о будущем и об области применения реляционных DWH и Big Data в России. Ну и о путях своего дальнейшего развития
Область применения классических DWH (SQL -хранилищ, построенных на Oracle, MSSQL, Teradata, ...):
1. Создание строгой отчетности по структурированным данным. Например, банковская отчетность для регуляторов(ЦБ), государственных структур, высшего менеджмента.
Здесь данные уже структурированы (например, денежные транзакции) и важна точность.
Область применения Big Data:
1. Поддержка принятия решений, где данных много, где данные неструктурированны, где нужен их анализ (Machine Learning).
Будущее в России:
1. Классические реляционные DWH останутся в крупных и средних компаниях (особенно в банках), где нужна отчетность для регуляторов, где данные структурированы.
2. BigData останется и будет там, где действительно много данных для реляционных хранилищ, где данные неструктурированны, и где есть хоть небольшая, но конкуренция, например, телеком, ретейл, банковские продукты, ориентированные не на корпоративный сектор. Где есть польза от принятия решений на основе анализа рынка.
3. Все больше OLTP и OLAP систем будет строиться на бесплатных реляционных СУБД типа PostgreSQL. Некоторые компании уже перешли и у многих в планах переход с дорогой РСУБД Oracle на PostgreSQL.
4. Много BigData проектов после всплеска интереса умрет, т.к. в России не развитая экономика и для многих направлений аналитика данных особенно не приносит дохода, т.к. проще договориться с кем нужно, чем основываясь на аналитике данных повышать продажи на 1%.
5. в BigData если и будут платить деньги выше среднего программиста, то только аналитикам BigData(которые знают Machine Learning), могут непосредственно давать советы бизнесу. А зарплаты программистов, например Spark, упадут.
6. Сейчас зарплаты программистов отчетности и ETL для классических DWH ниже зарплат Java программистов и в дальнейшем не будут расти, т.к. рынок DWH уже сформировался. Новых проектов на реляционных DWH почти нет. Остается поддержка и доработка существующих ETL процессов, поддержка отчетности. Специалистов сформировалось за годы внедрения DWH с начала 2000-х много.
7. BigData системы шире будут использоваться для ETL. BigData выполняет ETL, аггрегацию данных и меньшее количество аггрегированных данных записывает в РСУБД типа PostgreSQL для формирования отчетов с помощью BI.
Вопрос: согласны ли вы с данными выводами ?
Спасибо
