J>Вопрос: согласны ли вы с данными выводами ?

Герман Оскарович, залогиньтесь!

Здравствуйте, Joz07, Вы писали:

J>Область применения классических DWH (SQL -хранилищ, построенных на Oracle, MSSQL, Teradata, ...):
J>1. Создание строгой отчетности по структурированным данным. Например, банковская отчетность для регуляторов(ЦБ), государственных структур, высшего менеджмента.
J>Здесь данные уже структурированы (например, денежные транзакции) и важна точность.
Ничего тут не структурировано, везде полный бардак, отчетность строится в экселе, это объективная реальность.

J>Будущее в России:
J>1. Классические реляционные DWH останутся в крупных и средних компаниях (особенно в банках), где нужна отчетность для регуляторов, где данные структурированы.
500 банков это не ниша и хрена с два они там останутся, все кто может соскакивает на сервисы

J>3. Все больше OLTP и OLAP систем будет строиться на бесплатных реляционных СУБД типа PostgreSQL. Некоторые компании уже перешли и у многих в планах переход с дорогой РСУБД Oracle на PostgreSQL.
Не будет. Потому что TCO. чтобы вкрячить в инфраструктуру очередной кусок говна нужно нанять и обучить специалистов как это обслуживать. В крупных организациях есть список разрешенного софта, и никаких mongodb mysql и прочих наколеночных поделок там нет и еще очень долго не будет. Может и вообще не будт, потому что стоимость аренды лицензий долгое время падала.

J>4. Много BigData проектов после всплеска интереса умрет, т.к. в России не развитая экономика и для многих направлений аналитика данных особенно не приносит дохода, т.к. проще договориться с кем нужно, чем основываясь на аналитике данных повышать продажи на 1%.
Те кому аналитика нужна ее давно делает, а BigData- просто баззворд, среди корп сектора я вообще не видел никакого интереса к нему

J>5. в BigData если и будут платить деньги выше среднего программиста, то только аналитикам BigData(которые знают Machine Learning), могут непосредственно давать советы бизнесу. А зарплаты программистов, например Spark, упадут.
Звучит смешно. Да никто из ЛПР не будет слушать какого-то там аналитика...

J>Вопрос: согласны ли вы с данными выводами ?
Мне сложно судить куда пойдет рынок в целом, но представление о применимости технологии в энтерпрайзе у вас в корне неверное

Здравствуйте, Joz07, Вы писали:

J>Задумался о будущем и об области применения реляционных DWH и Big Data в России. Ну и о путях своего дальнейшего развития

Почему именно реляционные? MSAS довольно распространен и нифига не реляционен (хотя был там tabular mode или что то такое).

Про бигдаты/хадупы жужжание уже больше 5 лет, на практике попадается очень редко.

Если зарплаты сравнивать, то они как обычно зависят от вашего умения работать и продавать себя. В аналитики бигдата с машинлернингом я бы не шёл, ни разу не видел чтобы бизнесу что-то давал это машинлернинг (хотя в BI платформах 100 лет есть всякие классификации-кластеризации, линейные регрессии и прочее).

Здравствуйте, Joz07, Вы писали:

J>Задумался о будущем и об области применения реляционных DWH и Big Data в России. Ну и о путях своего дальнейшего развития

Как бы смешно размышлять над будущем маркетингового лозунга ("BigData")...
Да, маркетинг будет жить, придумают ещё не одну чушь, обозначенную громкими яркими словами...


J>Вопрос: согласны ли вы с данными выводами ?

Нет.

Задумался о будущем и об области применения реляционных DWH и Big Data в России. Ну и о путях своего дальнейшего развития


Область применения классических DWH (SQL -хранилищ, построенных на Oracle, MSSQL, Teradata, ...):
1. Создание строгой отчетности по структурированным данным. Например, банковская отчетность для регуляторов(ЦБ), государственных структур, высшего менеджмента.
Здесь данные уже структурированы (например, денежные транзакции) и важна точность.


Область применения Big Data:
1. Поддержка принятия решений, где данных много, где данные неструктурированны, где нужен их анализ (Machine Learning).


Будущее в России:
1. Классические реляционные DWH останутся в крупных и средних компаниях (особенно в банках), где нужна отчетность для регуляторов, где данные структурированы.
2. BigData останется и будет там, где действительно много данных для реляционных хранилищ, где данные неструктурированны, и где есть хоть небольшая, но конкуренция, например, телеком, ретейл, банковские продукты, ориентированные не на корпоративный сектор. Где есть польза от принятия решений на основе анализа рынка.
3. Все больше OLTP и OLAP систем будет строиться на бесплатных реляционных СУБД типа PostgreSQL. Некоторые компании уже перешли и у многих в планах переход с дорогой РСУБД Oracle на PostgreSQL.
4. Много BigData проектов после всплеска интереса умрет, т.к. в России не развитая экономика и для многих направлений аналитика данных особенно не приносит дохода, т.к. проще договориться с кем нужно, чем основываясь на аналитике данных повышать продажи на 1%.
5. в BigData если и будут платить деньги выше среднего программиста, то только аналитикам BigData(которые знают Machine Learning), могут непосредственно давать советы бизнесу. А зарплаты программистов, например Spark, упадут.
6. Сейчас зарплаты программистов отчетности и ETL для классических DWH ниже зарплат Java программистов и в дальнейшем не будут расти, т.к. рынок DWH уже сформировался. Новых проектов на реляционных DWH почти нет. Остается поддержка и доработка существующих ETL процессов, поддержка отчетности. Специалистов сформировалось за годы внедрения DWH с начала 2000-х много.
7. BigData системы шире будут использоваться для ETL. BigData выполняет ETL, аггрегацию данных и меньшее количество аггрегированных данных записывает в РСУБД типа PostgreSQL для формирования отчетов с помощью BI.

Вопрос: согласны ли вы с данными выводами ?


Спасибо

Здравствуйте, rm822, Вы писали:

R>Те кому аналитика нужна ее давно делает, а BigData- просто баззворд, среди корп сектора я вообще не видел никакого интереса к нему

в целом согласен, тема редкая, хотя базворд часто повторяем уже лет 5 минимум.
но немного есть применений хадупа и hive (+pig и что там еще сопутствует) в реальном бизнесе. знаю минимум 2 примера — викимарт и вроде танки онлайн что то пытались.
плюс был реальный запрос от правительства москвы по обработке неструктурированной свалки документов, хотя это больше не к бигдата а больше к машинному пониманию текста.