This morning, at their I/O Conference, Google revealed that they’re not using Map-Reduce to process data internally at all any more.
...
The truth is that Map-Reduce as a processing paradigm continues to be severely restrictive, and is no more than a subset of richer processing systems.
... ever since Dryad, in 2007 (at least), it was clear to me that Map-Reduce’s days were numbered.
http://the-paper-trail.org/blog/the-elephant-was-a-trojan-horse-on-the-death-of-map-reduce-at-google/
Google has abandoned MapReduce, the system for running data analytics jobs spread across many servers the company developed and later open sourced, in favor of a new cloud analytics system it has built called Cloud Dataflow.
...
“We don’t really use MapReduce anymore,” Hölzle said in his keynote presentation at the Google I/O conference in San Francisco Wednesday. The company stopped using the system “years ago.”
http://www.datacenterknowledge.com/archives/2014/06/25/google-dumps-mapreduce-favor-new-hyper-scale-analytics-system/
Ну и от Самих:
Yesterday, at Google I/O, you got a sneak peek of Google Cloud Dataflow, the latest step in our effort to make data and analytics accessible to everyone. You can use Cloud Dataflow:
for data integration and preparation (e.g. in preparation for interactive SQL in BigQuery)
to examine a real-time stream of events for significant patterns and activities
to implement advanced, multi-step processing pipelines to extract deep insight from datasets of any size
http://googlecloudplatform.blogspot.com/2014/06/sneak-peek-google-cloud-dataflow-a-cloud-native-data-processing-service.html
PS Разговоры об этом уже давно шли:
http://www.techopsguys.com/2010/09/12/google-waves-goodbye-to-mapreduce/
PPS Так что кто не успел изучить MapReduce — не расстраивайтесь, оно уже того
Здравствуйте, jazzer, Вы писали:
J>PPS Так что кто не успел изучить MapReduce — не расстраивайтесь, оно уже того
Интересно когда хайп бигдаты пройдет
Здравствуйте, jazzer, Вы писали:
J>Google has abandoned MapReduce, the system for running data analytics jobs spread across many servers the company developed and later open sourced, in favor of a new cloud analytics system it has built called Cloud Dataflow.
Немного подробностей по-русски от разработчика:
http://antilamer.livejournal.com/460568.html
Здравствуйте, D. Mon, Вы писали:
DM>Здравствуйте, jazzer, Вы писали:
J>>Google has abandoned MapReduce, the system for running data analytics jobs spread across many servers the company developed and later open sourced, in favor of a new cloud analytics system it has built called Cloud Dataflow.
DM>Немного подробностей по-русски от разработчика:
DM>http://antilamer.livejournal.com/460568.html
Ну да, пример кода как раз как здесь:
http://googlecloudplatform.blogspot.com/2014/06/sneak-peek-google-cloud-dataflow-a-cloud-native-data-processing-service.html
Здравствуйте, gandjustas, Вы писали:
G>Здравствуйте, jazzer, Вы писали:
J>>PPS Так что кто не успел изучить MapReduce — не расстраивайтесь, оно уже того
G>Интересно когда хайп бигдаты пройдет
А почему хайп? Ведь действительно данных сейчас удается собрать больше, чем большинство фирм (кроме больших игроков) способны осмысленно обработать за разумное время.
К слову, вот у нас на фирме крутится в каком-то смысле распределенный Эксель, работающий на кластере. И MapReduce для него — это тоже тривиальная операция, потому что в общем случае это кучерявый граф (как в Экселе, с зависимостями между клетками таблиц).
Здравствуйте, gandjustas, Вы писали:
J>>PPS Так что кто не успел изучить MapReduce — не расстраивайтесь, оно уже того
G>Интересно когда хайп бигдаты пройдет
Дык этой даты собирается МНОГО больше чем есть возможность обработать так как хочется.
