Фонд Apache опубликовал (https://blogs.apache.org/foundation/entry/the_apache_softwar...) релиз Apache Spark 1.0 (http://spark.apache.org), высокопроизводительного движка для обработки данных, хранящихся в кластере  Hadoop. По сравнению с предоставляемым в Hadoop механизмом MapReduce, Spark обеспечивает в 100 раз более высокую производительность при обработке данных в памяти и 10 раз при размещении данных на дисках. Решения на базе Spark уже внедрены в таких компаниях, как Alibaba, Cloudera, Databricks, IBM, Intel и Yahoo.

Движок может выполняться на узлах кластера Hadoop как при помощи Hadoop YARN, так и в обособленном режиме. Поддерживается обработка данных в хранилищах HDFS, HBase, Cassandra, Hive и любом формате ввода Hadoop (InputFormat). Spark может использоваться как в типичных сценариях обработки данных, похожих на MapReduce, так и для реализации специфичных методов, таких как потоковая обработка, SQL, интерактивные и аналитические запросы, решение задач машинного обучения и работа с графами. Приложения для обработки данных могут создаваться на языках Scala, Java и Python.

URL: https://blogs.apache.org/foundation/entry/the_apache_softwar...
Новость: http://www.opennet.me/opennews/art.shtml?num=39896