Вышел Apache Spark 1.0 — аналитический движок для Hadoop, работающий быстрее MapReduce

В организации Apache Software Foundation объявили о выходе первого готового к рабочему применению релиза Spark — программного механизма, позволяющего выполнять некоторые задачи анализа данных в Hadoop Distributed File System в сто раз быстрее стандартного MapReduce. Помимо скорости Spark обещает более высокую стабильность, чем ориентированные на поточную обработку фреймворки реального времени наподобие Twitter Storm.

С помощью Spark можно выполнять непрерывный анализ данных, поступающих в прямом эфире, а также, с помощью вспомогательной библиотеки, — решать вычислительно-сложные задачи, связанные с машинным обучением и обработкой графов.

Задачи Spark можно программировать на Java, Scala и Python. С версией 1.0 предлагается стабильный интерфейс программирования для взаимодействия со Spark и компонент Spark SQL для опроса структурированных данных.

Spark входит в дистрибутивы Hadoop от компаний Cloudera, Pivotal, IBM, Intel и MapR. Основанная разработчиками Spark компания Databricks предлагает платные услуги поддержки системы.