Databricks бросает вызов Google DataFlow, предлагая сервис анализа потоковых данных

В компании Databricks, созданной участниками проекта Apache Spark, готовятся предложить основанный на его коде облачный сервис анализа данных. Подобно сервису Google DataFlow, анонсированному на прошлой неделе, Databrics Cloud позволит с помощью одной и той же модели программирования обрабатывать данные пакетно и в режиме реального времени. Сперва сервис будет предложен в ознакомительном варианте, а к концу года — в полномасштабном.

Как утверждают в Databricks, сервис рассчитан на иную аудиторию, чем DataFlow: если последний адресован разработчикам, то у Databricks также есть высокоуровневые интерфейсы для экспертов и инженеров по данным. Пользователи смогут выстраивать конвейеры обработки и работать с данными напрямую с помощью запросов. В компании подчеркивают, что рабочие задачи, созданные для ее сервиса, можно будет при необходимости переносить на другие развертывания Apache Spark.

Предлагая Spark в виде сервиса, компания избавляет пользователей от трудоемких задач настройки и сопровождения аналитической платформы, подчеркивают в Databricks. Дополнительно в компании будут предлагать набор готовых приложений, реализующих стандартные аналитические функции.