IBM продвигает идею потоковых вычислений

IBM предлагает инструментарий организации потоковых вычислений. Новый программный продукт корпорации, как утверждается, позволяет анализировать одновременно тысячи потоков данных, в том числе связанных с разворачивающимися в реальном времени событиями. Результаты этого анализа способны помочь организациям решить самые сложные проблемы. За семь лет работы над этой технологией IBM оформила более 100 патентов. Сейчас решение переходит из стадии прототипа в стадию коммерческого продукта, получившего название System S.

В основу потоковых вычислений IBM положила кардинально иной подход к обработке данных, позволяющий анализировать их в постоянно обновляемых потоках информации, получаемых из множества источников, а не из статических файлов, загруженных ранее в хранилище данных. «System S может анализировать одновременно сотни или даже тысячи потоков данных — котировок акций, сведений о розничных продажах, прогнозов погоды и т. д., причем результаты анализа выдаются практически мгновенно. Это именно то, что нужно руководителям, от которых требуется быстро принимать решения, — говорится в заявлении IBM. — Программное обеспечение поможет всем организациям, которые должны реагировать на меняющиеся условия в реальном времени. Это госструктуры и правоохранительные органы, финансовые институты, сети розничной торговли, транспортные предприятия, медицинские учреждения и многие другие».

Инструментарий организации потоковых вычислений от IBM уже используют Шведский институт космической физики, Ирландский институт биологии моря и TD Securities. TD Securities применяет System S для анализа информации о сделках с ценными бумагами, получаемой со скоростью более 5 млн. бит в микросекунду, чтобы быстрее принимать решения, связанные с операциями на бирже. Проектом, посвященным потоковым вычислениям и впервые анонсированным два года назад, руководил Нагуи Халим; участвовало в проекте 80 человек. Халим уточнил, что созданное в рамках инициативы программное обеспечение предназначено для крупномасштабных кластеров Linux-серверов. Стоимость программной системы может варьироваться от 100 тыс. до 1 млн долл. в зависимости от размера кластера. Вместо файлов и каталогов System S обрабатывает данные в потоках, которые Халим сравнил с окнами в Microsoft Windows, поскольку они предоставляют инструмент для взаимодействия пользователя с системой. «Здесь поток становится ‘живым’ объектом, к которому вы подключаетесь и который обрабатываете, — пояснил он. — Можно попросить предоставить один поток или десять потоков, называть их, включать и отключать, вести их мониторинг. Потоки становятся базовыми элементами организации источников информации». Халим отметил, что разработчикам пришлось решать множество серьезных задач в самых разных областях — математике, связи, планировании, восстановлении после сбоя и работе в сети. «Оглядываясь назад, можно сказать, что потребовалось несколько итераций, чтобы выбрать правильный язык, — сказал он. — Мы попробовали несколько различных подходов и после третьей или четвертой попытки остановились — я в этом совершенно убежден — на очень мощном решении».

Известны и другие системы, которые обрабатывают данные в реальном времени по мере появления информации из внешних источников, но Халим подчеркнул, что System S, созданная IBM, отличается высочайшими показателями производительности и масштабируемости, а также самыми широкими аналитическими возможностями. В Дублине корпорация IBM открыла центр Stream Computing Center, который занимается исследованиями, оказывает поддержку пользователям и проводит тестирование. Пробная версия кода System S уже выпущена, а инструментарий разработчика и адаптеры помогут пользователям разобраться в возможностях программного обеспечения и понять, какую пользу оно принесет их бизнесу. В IBM не сообщают, планируется ли организовать доступ к System S через Web в рамках модели хостинга.