Большие данные — новая нефть

Сбор и обработка больших данных поднимают процесс аналитики и планирования в промышленности на новый уровень. В нефтедобывающей отрасли обработка показателей со скважин во время буровых работ предоставляет предприятию множество прямых и косвенных выгод. Поговорим о существующих платформах и методах для работы с данными в нефтегазе.

Вызов для национальной экономики

Технологические решения для сбора данных сегодня активно используются нефтедобывающими компаниями. Системы автоматизации, АСУТП, SCADA, промысловые хранилища данных в виде баз данных, журналов, виртуальные модели скважин — операторы внедряют самые разнообразные платформы и инструменты. Но почти в 100% случаев эти инициативы не работают на полную мощность.

Нефтяные месторождения могут генеририровать за два дня около 5 экзабайтов данных. Это примерный объем всей информации, которая была создана людьми в цифровом виде до 2003 года. Такой поток цифр, показателей, отчетов и документов требует больших мощностей, надежных решений и грамотной аналитики, которые будут работать на решение поставленных бизнес-задач.

К сожалению, исходя из личного опыта, подавляющее большинство нефтегазовых операторов в Казахстане не используют весь потенциал информации. Данные хранятся на разных платформах, что не позволяет видеть реальные инсайты по производственным операциям и активам, более эффективно и экологично планировать свою деятельность на основе целостной картины происходящего.

Говоря проще, обычно работники на буровых установках живут своей жизнью, производственно-технические отделы — своей. Даже у таких глобальных гигантов отрасли, как французская Total Energies, не до конца продумана схема интеграции данных. Так, на их месторождении Дунга в Актау запущены десятки систем, которые собирают самую разную информацию — фиксируются скважинные данные с устья о трубном давлении, водяной линии и прочем, учет добычи поступает в системы. Но потенциал этих данных не использован до конца. Требуется в разы большая интеграция геологических и информационных систем, чтобы создать по-настоящему эффективное интегрированное месторождение.

Складывается парадоксальная ситуация. Нефтедобывающая отрасль лежит в основе экономической независимости Казахстана, но несмотря на это, большинство компаний не смогут в точности сказать, сколько сырья добывают из скважины. Многие операторы просто указывают собственные прогнозные планы или «подкручивают» их до уровня, который требует от нефтяников государство.

На рынке enterprise-решений сегодня существуют проверенные инструменты для аналитики данных и агрегации их в единую картину. Речь идет о корпоративных хранилищах данных, «озерах данных» (Data Lake) и разнообразных интеграционных шинах, которые технологически связывают уже используемые сервисы в эффективный инструмент добычи «новой нефти» — больших данных.

Выбор технологического решения

Для того, чтобы определиться с методикой, необходимо сформулировать бизнес-проблему: потребность, которую нужно решить за счет интеграционных платформ в рамках глобальных для компании процессов цифровизации. Что это будет — поиск более эффективных подходов к бурению, экономия времени, снижение рисков для рабочих — необходимо решить на этапе выбора инструмента. Подчеркну, что выбор цели, которая соответствует бизнес-стратегии компании, отвечает планам ее руководства, их видению будущего, — фундамент, без которого внедрение любого ИТ-сервиса превращается в игру с технологиями.

На начальном этапе внедрения инструментов для аналитики больших данных можно тестировать менее затратные в финансовом и инфраструктурном плане решения — интеграционные шины, среди которых есть и open source, и проприетарные версии. Интеграционная платформа с помощью стандартных инструментов (импорт/экспорт данных, поддержка API) увязывает разные уже развернутые системы. На старте разработки небольших месторождений она может стать базой для дальнейшего развития.

Масштабировать работу можно за счет «озера данных». Его создание потребует значительных вложений: заказчику будет необходимо инвестировать в серьезное аппаратное обеспечение, большую серверную инфраструктуру и вычислительные мощности. В случае больших месторождений, где объем производимых данных измеряется терабайтами, речь пойдет о строительстве собственных корпоративного хранилища данных (КХД) и/или центра обработки данных (ЦОД).

Решив вопрос аппаратного обеспечения, в зависимости от поставленных бизнес-задач компании следует приступить к процессу сортировки. В Data Lake должны попасть только те данные, которые работают на достижение сформулированной цели. Настройка системы происходит с учетом дискретности: необходимо определить временной период, спустя который информация обновляется, в каком виде — структурированном или неструктурированном — она попадает в хранилище.

Исходя из опыта работы по отстройке ИТ-инфраструктуры на нефтедобывающих предприятиях, в большинстве случаев я не вижу смысла отправлять в Data Lake высокочастотные данные или показатели телеметрии, которые будут только засорять систему. На практике в шаблон обычно включают координаты скважин, их паспорта, геопространственные данные.

Третьим этапом в процессе запуска «озера данных» станет обеспечение безопасности. Как правило, заказчику создают промежуточную зону, которая отделяет корпоративную сеть от общедоступной.

Финальной точкой станет вопрос интеграции с внедренными legacy-системами, которые не поддерживают API. Решить эту проблему можно посредством бэкапов, выгрузки данных в формате SQL. Для таких случаев могут создаваться проприетарные протоколы типа OPC DA, OPC UA для обмена данными и кроссплатформенной совместимости.

Data Lake дает большое преимущество компаниям, которые хотят видеть полноценную картину происходящего в реальном времени. Большой кластер продуктов — ERP-системы, в том числе 1С, SAP, платформы для складского учета — будет использовать полученную из «озера» информацию. Для позитивного эффекта также важно, чтобы эти системы без задержек «подпитывались» живыми данными.

Открытые возможности

Таким образом, Data Lake служит инструментом для интеграции данных, улучшая внутреннюю коллаборацию между департаментами. Решений, которые можно внедрять в сфере upstream, немало. Например, Schlumberger разработал один из самых популярных продуктов для интеграции в нефтедобывающей отрасли — облачный продукт Delfi. Он представляет собой набор специализированных возможностей: drill plan для бурения, решение для технологов и производственников и т. д. В Data Lake поступают данные, которые затем интерпретируются и поступают в готовом виде в модуль, который уже используется теми или иными экспертами.

Нужно учитывать, что интеграция данных чаще всего не дает видимого финансового эффекта, но приносит значительные результаты на поле операционной эффективности.

Во-первых, эксперты в геологии, геофизике могут заниматься тем, что они умеют и должны делать, вместо потери времени на ненужных в их непосредственной работе операциях — поиске и выгрузке данных. За счет интеграционных инструментов можно сфокусировать специалистов на их прямых задачах, чем повысить их эффективность.

Во-вторых, за счет того, что руководство и менеджмент вовремя получают полную картину происходящего, качество планирования вырастает в разы. Топы и руководители среднего звена получают возможность быстрее реагировать на изменения на рынке акций, стоимость активов, листинг, аудиты и прочее.

В-третьих, интеграция данных в целом улучшает внутреннюю коллаборацию между департаментами. Мы часто там наблюдаем настоящий хаос на нефтяных месторождениях, который отражается и на контрагентах. Хорошо отлаженное взаимодействие с Big Data, например, значительно упрощает работу складов.