OSDU: что нужно знать об открытых стандартах работы с данными в нефтегазе
В плане работы с данными нефтегазовые компании всегда представляли собой довольно закрытый мир, в каждой компании использовался свой специфический набор программных платформ. Ввиду растущей глобализации такая модель уже устарела, сегодня от компаний требуется большая гибкость и восприимчивость к новым технологиям, но с учетом специфики отрасли. Для решения этой проблемы был разработан открытый международный стандарт OSDU.
Пора меняться
Успешная деятельность организаций нефтегазового сектора сегодня во многом зависит от эффективной обработки больших данных. Крупнейшие мировые компании оперируют сотням терабайт ценной информации о результатах геологических изысканий, ресурсах месторождений и других аспектах, связанных с добычей полезных ископаемых. Неудивительно, что именно добывающие компании всегда активно использовали цифровые технологии. Правда, была здесь и своя специфика — каждый игрок этого очень привлекательного рынка строил собственную «цифровую крепость», где вся ИТ-экосистема и данные замыкались в основном внутри организации. Учитывая масштабы нефтегазовых компаний и сложность решаемых ими задач, такой подход десятилетиями показывал высокую эффективность, а главное существенно снижал риск потери ценных сведений. В результате это привело к полной разнородности ИТ-архитектур и структур данных у компаний отрасли.
До последнего времени этот фактор не являлся большой проблемой, хотя прозорливые умы догадывались об ограниченности такого подхода еще в 80-х, и рекомендовали вырабатывать единые ИТ-стандарты для всей отрасли. Но, чем дальше, тем больше процесс разведки и добычи полезных ископаемых требует широкого использования самых передовых методов обработки информации, основанных на технологиях искусственного интеллекта, машинного обучения, интернета вещей, больших данных и т.д. Проблема в том, что все перечисленное развивается, главным образом, в рамках открытых платформ, принципы и технологии которых не сочетаются с очень закрытыми и уникальными ИТ-инфраструктурами нефтегазовых компаний. Назрела необходимость в разработке платформы, которая бы позволила эффективно интегрировать новые технологии с существующими системами добывающих компаний. И решение было найдено в форме разработки открытого стандарта Open Subsurface Data Universe (OSDU).
OSDU — суть явления
Идея создания платформы данных с открытым исходным кодом впервые была четко оформлена в 2018 г., когда в рамках глобального технологического консорциума The Open Group был организован форум OSDU, учредителями которого стали девять нефтегазовых компаний — BP, Royal Dutch Shell, Chevron Corporation, ExxonMobil и другие. Изначально, участники планировали разработать новые подходы, обеспечивающие возможность более широкого применения распространенных ИТ-технологий для решения наиболее актуальных проблем энергетической отрасли. Очень быстро к работе объединения присоединились и другие крупные организации — не только добывающие, но и консалтинговые, академические, ИТ-компании — всего более двухсот на сегодняшний день.
Участники OSDU, в числе которых, к слову, «Газпром нефть», продолжают трудиться над созданием единых стандартов управления данными в энергетической отрасли. Причем процесс этот происходит буквально на наших глазах. Первые комплексные спецификации, охватывающие вопросы построения архитектур, допустимых типов данных, использования интерфейсов прикладного программирования (API) переноса пользовательских данных, появились только весной 2021 г. (хотя, рекомендации по отдельным вопросам, например, связанным с миграцией в облако, появляются с 2019 г.). Применение универсальной платформы OSDU, как ожидается, не только откроет пути для более продуктивного использования данных в энергетическом секторе, но и позволит многократно сократить расходы и время, необходимые на разработку, тестирование и внедрение цифровых продуктов. А это, в конечном итоге, приведет к снижению финансовых и временных затрат на разработку новых месторождений.
По своей сути OSDU — это открытая платформа, а значит, участники ее разработки неизбежно должны делиться своими наработками и данными, что для компаний нефтегазовой отрасли не всегда приемлемо. Чтобы разрешить это противоречие, логическая архитектура OSDU состоит из двух основных частей — competitive («конкурентная») и non-competitive («не конкурентная»). Первая из них открытая и содержит стандартизованные сервисы сбора, обработки и контроля качества данных. Вторая часть закрытая, она объединяет уникальные сервисы, приложения, алгоритмы и методологии, которые являются «ноу-хау» конкретной компании. И, главное, сами данные логически отделены от программного слоя и остаются в монопольном распоряжении их владельцев.
Преимущества открытых платформ
Архитектура OSDU позволяет всем участникам процесса обмениваться наработками и вести совместные исследования, не опасаясь того, что уникальные разработки или, тем более, данные, составляющие коммерческую тайну, попадут к коллегам-конкурентам или третьим лицам. Еще одним важным фактором является то, что благодаря OSDU компании энергетического сектора смогут консолидировать сведения, получаемые из различных источников, а также интегрировать разнородные хранилища в единую прозрачную и управляемую систему хранения данных.
В числе основных преимуществ платформы можно выделить несколько ключевых аспектов.
Повышение эффективности геолого-разведывательной деятельности. Платформа OSDU обеспечивает безопасный глобальный доступ к разнородным геологическим данным, приводя их к формату, понятному для всех участников процесса. В результате для компаний отрасли открываются широкие возможности сотрудничества, например, в ходе совместной разработки месторождений, без риска потери коммерчески важной информации.
Эффективность работы с данными. Открытый характер платформы OSDU позволяет совместными усилиями разрабатывать более продуктивные технологии и подходы для работы с информацией, которые позволяют извлекать ранее недоступные сведения, искать скрытые закономерности, отбрасывать нерелевантные данные. Кроме того, появляется возможность использования инструментов визуализации, искусственного интеллекта, инструментов аналитики, которые помогают работать более эффективно.
Гибкость ИТ-инфраструктуры. Благодаря тому, что OSDU данные отделены от приложений, открываются широкие возможности по интеграции самого современного коммерческого ПО (в т.ч. на основе ИИ, машинного обучения) без опасения потери коммерчески важной информации. В итоге нефтегазовые компании смогут использовать популярное, доступное и функциональное программное обеспечение, исходя из потребностей бизнеса, а не из того, насколько ПО соответствует параметрам уникальной внутренней ИТ-инфраструктуры.
Ускоренное внедрение инноваций. Платформа OSDU позволяет построить экосистему, основанную на открытых стандартах, в рамках которой можно разрабатывать новые рабочие процессы, создавать приложения, реализовывать перспективные идеи. Все это ускоряет процесс развертывания инновационных цифровых решений, необходимых организациям отрасли.
В облаке и «на земле»
Одной из идей, лежащих в основе OSDU, является широкое использование облаков — как публичных, так и частных. Но, подходы участников разработки стандарта несколько отличаются. Например, Amazon, Google и Microsoft предлагают реализацию OSDU сугубо в составе собственных облачных платформ. Зачастую это не устраивает компании, работающие в рамках национальных требований, запрещающих передачу определенных данных зарубежным операторам, как, например, в России. В этом случае акцент должен делаться на on-premise решениях, разворачиваемых на площадках самой нефтегазовой компании. Такую платформу в виде объектной программно-определяемой СХД StorageGRID предлагает один из участников OSDU — компания NetApp.
В числе особенностей решения — поддержка широкого спектра сценариев использования в публичных, частных и гибридных мультиоблачных средах, технология, лежащая в основе системы, устраняет пространственную привязку, позволяя распределять между площадками, находящимися даже на значительном отдалении друг от друга. Кроме того, благодаря стеку фирменных технологий StorageGRID сохраняет и надежно защищает неструктурированные данные любого назначения, обеспечивая для них к тому же автоматизированное управление жизненным циклом в течение длительного времени.
Программно-определяемая СХД NetApp StorageGRID легко масштабируется до емкости, измеряемой петабайтами данных, что очень актуально для добывающих и геофизических компаний. Скажем, WesternGeco (Schlumberger) — одна из крупнейших мировых организаций, занимающихся геологоразведкой, оперирует объемами данных на уровне 500 ПБ. У ее конкурентов CGG или TGS — порядка 400 ПБ. Хранилища нефтегазовых гигантов BP, Chevron, ExxonMobil, Shell, Total вмещают от 100 до 200 ПБ данных.
Использование аппаратных узлов различных типов (с магнитными или SSD-дисками) в сочетании с аппаратным балансировщиком нагрузки позволяет обеспечить эффективный тиринг данных с возможностью подключения ресурсов внешних облачных платформ, когда это необходимо.
Кроме того, StorageGRID поддерживает множество приложений сторонних разработчиков для аналитики, защиты данных, резервного копирования и т.д. что позволяет использовать платформу для решения большинства актуальных задач, связанных с обработкой данных и применять ее в качестве надежной программно-аппаратной основы для OSDU-архитектур в нефтегазовом секторе.
Что же до самого стандарта, то работа над ним продолжается — начало положено, но еще очень многое предстоит сделать.
Новости
Интервью
Фёдор Прохоров:
Сбер дает доступ к своему облачному суперкомпьютеру и искусственному интеллекту
