DAMA Kazakhstan 2023: Качество данных — путь к доверию и развитию

25 августа в Алматы состоялась конференция, посвященная теме управления данными. Участники мероприятия обсудили решения по повышению качества данных в бизнесе, способы извлечения пользы из накопленных и обработанных данных, подход к ведению бизнеса, основанный на цифрах, а таже корпоративные стратегии управления данными.

С приветственным словом на конференции выступил Дмитрий Цой, президент ассоциации по управлению данными DAMA Kazakhstan.

«Наша ассоциация в прошлом году стала официальным отделением DAMA International. В Казахстане и в СНГ это первое такое отделение. Сейчас очень много компаний городов присоединяются к нашей ассоциации. DAMA International — это компания, которая выпускает справочное руководство по внедрению процессов управления данными. Мы также получили статус Certified Data Management Professional — это сертификат в области управления данными. Вообще, область управления данными — достаточно новая для нашего рынка и государства. Но она постепенно развивается, и мы собираем этот опыт, чтобы делиться им», — говорит Дмитрий Цой.

Он подчеркнул, что сегодня данные являются основой цифровой трансформации, и привел в пример исследование Gartner, в котором говорится, что 80% организаций, стремящихся масштабировать свой бизнес потерпит неудачу, потому что они не используют современный подход к управлению данными и аналитикой. Данные имеют огромный потенциал для бизнеса, правительства и общества в целом. Их можно использовать для принятия более обоснованных решений, улучшения обслуживания клиентов, выявления новых закономерностей и т. д. Аналитика в свою очередь позволяет проводить глубокий анализ данных для выявления закономерностей, трендов и прогнозирования будущих событий. Именно поэтому сегодня важно обратить внимание на тему управления данными.

Какие подходы и практики лучше всего себя показали, какие технологические решения можно использовать, как выстроить процессы управления данными — обо всем этом и говорили спикеры конференции.

Об обеспечении качества и достоверности данных для повышения доверия пользователей к официальной статистике рассказал Жандос Шаймарданов, руководитель Бюро национальной статистики АСПР РК. У этого государственного ведомства аккумулируется самое большое количество данных. Сейчас бюро внедряет концепцию управления данными и развивает свою экосистему.

«Для нас в целом развитие данных — это не новинка, мы над этим работаем на протяжении многих лет. Наше бюро является основным поставщиком официальной статистической информации в стране. У нас есть основополагающие принципы официальной статистики, которые были утверждены на генассамблее ООН много лет назад, и эти 10 принципов мы используем в своем статпроизводстве. Мы хотим активно наращивать использование данных, обеспечивать их качество и, соответственно, исходя из этого повышать доверие пользователей. Но здесь краеугольным моментом является коммуникация. Мы должны показывать, что мы постоянно проводим работу в отношении качества данных, делаем определенные выводы, получаем обратную связь и работаем с экспертным сообществом, выстраиваем соответствующие коммуникации», — отметил Жандос Шаймарданов.

Он добавил, что до сих пор порядка 20% данных для статистики собирается и сдается офлайн. Чтобы решить эту проблему, будет внедряться специальное мобильное приложение для мониторинга цен, а также планшеты для интервьюеров домохозяйств. Если говорить об административных данных, то будет исключаться их дублирование, для чего сокращается число форм, наращивается использование административных источников сбора данных, а также добавляются альтернативные источники. Так, например, статистику по миграции и туризму можно получать из данных мобильных операторов. Для использования таких источников проводится законотворческая работа.

«Раз мы хотим наращивать объем использования административных данных, то необходимо также обеспечить качество. Чем больше мы подключаем административных источников, тем больше видим проблем с этими данными и, соответственно, это затрудняет возможности их использования в официальном производстве. Для того, чтобы решать эту проблему, мы предложили создать новый институт контролеров, дата-стюардов. Институт, который уже имеется, продемонстрировал одну проблему: дата-стюарды — это действующие работники каждого из госорганов, где-то департамент ИТ, где-то департамент стратегии. То есть, на них возложены дополнительные функции. Контролер должен сообщать об инцидентах, но если это действующий работник, который уже раньше был задействован в процессах, он не всегда заинтересован. Ну и тем более вышестоящее руководство не даст ему в полной мере сообщить об инцидентах. Поэтому мы говорим о том, что должен быть внешний дата-аудит, который будет проводиться нашими силами. Мы создаем этот институт контролеров, уже получили одобрение, вносим изменения в нормативно-правовые акты. Я думаю, с 2024 года он заработает», — поделился Жандос Шаймарданов.

Тему о качестве данных и их управлении продолжили Антон Хмелев, Chief Data Officer АО «ForteBank», Канат Наурызбаев, Data Governance Expert Tele2 Kazakhstan/ ALTEL, Куат Сандалов, директор по цифровизации и большим данным ДИТ АО «Казахтелеком», и Бауыржан Аубакир, экс-директор Департамента аналитики данных и машинного обучения Jusan Bank. В своих выступлениях спикеры поделились кейсами построения работы с данными внутри компаний, повышения качества этих данных, а также рассказали о подходах, которые могут быть использованы.

Еще несколько кейсов привел Евгений Бабенко, директор отдела Big Data ТОО «Magnum Cash & Carry». Он рассказал о принятии решений на основании данных и применении ML для улучшения данных розницы.

«Иногда проблема кроется в людях. Данные не будут качественными, если это не надо участникам бизнес-процесса. Решением тут может стать изменение мотивации, изменение процесса таким образом, чтобы данные стали ценными», — подчеркнул Евгений Бабенко.

Если же говорить о решениях, которые могут помочь в процессе работы с данными, тот тут стоит упомянуть выступление Павла Мальцева, Technical Sales Specialist — Data & AI, IBM. Он рассказал о современном подходе к построению корпоративной экосистемы управления данными и аналитикой на базе продуктов IBM.

«Из года в год проблемы нарастают, но они, по сути, не особо меняются — у нас постоянно идет рост данных. От этого никуда не деться. Раньше мы эти данные каким-то образом складировали, но нам надо их использовать работе. Дальше у нас появляется разнородность источников — данные могут располагаться как в дата-центрах, так и в облачных хранилищах. Ко всему надо получать доступ в режиме реального времени и все это нужно нам для текущих бизнес-операций. Данные могут быть совершенно различные по формату — не только текстовые, но и графика, видео и т. д. Мы должны уметь обрабатывать все типы и все форматы информации, которые у нас идут на входе. Разумеется, классическая проблема — это плохое качество данных. Мы понимаем, что на основе всех этих данных хороших результатов мы не получим. Для решения этих проблем компания IBM построила стек решений, который сейчас основывается на системах хранения. Также мы предоставляем платформу IBM Cloud Pak for Data, которая включает более 40 услуг для доступа и эффективного использования данных, обеспечивая при этом безопасность и широкие возможности подключения», — выступил Павел Мальцев.

Тему решений продолжил Сергей Полехин, руководитель группы архитекторов решений Qlik. Он показал, как на практике Qlik помогает в подготовке, загрузке и очистке данных.

«Qlik Sense может максимально быстро построить прототипы, от исходных данных до конечного результата. Это инструментарий полного цикла работы с данными. Он умеет загружать данные из любых источников, преобразовывать их и подготавливать, масштабируется на любое число пользователей и имеет встроенные инструменты для совместной работы. При этом отсутствует требование предварительного построения витрин, реализовано автоматическое согласование данных и поддержка всех типов реляционных отношений. Qlik Sense — это доверие бизнеса и автоматическое документирование логики и работы с данными», — рассказал спикер.

Помимо прочего управление данными может также помочь в сокращении затрат в компании. Об этом рассказал Азат Туратов, руководитель управления анализа и архитектуры данных BI Group. По его словам, реализация подхода Data Driven помогает не только решить боли бизнеса в вопросах планирования и бизнес-развития, но и сокращает отчетность, делает управление компанией более прозрачным, повышает зрелость бизнеса. Подход Data Driven сейчас охватывает большинство подразделений компании (продажи, производство, ИТ, закупки, финансы, маркетинг и т. д.), и по данным на 2023 год сэкономленное время сотрудников составило 60 000 часов в год. Данные стали на 75% достовернее, экономия от прямых затрат составила более 5%.

Тем не менее, для многих руководителей проекты по качеству данных до сих пор остаются непрозрачной инвестицией. Они просто не понимают, зачем нужно управление с данными и работа с ними. Тем, как обосновать эти вложения и начать эту работу в компании, поделился Болат Таймагамбетов, эксперт DIS Group. Он привел в пример общие показатели о проблемах, связанных с качеством данных. Так, ежегодно низкое качество данных обходится компаниям в среднем в 12,9 млн долларов. Такие цифры озвучили в Gartner. А IDC говорит, что обычно в организации до 80% времени затрачивается на поиск и подготовку данных. Болат Таймагамбетов подчеркивает, что при обосновании проектов по качеству данных важно построить дерево затрат и оценить стоимость решения проблемы с данными. Именно цифры и расчеты помогут показать выгоды от улучшения работы с данными.

«Подчеркните результаты управления качеством данным в сравнении с его отсутствием, что позволит стейкхолдерам видеть будущие риски и возможности. Отслеживайте результаты после внедрения и корректируйте стратегию при необходимости», — делится рекомендациями представитель DIS Group.

Помимо обсуждений кейсов и решений в рамках конференции прошел воркшоп компании A2Data «Как вовлечь бизнес и почему Data Governance — это не только задача Data Office». В качестве спикера выступил Алексей Ильин, консультант по Data Governance A2Data.ai. Он привел пример дорожной карты развития Data Governance, рассказал о важности такого подхода, разграничении ролей в команде внедрения и взаимодействии с бизнесом.

«Важно разобраться, как сделать так, чтобы задача управления данными была не только сугубо айтишной, но и стала задачей для бизнес-команд. Все мы хотим добиться доступности данных для наших пользователей, потому что мы все движемся в сторону сервиса и важно, чтобы пользователи доверяли данным. Могу привести пример одного из банков. Например, кто-то внес неправильную информацию в источник. Это попало в систему и неверно посчиталось. В конце месяца проблема выявилась в отчете — что-то не бьется, приходится выяснять, что же не так, приходится корректировать данные. Очень часто это надо делать параллельно в нескольких отчетных системах. Стоимость такого исправления — порядка 10 долларов. То есть, мы это исправляем в учетной системе руками относительно дешевых специалистов. Если же мы дошли до этапа, когда нужно что-то корректировать в хранилище данных, растет экспоненциально и средняя стоимость вот такого исправления — уже на уровне хранилища где-то 150 долларов. Если же в хранилище исправлять что-то поздно (например, это месячное управленческая отчетность и мы уже не успеваем скорректировать), нужно исправлять уже саму отчетность. Средняя цена исправления — уже 500 долларов. При этом, крупнейшие организации инвестировали десятки и сотни миллионов долларов в аналитические системы и хранилища данных, но не смогли достичь поставленных целей — работа с данными по-прежнему вызывает вопросы. Поэтому сейчас мы уже говорим о подходе Data Governance. Это процессы и решения, которые помогают управлять информацией, обеспечивают доступность данных и доверие к ним», — говорит Алексей Ильин.

Он подчеркнул — важно выбирать не только инструмент, но и команду, которая имеет проверенный опыт по внедрению процессов Data Governance. При этом подход Data-driven должен стать своеобразной культурой для компании, в которую важно вовлечь всех сотрудников — проводить программы обучения и популяризацию новых процессов.