Андрей Баландин, Beeline: извлекаем пользу из самых передовых решений Big Data

Компания Beeline Казахстан реализовала уникальный проект в области Big Data на базе решения с открытым программным кодом (бесплатное ПО, требующее внутренней экспертизы в компании, Open Source). Оператором связи была внедрена инновационная база данных на кластере с множеством серверов, предназначенная для хранения и обработки больших объемов данных (десятки петабайт) — Arenadata DB.

Все знают, что развитие технологий Big Data в Казахстане затруднено из-за недостатка специалистов и экспертизы в использовании решений Open Source. Опыт Beeline Казахстан показал, что эти затруднения могут быть успешно преодолены за счет роста экспертизы внутренних специалистов, путем приобретения ими всех необходимых навыков и умений в сфере Big Data. О том, как такую экспертизу наработать и какие результаты благодаря этому можно получить, рассказывает Андрей Баландин, руководитель подразделения поддержки и развития систем BI компании Beeline Казахстан.

Телеком-рынок Казахстана: лидерство технологий

На телеком-рынке Казахстана уже несколько лет уверенно лидируют компании, которые не боятся внедрять инновационные технологии, в частности технологии Big Data. Инновации открывают новые возможности развития: помогают искать дополнительные источники роста выручки и повышения качества оказываемых абонентских сервисов.

В Beeline Казахстан сравнительно давно используются многие решения, такие как Business Intelligence и Big Data для анализа клиентских данных. За годы работы компания накопила существенную клиентскую базу, которую можно использовать для продвижения дополнительных услуг. Для того, чтобы извлекать из данных еще больше пользы, в 2018 году компания приняла решение  централизованно запустить проект по внедрению DMP (Data Management Platform).

Переход на решение для работы с большими объемами данных

При выборе технологий для этой платформы прежде всего учитывался опыт российской компании Beeline. Однако нам недостаточно было повторить успех коллег. Мы планировали также вывести процессы по построению витрин данных из основного хранилища в специализированную базу для работы с большими объемами данных.

Для этой задачи хорошо себя зарекомендовали решения c массово-параллельной архитектурой (данные хранятся и обрабатываются на отдельных узлах кластера). Они позволяют снизить затраты на серверное оборудование с большим объемом памяти, а также добиться высокой отказоустойчивости, не нарушающей целостности данных. Кроме того, такие решения легко масштабируются, что также было очень важно для нас. Оставалось только выбрать конкретный программный продукт. Для этого мы тщательно оценили ресурсы и проработали кейсы, а затем выбрали несколько решений и на базе ИТ-хаба запустили пилотный проект.

В процессе пилота Beeline Казахстан выбор пал на решения от американской компании Hortonworks и российского разработчика Arenadata. Проведя полноценный анализ, мы выбрали Hortonworks как основное Hadoop-хранилище файловой информации и решение Arenadata DB (ADB) — аналитическую, распределенную СУБД с открытым исходным кодом, использующую концепцию MPP (massively parallel processing) на базе технологии Greenplum. Arenadata DB выступает у нас в качестве хранилища витрин данных, сформированных на основе данных Hadoop. Большую роль в выборе сыграла готовность специалистов Arenadata и DIS Group (представляет компанию Arenadata в Казахстане) консультировать нас при внедрении и активно помогать нам наращивать собственную экспертизу. Я считаю, что экспертиза внутри компании имеет большое значение при использовании решений open-source, и именно ее зачастую так непросто получить.

Beeline Казахстан наращивает экспертизу

Уже при первом нашем знакомстве специалисты Arenadata и DIS Group проявили высокую заинтересованность в проекте и помогли Beeline Казахстан успешно преодолеть первый и самый сложный этап внедрения open-source решения: когда приходится иметь дело с незнакомым продуктом, по которому отсутствует экспертиза. Совместными усилиями компаниям удалось успешно провести нагрузочное тестирование. Сначала Arenadata DB была развернута на трех серверах на виртуальной среде, а с 2019 года тестовая среда переросла в продуктивную.

В результате мы сохранили свое основное хранилище данных на базе Oracle, в нем находится структурированная информация, реализуются процессы по формированию управленческой отчетности. В Hadoop мы храним неструктурированные и слабоструктурированные данные, а в Arenadata DB создаются новые витрины, дашборды и срезы данных. Из Arenadata DB берут информацию наши BI-системы, и там же пользователи могут самостоятельно напрямую работать с данными.

В конце 2019 года Beeline Казахстан провел целенаправленное обучение для своих сотрудников по работе с программным продуктом Arenadata DB. Наши сотрудники смогли получить необходимый опыт и знания по самостоятельной поддержке и развитию продукта и повысить свою экспертную стоимость на рынке.

В наших планах в 2020 году есть цель в два раза расширить кластер Arenadata DB — для этого уже приобретено необходимое оборудование — и перейти на новую версию решения. Опыт использования решения Beeline Казахстан оказался любопытен и другим компаниям, входящим в группу «ВымпелКом» из Армении, Узбекистана и России.

Результаты перехода

— Благодаря переходу на open-source решение Arenadata DB компания получила возможность экономить на лицензиях к программному обеспечению и на стоимости хранения данных. Уже второй год мы не увеличиваем серверные мощности старого хранилища и его дисковой системы.

— Были оптимизированы расходы на внешнюю разработку в части BI-витрин и дашбордов, теперь разработка проводится силами обученных сотрудников самой компании.

— Удалось существенно ускорить процессы сбора информации: при обращении пользователя к старому хранилищу данных время ожидания порой измеряется часами, в Arenadata DB процесс занимает минуты.

Как Arenada DB помогает бизнесу

Экосистема работы с большими данными, которую мы выстроили, помогает нам эффективно сегментировать клиентскую базу по территориальному признаку вплоть до районов города. Благодаря этим знаниям мы можем лучше понимать ситуацию на местах, информировать менеджмент компании и планировать мероприятия по настройке региональных ценовых предложений и выводу их на рынок.

На основе поведенческих параметров абонентов, информации о потребляемых ими услугах, компания способна создать профиль каждого клиента, понять и проанализировать его нужды, проблемы и предложить наиболее подходящие услуги. Таким образом Beeline Казахстан успешно сохраняет свою абонентскую базу и предотвращает возможный уход клиента к конкурентам.

Отдельно хочу отметить, инициативы компании по замерам индекса NPS (англ. Net Promoter Score), которые помогают оценивать удовлетворенность клиентов услугами Beeline Казахстан. Для этого готовятся выборки абонентов, которых хотелось бы опросить — тех, кто обращался в компанию с претензиями, либо получал точечные услуги. Посредством проведения опросов и анализа результатов формируется общая картина удовлетворенности и проводится дополнительная работа с теми клиентами, у кого этот индекс находится на низких значениях.

Все эти нововведения позволяют Beeline Казахстан делать более персонализированное предложение своим клиентам, экономить на ИТ расходах в том, что касается стоимости хранения данных, быстрее реагировать на изменения на рынке.

Канат Абиров, генеральный директор компании DIS Group KZ отмечает: «Проект в Beeline Казахстан в очередной раз показал, что в нашей стране сейчас есть все для успешного применения технологий Big Data, в том числе высококвалифицированные специалисты. А для того, чтобы таких специалистов становилось больше мы с Arenadata запустили целый ряд образовательных инициатив. В частности, 14 июля в 16:00 мы проведем обучающий вебинар „Как построить эффективное корпоративное хранилище данных на Arenadata DB и Informatica“. Участие бесплатное, зарегистрироваться можно на странице мероприятия».