Инновационные проекты «Казахтелекома» — развивая облачную инфраструктуру

Сегодня стало известно о том, что телеком-оператор «Казахтелеком» завершил проект создания второго облачного узла связи CloNE (Cloud Network Node). Его запуск состоялся в Нур-Султане. Напомним — о своем намерении активно взяться за развитие направления облачных узлов связи «Казахтелеком» объявил в начале прошлого года на Mobile World Congress — тогда проект был успешно презентован мировому телеком-сообществу.

Проекты создания облачных узлов связи «Казахтелеком» реализует в рамках стратегии по технологической трансформации, основанной на принципах максимальной технологической открытости, дезагрегации, виртуализации и независимости от отдельных производителей. Первый узел CloNE был построен оператором в 2019 году в Алматы в два этапа — создана физическая инфраструктура, а затем — уровни виртуализации и оркестрации. Физическая инфраструктура первого узла построена на серверном и сетевом оборудовании Nokia AirFrame, которое соответствует открытым спецификациям OCP (Open Compute Project) Open Rack v2 (оно выполнено в виде интегрированного и собранного производителем телекоммуникационного шкафа).

«Некоторые небольшие производители виртуальных сетевых функций (VNF) ограничиваются поддержкой только незначительного количества моделей сетевых интерфейсных карт (NIC), чаще всего производства Intel, а также Smart-NIC с FPGA-акселерацией, в ряде случаев необходимой для реализации виртуальных сетей радиодоступа: vRAN или OpenRAN. Также, как и в случае NIC, интегрированные решения, аналогичные AirFrame, обеспечивающие высокую степень интеграции и надежности, что в ряде случаев являются более предпочтительным, ограничивают оператора в гибкости выбора решений нужного уровня дезагрегации и открытости, а также в выборе аппаратной модели коммутаторов сетевой фабрики CloNE и ПО для них», — пояснили в компании.

Именно поэтому одной из задач второго CloNE было повышение гибкости в выборе компонентов инфраструктуры для удовлетворения специфических требований отдельных VNF-производителей и отдельных применений. Решение данной задачи привело к необходимости еще большей дезагрегации на уровне инфраструктуры. Таким образом, степень дезагрегации, которая была достигнута при построении первого CloNE, предусматривающего использование трех независимых уровней (инфраструктура, виртуализация, оркестрация), во втором CloNE была увеличена за счет дезагрегации инфраструктуры с возможностью независимого выбора NIC, коммутаторов и ПО для них.

Если говорить об инфраструктурной стороне вопроса, то в CloNE-узле в г. Нур-Султан были использованы серверы HPE с NIC Intel XXV710. В качестве Leaf/Spine коммутаторов сетевой фабрики выбраны EdgeCore AS7712-32x, оборудованные 32 портами 100GE с дезагрегированным ПО Cumulus, запускаемым универсальным загрузчиком ONIE. Коммутаторы EdgeCore AS7712-32x аппаратно и функционально эквивалентны интегрированным коммутаторам Z9100-ON первого CloNE, что позволило использовать единые сетевые решения в обоих узлах. При этом, при создании второго CloNE-узла оператор использовал решения уровней виртуализации и оркестрации, уже опробованные при создании первого CloNE-узла. На уровне виртуализации используются Open Source продукты от RedHat: RHEL/KVM и OSP13 (Open Stack Platform). На уровне оркестрации используется существующий единый мультисервисный оркестратор Cisco NSO, а также отдельный экземпляр VNF-менеджера, реализуемого с помощью Cisco ESC. А гибкость и открытость при использовании этих решений достигается за счет использования модельно-ориентированной (model-driven) архитектуры с применением открытого языка моделирования данных YANG.

«Использование указанных открытых решений и повышение уровня дезагрегации и открытости в сравнении с первым проектом CloNE позволит нам расширить круг решаемых задач, включая такие требовательные к производительности и стабильности характеристик приложения, как сетевые функции реального времени Open RAN, — рассказывает Нурлан Мейрманов, главный директор по инновациям АО „Казахтелеком“. — Мы развиваем свою облачную инфраструктуру постепенно и непрерывно, добавляя с каждым новым проектом новые архитектурные элементы будущей облачной инфраструктуры. На очереди у нас реализация так называемой нативно-облачной виртуализации и оркестрации на основе Docker и Kubernetes, а также внедрение ряда SDN решений».

Еще одним технологическим прорывом «Казахтелекома» в рамках развития новой концепции стал запуск первого проекта сетевой виртуализации в облачном узле связи CloNE в Алматы — это виртуализация устройств трансляции IPv4 адресов операторского уровня (vCGN). В соответствии со стратегическим выбором в пользу горизонтального разделения и ухода от вертикальной интеграции и вендорной зависимости в CloNE реализуются три независимых уровня с использованием продуктов разных поставщиков: уровень открытого (OCP) оборудования, уровень виртуализации с использованием Open Source продуктов и уровень управления/ оркестрации на основе открытых моделей данных. Так, виртуализация CGN была выполнена в рамках первого этапа запланированной трехэтапной стратегии перевода сетевого трафика с инфраструктурных физических сетевых элементов (PNF) на виртуальные (VNF).

В рамках этого этапа также запланирован запуск коммерческих сервисов для бизнес-клиентов, с предоставлением им сетевых элементов в виде VNF. Этот первый этап стратегии, разработанной в 2017 г. в рамках проекта создания Мастер-плана технологического развития «Казахтелекома», предусматривает максимальное сдерживание инвестиций в предыдущие технологии с переводом новой сетевой нагрузки в облачные узлы связи. В новых проектах закрытые решения должны быть заменены открытыми дезагрегированными и виртуализированными аналогами, с приоритетом использования Open Source и white-box продуктов.

Такой подход продиктован непрерывным ростом трафика, увеличением количества активных абонентов и невозможностью получения новых публичных IPv4 адресов. Эти факторы вынуждают оператора нести дополнительные затраты на трансляцию частных IPv4 адресов. Отмечается, что за время пандемии Covid-19 количество активных абонентов резко возросло (практически до 100%) и вырос уровень потребления трафика из-за удаленной работы и обучения. Вместе с тем, «Казахтелеком» уже около двух лет работает в условиях невозможности получения новых IPv4 адресов. Все это многократно увеличивает нагрузку на CGN — как в части трафика, так и в части количества одновременных трансляций. А затраты на многократное увеличение мощности CGN при сохранении существующего решения Казахтелекома, использующего закрытые аппаратные компоненты, устанавливаемые в выделенные маршрутизаторы магистральной сети передачи данных (МСПД), не компенсируются в условиях сохранения уровня выручки (ARPU), существенно снижая доходы оператора. Кроме этого, инвестиции в существующее оборудование на основе унаследованных технологий сдерживает инвестиции в создание облачной сетевой инфраструктуры, являющейся основой для будущего цифрового бизнеса «Казахтелекома» и новых сервисов. Также, важным фактором является прекращение развития установленных компонентов CGN.

На фоне всего этого становятся очевидными преимущества виртуализации CGN. Это позволяет «Казахтелекому» снизить затраты на IPv4-трансляцию и обеспечить гибкость и масштабируемость инфраструктуры. Кроме того, облачные технологии позволяют исключить затраты на избыточность, необходимые при традиционном подходе на основе PNF на случай отказов, всплесков и неравномерности нагрузки. Виртуальные сетевые элементы могут гибко размещаться и переноситься между разными физическими компонентами (серверами) и узлами «Казахтелекома», образующими единое облачное пространство.

«Мы системно, непрерывно и целенаправленно движемся в сторону цифрового бизнеса, для которого наличие инновационной облачной сетевой инфраструктуры является непременным условием, или, как сейчас принято говорить, enabler-ом. Первым шагом для нас стала разработка Мастер-плана технологического развития, определившего принципы, стратегию и технические решения перехода на новую открытую инфраструктуру, не привязанную к отдельным вендорам. Вторым — создание первого облачного узла связи CloNE. Запуск первого VNF операторского уровня стало для нас третьим шагом. Таким образом, запустив первый в истории „Казахтелекома“ VNF-проект, мы решили не только тактическую задачу по наращиванию мощности NAT44 трансляции, необходимой наших абонентам для полноценного и надежного доступа в интернет, но и внесли вклад в решение стратегической задачи построения универсальной облачной среды», — отметил Нурлан Мейрманов.

В качестве vCGN «Казахтелеком» выбрал vThunder от A10, реализуемый в виде Scaleout-кластера, состоящего из восьми VNF-ов vThunder. Каждый vThunder обеспечивает NAT44 трансляцию на скорости 20 Гбит/с, суммарно обеспечивая трансляцию на скорости 160 Гбит/с. vThunder экземпляры Scaleout-кластера разворачиваются автоматически с использованием MANO-компонентов CloNE: NFVO, VNFM и VIM. Также автоматически осуществляется перезапуск vThunder на этом же или на другом сервере, в зависимости от характера неисправности.

Особенностью реализуемого «Казахтелекомом» решения является отсутствие специализированных внешних средств балансировки нагрузки между vThunder-элементами Scaleout-кластера. Это позволяет существенно уменьшить расход ресурсов CloNE инфраструктуры и снизить себестоимость трансляции. Для обеспечения высокой и стабильной пропускной способности vThunder кластера в CloNE используется ряд средств оптимизации — SR-IOV, NUMA, Hyper-Threading, Huge pages.