Валерий Маркин, Казтелепорт: ЦОДы для ИИ в Казахстане - оценка, вызовы и перспективы инфраструктуры

Рынок дата-центров в Казахстане выходит на новый этап развития. Растет спрос на облачную инфраструктуру, появляются масштабные проекты, повышаются требования к энергетике, связи, охлаждению и отказоустойчивости. О перспективах отрасли и ключевых инфраструктурных вызовах поговорили с заместителем председателя правления АО «Казтелепорт» Валерием Маркиным.

— Как вы оцениваете текущее состояние IT-инфраструктуры Казахстана? Можно ли говорить о переходе страны на новый этап развития облачной инфраструктуры и дата-центров?

— Мы наблюдаем растущий интерес государства к развитию облачной инфраструктуры, в том числе с привлечением крупных международных компаний к таким проектам. Многие уже слышали о начале строительства долины ЦОДов в Экибастузе. Этот шаг — стремление страны стать технологической точкой роста.

Такие проекты необходимо рассматривать комплексно. Для полноценного функционирования дата-центра недостаточно построить здание и установить оборудование. Нужны соответствующие каналы связи, гарантированное энергоснабжение, инженерная инфраструктура, транспортная доступность, квалифицированный инженерный состав, отлаженные операционные процессы и регламентированные процедуры эксплуатации. Именно совокупность этих факторов обеспечивает операционную устойчивость дата-центра, оценка которой проводится в рамках сертификации по стандарту TCOS (Tier Certification of Operational Sustainability) международного института Uptime Institute.

— Какие основные инфраструктурные вызовы сегодня стоят перед Казахстаном? В чем особенности казахстанского рынка по сравнению с российским и американским?

— Я бы выделил несколько факторов. США обладают огромным внутренним рынком и высокой концентрацией технологической инфраструктуры. Россия также имеет масштабный рынок и развитую внутреннюю инфраструктуру. Казахстанский рынок значительно меньше, но мы находимся в центре Евразии и можем выступать связующим звеном между европейским и азиатским регионами.

Мы напрямую обсуждали с одним из международных партнеров, почему Казахстан сегодня для них интересен. В первую очередь они отметили уровень доверия к стране и отсутствие ряда обстоятельств, создающих дополнительные риски для международного бизнеса. Второй фактор — расположение. Казахстан потенциально может стать не только рынком потребления цифровых услуг, но и инфраструктурной площадкой для связи разных регионов.

При этом главный вызов связан уже не столько с созданием самих ЦОД, сколько с телекоммуникационной инфраструктурой — значительная часть международной связности Казахстана сформировалась достаточно давно. Сегодня реализуются новые проекты, которые должны увеличить пропускную способность и обеспечить дополнительные маршруты, однако создание такой инфраструктуры требует времени. И здесь речь идет не только про объем доступной полосы пропускания, но и про наличие независимых маршрутов, резервирования и возможности выбирать оптимальную архитектуру прохождения трафика.

Если представить, что в Казахстан приходит крупный международный технологический игрок — условный Amazon — наличие современного ЦОДа само по себе не решит всех его задач. Ему потребуется гарантированная высокоскоростная связь с другими регионами, несколько независимых маршрутов и возможность управлять тем, как и через какие юрисдикции проходит трафик.

Поэтому развитие цифровой инфраструктуры должно идти комплексно: необходимо создавать не только современные ЦОД, но и независимую телекоммуникационную сеть, международные маршруты передачи данных и резервные каналы. В конечном итоге наша задача — не просто построить больше дата-центров, а создать инфраструктурную основу, которая позволит Казахстану стать надежным цифровым мостом между Европой и Азией.

— Насколько сильно искусственный интеллект уже повлиял на развитие инфраструктуры в стране? Какие новые требования он формирует для дата-центров?

— Искусственный интеллект уже задает новый вектор развития инфраструктуры и одновременно подсвечивает проблемы, которые раньше не были настолько очевидны.

Прежде всего это энергетика. Для современных AI-нагрузок требования к мощности на одну стойку существенно выше, чем в традиционных дата-центрах. Если говорить о перспективных конфигурациях, к 2030 году в мире рассматриваются нагрузки вплоть до 600 кВт на стойку. Это другой масштаб потребления энергии и, соответственно, другие требования к электроснабжению, охлаждению и резервированию.

Поэтому развитие AI-инфраструктуры неизбежно становится фактором, влияющим на развитие энергетики страны в ближайшие 10–15 лет. Потребуется модернизация сетей, создание новых генерирующих мощностей, развитие подстанционной инфраструктуры и повышение надежности энергоснабжения.

Но здесь тоже важно соблюдать баланс. Инвестиции в новые энергетические и цифровые мощности — позитивный фактор для экономики, но параллельно необходимо повышать надежность уже существующей инфраструктуры. Если у бизнеса или населения возникают регулярные перебои с электроснабжением, создание новых мощностей исключительно под AI не решает системную проблему. Надежность базовой инфраструктуры должна оставаться фундаментом цифрового развития.

Есть и второй важный вопрос — что именно мы будем создавать на этой инфраструктуре. Недостаточно построить дата-центры, установить GPU и обеспечить необходимое энергоснабжение. Должен формироваться собственный спрос на AI-решения и продукты на базе искусственного интеллекта и машинного обучения.

Я считаю нефтегазовую и горнодобывающую отрасли перспективными пользователями AI-инфраструктуры: здесь она может применяться для решения конкретных производственных задач от анализа больших массивов данных и прогнозирования до оптимизации технологических процессов и повышения эффективности оборудования. Не менее перспективные направления — медицина, где искусственный интеллект может использоваться для обработки и анализа больших массивов медицинских данных, а также промышленность — прежде всего для создания и применения цифровых двойников производственных объектов и процессов.

Реальный технологический суверенитет возникает, когда у страны есть одновременно три составляющие: инфраструктура, собственные компетенции и внутренний спрос на технологии. Поэтому задача Казахстана — не просто создать мощности для AI, а сформировать полноценную экосистему: от энергетики и дата-центров до разработки собственных решений и их применения в ключевых отраслях экономики.

— Насколько важна готовность всей сопутствующей инфраструктуры при реализации крупных проектов строительства дата-центров?

— Это критически важный вопрос. При реализации крупного проекта ЦОД нельзя оценивать готовность только земельного участка или здания. Необходимо смотреть на всю инфраструктурную экосистему вокруг объекта.

Например, мы можем иметь участок и проект будущего дата-центра. Но дальше возникают практические вопросы: есть ли подъездная дорога, канализация, водоснабжение, необходимые электрические мощности, телекоммуникационные каналы? Насколько окружающая инфраструктура готова к работе объекта с высокой нагрузкой?

Если какой-то элемент был создан несколько лет назад и все это время фактически не эксплуатировался, перед запуском его необходимо обследовать, протестировать и, возможно, восстановить. Нельзя предполагать, что система автоматически готова к работе только потому, что физически находится на площадке.

Именно поэтому такие проекты невозможно реализовать по принципу «построили ЦОД и завтра он заработал». Между строительством объекта и вводом в эксплуатацию существует большой комплекс подготовительных работ.

При планировании крупных дата-центров необходимо заранее оценивать энергетическую, инженерную, телекоммуникационную сеть, логистику, безопасность, кадровые и социальные вопросы. Чем масштабнее проект, тем важнее этот подход: узким местом может оказаться не сам дата-центр, а любой элемент инфраструктуры вокруг него.

— Говорят о масштабных планах строительства нескольких дата-центров и тысяч стоек. Насколько важно заранее понимать, под какие задачи и нагрузки создается конкретный ЦОД?

— Когда говорят о строительстве десяти дата-центров или четырех тысяч стоек, важно понимать, для каких задач и каких клиентов создается эта инфраструктура.

Сегодня уже можно выделить несколько типов ЦОД: для гиперскейлеров, AI-нагрузок, колокейшн, корпоративных решений. У каждого из них свои требования к мощности, плотности размещения, охлаждению, резервированию и инженерной инфраструктуре. Один универсальный подход здесь невозможен.

У нас, например, был случай с крупным клиентом, которому было не принципиально, какой Tier у объекта и какие серверы будут установлены. Ему требовалось помещение с определенной температурой и гарантированным электропитанием. Все остальное — собственные стойки и специализированное оборудование — у него было свое.

Поэтому дата-центр нельзя рассматривать как универсальный продукт. Сначала необходимо понимать задачу, характер нагрузки и требования конкретного клиента, а уже исходя из этого определять параметры и архитектуру объекта. В противном случае есть риск построить мощности, которые не будут соответствовать реальному спросу.

— Какие технологические инициативы реализуются сейчас? На каких направлениях вы планируете сосредоточиться с учетом изменения спроса на рынке?

— Главная задача — ориентироваться на рынок и развиваться через призму реальных потребностей клиентов. Именно поэтому нам близок подход «строительство под производительность» (Build-to-Performance): сначала определить реальные задачи и нагрузки, а уже под них формировать инфраструктуру. Об этом подходе очень хорошо рассказал один из спикеров 2-го Международного форума «Data Center Design & Engineering Central Asia Kazakhstan» в этом году. Он созвучен с нашей инфраструктурной стратегией — развивать мощности не ради самого увеличения инфраструктуры, а под конкретный спрос и задачи клиентов.

Если говорить об искусственном интеллекте, то для нас в первую очередь интересен инференс — практическое применение уже обученных моделей. И это, на мой взгляд, одно из наиболее перспективных направлений: по оценкам Uptime Institute, по мере распространения AI именно инференс-нагрузки будут занимать все большую долю инфраструктурных ресурсов. Это означает, что спрос будет расти не только на обучение моделей, но и на инфраструктуру, которая позволит бизнесу использовать AI в реальных задачах. Обучение моделей под локальные задачи клиентов мы тоже рассматриваем, но здесь уже есть сильные специализированные игроки.

— Какое соотношение автоматизированных процессов и ручного управления необходимо для стабильной работы дата-центра? Как меняется роль персонала?

— Сейчас мы работаем над совершенствованием непрерывной эксплуатации дата-центров, стабильной работы всех процессов и, соответственно, спокойствия наших клиентов. В рамках этого направления компания сейчас готовится к прохождению аудита Uptime Institute по операционной устойчивости — Tier Certification of Operational Sustainability (TCOS). Для нас это не просто сертификация, а возможность системно проверить зрелость наших эксплуатационных процессов и понять, где их еще необходимо усилить.

Я вообще считаю, что по характеру нашей работы мы ближе к производственному сектору — фактически мы предоставляем холод и питание для серверов, сами серверы и облачные технологии, которые на них работают. Чтобы все это функционировало непрерывно, необходимо обеспечивать работу компрессоров холодильных машин, дизель-генераторных установок, различных двигателей и другого инженерного оборудования.

Обязательный шаг — использование чек-листов. Раньше подобные документы — формуляры — существовали в советской инженерии: в них указывалось, когда оборудование произведено, когда введено в эксплуатацию, когда заканчивается срок службы и так далее. В дальнейшем это превращается в автоматизированную систему, которая будет собирать и контролировать всю эту информацию.

Кроме того, мы совершенствуем процессы и внедряем инструменты предиктивного контроля. Если возникает потенциально опасная ситуация, мы должны иметь возможность заранее ее выявить и предотвратить ее развитие.

— Возникали ли уже нестандартные ситуации, которые потребовали оперативного реагирования и пересмотра подходов к безопасности инфраструктуры?

— Да, был один показательный случай, связанный с внешней ситуацией на прилегающей территории. Недавно завершился ремонт в нашем офисе, расположенном рядом с ЦОД. На соседней территории произошло возгорание автомобиля, и в какой-то момент огонь затронул кровлю офисного здания.

Дежурная смена оперативно зафиксировала ситуацию и передала информацию ответственным службам. Были незамедлительно вызваны пожарные, для реагирования также использовали имеющиеся средства пожаротушения.

При этом работа дата-центра и его технологической инфраструктуры не была затронута. Для нас этот случай стал дополнительным подтверждением того, насколько важно учитывать не только внутренние риски, но и внешние факторы. По итогам мы усилили ряд превентивных мер — в том числе обновили камеры, датчики, освещение и другие элементы системы безопасности.

Это хороший пример того, как практический опыт позволяет постоянно совершенствовать инфраструктуру и наши подходы к обеспечению ее устойчивости.

— Какие приоритетные задачи сегодня стоят перед вами в части дальнейшего развития инфраструктуры? Насколько важна возможность миграции сервисов между площадками?

— В перспективе нескольких лет облачные сервисы будут востребованы больше, чем классическая продажа колокейшн. Поэтому необходимо заранее построить отказоустойчивую инфраструктуру: 2-3 площадки в каждом городе, между которыми можно будет мигрировать виртуальные машины и сервисы в случае нештатных ситуаций на одной из площадок.

У нас есть планы обеспечения восстановления и непрерывности деятельности компании. Ежегодно мы проводим масштабные учения с привлечением всех причастных сотрудников, а каждое подразделение регулярно проводит собственные тренировки исходя из возможных сценариев. Наша задача — заранее понимать, что произойдет, например, если один дата-центр выйдет из строя, и каким образом мы сможем быстро восстановить работоспособность сервисов.

Отдельно хочу отметить опыт недавнего блэкаута в Алматы. Мы этот период прошли штатно, без критического влияния на работу дата-центров и сервисов клиентов. Но такие ситуации дают очень важный практический опыт — причем не только внутри самого объекта, но и во внешней инфраструктуре. В этот раз мы столкнулись с ограничениями по доступности топлива для дизель-генераторных установок: приобрести его можно было только в определенное время, что создает риски даже при наличии резерва на территории дата-центра. Это показало, что даже при полностью готовой резервной энергетике необходимо заранее продумывать всю цепочку обеспечения — от наличия топлива до логистики его доставки. Получается, чем дольше эксплуатируется дата-центр, тем больше неявных потенциальных точек отказа мы выявляем и тем лучше понимаем, что именно необходимо предусмотреть заранее.

— Как вы оцениваете дальнейшее развитие инженерной инфраструктуры? Насколько актуальными становятся жидкостное охлаждение и инфраструктура для высокоплотных нагрузок?

— Дальше мы будем смотреть на то, как развивается рынок и какие требования формируют наши облачные сервисы и клиенты. Нам предстоит понять, насколько большое количество площадей с жидкостным охлаждением действительно потребуется.

Сегодня в Казахстане уже используются и предлагаются серверы с графическими процессорами NVIDIA H100, B200 и B300. Такие конфигурации могут работать на воздушном охлаждении. При этом жидкостное охлаждение пока не стало массовой технологией для действующих ЦОД в Казахстане — рынок таких решений только формируется. Но когда мы говорим о нагрузках порядка 600 кВт на одну стойку, это уже совершенно другой класс. Такие системы требуют жидкостного охлаждения и другой инженерной системы — более мощного электроснабжения, системы отвода тепла и специального оборудования для распределения жидкости. Соответственно, это и другой уровень инвестиций.

Поэтому я не считаю правильным строить такие решения «на опережение», пока мы не понимаем реального спроса. Наша задача — следить за развитием технологий и потребностями клиентов и развивать мощности именно под те нагрузки, которые нам действительно предстоит размещать.

— Как изменения на мировом рынке и геополитическая ситуация влияют на закупку оборудования и развитие инфраструктуры?

— В связи с событиями, происходящими в мире, возникло достаточно много дополнительных факторов риска. Например, GPU-серверы за короткий период могли подорожать в несколько раз. Сроки поставки поначалу вообще были трудно прогнозируемыми.

Я видел коммерческие предложения на поставку сетевого оборудования со сроком ожидания порядка 365 дней. Представьте: вам необходимо развивать сеть, а поставщик говорит, что оборудование будет только через год в лучшем случае. Такая же ситуация возникала с системами хранения: были проблемы с приобретением дисков, затем менялась их стоимость. Аналогичные вопросы возникают по системам охлаждения и другому инженерному оборудованию.

Даже сейчас, пока мы с вами разговариваем — рынок меняется. Сегодня приходится искать новых поставщиков оборудования, которые не только смогут его поставить, но и будет поддерживать его в течение всего срока эксплуатации.

— С какими дополнительными сложностями приходится сталкиваться при закупке инженерного оборудования?

— Ряд международных вендоров инфраструктуры охлаждения ушли с российского рынка и их присутствие в Казахстане минимально. Если раньше Россия была для них большим рынком и там существовала соответствующая инженерная поддержка, то теперь приходится переориентироваться на других производителей, которые готовы обеспечивать в Казахстане необходимый уровень поддержки оборудования.

Такая же ситуация с дизель-генераторными установками. Во-первых, существуют сроки поставки. Во-вторых, возникают вопросы с транспортировкой. Мы сталкивались с ситуациями, когда оборудование приходилось доставлять по достаточно сложным маршрутам.

Здесь одновременно проявляются геополитические риски и проблемы разорванных цепочек поставок. Все это приводит к одному выводу: компании необходимо гораздо тщательнее рассчитывать сроки и заранее планировать закупки критически важного оборудования.

— Насколько сертификация влияет на сроки проектирования и строительства дата-центра? Какие этапы необходимо учитывать заранее?

— Сертификация, безусловно, влияет на сроки проекта. Требования Uptime Institute нужно учитывать уже на этапе проектирования. Сначала проводится сертификация проектной документации (Tier Certification of Design Documents, TCDD), которая занимает до шести месяцев, а после строительства — сертификация построенного объекта (Tier Certification of Constructed Facility, TCCF), которая длится до четырех месяцев. При этом в процессе могут выявляться несоответствия, которые необходимо устранить, и это тоже влияет на сроки. И возникает вполне практический вопрос: как построить дата-центр за год, если значительная часть этого времени может уйти на проектирование, закупку оборудования и сертификацию?

Поэтому стратегический подход, о котором я говорил выше — Build-to-Performance — полностью себя оправдывает и позволяет оптимально выстроить все процессы создания инфраструктурной площадки в оптимальные сроки: еще в начале проекта мы понимаем, какие нагрузки нам предстоит размещать, какой уровень надежности потребуется, и сразу закладываем это в проект, закупки и последующую сертификацию.

Помимо этого, этот подход позволяет избежать «ловушки времени», когда строительство уже началось, а какие-то решения приходится менять или согласовывать заново. Для нас важно не просто построить дата-центр быстрее, а с самого начала правильно спроектировать его под будущий спрос.