ЦЕРН модернизирует ИТ-инфраструктуру с помощью OpenStack и Puppet

Европейский центр ядерных исследований (ЦЕРН) приступил к созданию инфра­структуры, которая должна обеспечить более гибкое управление данными Боль­шого адронного коллайдера (БАК). Виртуализацию предполагается осуществ­лять за счет решений OpenStack, а управление конфигурацией организовать при помощи технологии Puppet.

 Цель исследовательской организации заключается в том, чтобы изменить поря­док оказания услуг ученым, работающим на Большом адронном коллайдере, ко­торый представляет собой 27-километровый круговой тоннель, расположенный на глубине 100 м на границе Франции и Швейцарии в районе Женевы.

«Одна из задач, которую нам предстоит решить, заключается в существенном наращивании масштабов инфраструктуры при неизменном количестве персона­ла и неизменных расходах, – отметил руководитель проекта сетей распределен­ных вычислений БАК Иан Берд. – Конечно, мы можем покупать дополнительное оборудование при фиксированном бюджете, но увеличивать объем предоставля­емых услуг при том же количестве сотрудников невозможно».

Однако такая возможность открывается, если изменить способы решения задач. Цель ЦЕРН заключается в том, чтобы повысить эффективность за счет движе­ния в сторону частного облака, в котором инфраструктура и платформа будут предлагаться в качестве сервиса. Необходимо динамично менять характер ис­пользования инфраструктуры. Сейчас ускоритель выключен, поэтому нагрузка на ЦОД центра ядерных исследований совсем не та, что была в прошлом году, когда БАК функционировал.

«Возникают ситуации, когда пользователи хотят во второй половине дня полу­чить аналитический кластер из 50 машин, который через некоторое время будет освобожден, – сообщил Берд. – И мы должны предоставлять такого рода услуги».

Платформа OpenStack была выбрана ЦЕРН как имеющая наибольшие шансы на успех. Популярность OpenStack добавляет ей очков и с точки зрения подбора персонала.

«Люди у нас меняются – далеко не со всеми заключены постоянные контракты, – пояснил Берд. – А нам нужны специалисты с опытом, да и работникам, облада­ющим необходимыми знаниями, впоследствии легче будет устроиться куда-то еще».

От заказного программного обеспечения, которое будет управлять кластером, в ЦЕРН решили отказаться в пользу типового решения Puppet.

«Когда мы начинали расширять кластер для БАК, сервисов Google и Amazon в их нынешних масштабах еще не существовало, – отметил Берд. – Много усилий при­шлось приложить для организации мониторинга и управления конфигурацией, но пару лет назад мы решили отказаться от этого и перейти на решения, под­держиваемые ИТ-сообществом».

В качестве возможных решений рассматривалось программное обеспечение Chef и Puppet, но в конечном итоге предпочтение было отдано второму вариан­ту, который оказался ближе к собственной управляющей модели ЦЕРН. Развер­тывание Puppet и OpenStack ведется параллельно.

Сегодня инфраструктура ЦЕРН распределена между 160 ЦОД различных разме­ров, расположенными в самых разных уголках мира.

«Одна из причин такого подхода заключается в том, что имеющийся в нашем распоряжении ЦОД не в состоянии удовлетворить потребности БАК в вычислени­ях, – указал Берд. – Другая же лежит в политической и социологической плоско­сти. На организацию вычислений нам выделяют деньги, но желательно, чтобы они были потрачены там же, где были выданы».

Собственный ЦОД и анонсированный недавно ЦОД в Будапеште образуют нуле­вой уровень, на следующем уровне находятся 11 ЦОД, расположенных в крупных национальных лабораториях, например, в лаборатории FermiLab в США. Послед­ний уровень состоит по большей части из вычислительных ресурсов университетов.

В процессе адаптации OpenStack к потребностям ЦЕРН в распределенных вы­числительных ресурсах организация поддерживает взаимодействие с объедине­нием ЦОД.

«Если мы у себя в ЦЕРН запускаем OpenStack и другие наши центры распреде­ленных вычислений также работают на платформе OpenStack, имеет смысл объ­единить эти облачные компоненты, – подчеркнул Берд. – Поэтому тем, кто рабо­тает под эгидой CERN, следует быть готовыми к переносу своих проектов, напри­мер, в FermiLab».

Системы хранения играют очень важную роль в деятельности ЦЕРН, и спрос на них весьма высок. Два основных детектора БАК – CMS и ATLAS – ежесекундно ге­нерируют примерно 1 петабайт (или 1000 терабайт) данных. Детекторы отслежи­вают движение и измеряют энергию и заряды частиц, которые после столкнове­ния в ускорителе разлетаются в разных направлениях. Впоследствии поток этих данных сокращается до нескольких сотен мегабайт в секунду, охватывающих наи­более интересные события, и обрабатывается конгломератом машин Linux. При этом на каждый детектор приходится 15 тыс. процессорных ядер.

 В 2012 году было записано около 30 петабайт данных, собранных БАК. Данные кэшировались на диск, а затем переписывались на ленту. По словам Берда, в ар­хиве, создание которого он назвал нетривиальным упражнением, сегодня нахо­дится около 100 петабайт данных. Из них примерно 70 петабайт поступило непо­средственно от акселератора.

Сам Берд отдает предпочтение маг­нитным лентам, исходя из оценки трех основных факторов: стоимости, количества ошибок и энергопотребления.

Ленты по-прежнему стоят примерно в десять раз дешевле аналогичного про­странства на диске. Сервисы хране­ния (например, Glacier в Amazon Web Services) обойдутся клиентам гораздо дороже. А количество ошибок, реги­стрируемых на лентах, крайне мало по сравнению с числом сбоев на дисках.

Нельзя забывать и об энергопотребле­нии, которое является серьезным ограничительным фактором. ЦОД в Будапеште был создан не потому, что ЦЕРН не хватало пространства хране­ния, а потому, что энергопотребле­ние центра превысило разумные гра­ницы. Между тем, ленточные роботы потребляют гораздо меньше электро­энергии по сравнению с дисками.

«Ленты сегодня сильно недооценива­ют, – констатировал Берд. – На протя­жении последних 15 лет магнитным лентам постоянно предрекали скорую кончину и их вытеснение дисками. Од­нако этого не произошло, и я не вижу причин для того, чтобы это случилось в ближайшем будущем. При работе с большими архивами конкурентов у лент просто нет».

Но для того чтобы ленты работали, ими нужно грамотно управлять.

«Вы не можете просто сбросить данные на ленты и хранить их в таком виде в те­чение последующих 30 лет, – подчеркнул Берд. – Поколения лент сменяют друг друга через каждые два-три года, поэтому необходимо переписывать информа­цию с лент старого поколения на новые носители. Кроме того, следует периоди­чески проверять целостность хранимых на лентах данных».