В суперкомпьютерах Cray обмен данными ускорится вчетверо

При проектировании следующего поколе­ния своих суперкомпьютеров в компании Cray задались целью радикально повы­сить скорость ввода-вывода на каждом узле. В новых суперкомпьютерах Cray — XC30 — будут использоваться межсоеди­нения нового типа под названием Aries и новая топология маршрутизации, которые вместе обещают резко увеличить внутрен­нюю пропускную способность.

«Повысить скорость ввода-вывода важно, так как чем быстрее становятся процессо­ры, тем интенсивнее должен быть обмен данными с ними, чтобы поддерживать их в загруженном состоянии, — объясняет Барри Болдинг, вице-президент по маркетингу Cray. — Скорость обмена данными с узлом выросла, и возможности сети должны соответственно вырасти».

Cray XC30 должен выйти в начале следующего года. Это будет первый из линей­ки суперкомпьютеров XC, которые планируется выпустить в ближайшие пять лет. Приоритет в новой архитектуре, разрабатываемой уже больше шести лет, отдается повышению глобальной пропускной способности, которую Болдинг опи­сывает как «способность машины обрабатывать тяжелые нагрузки в условиях ин­тенсивного обмена данными между всеми ее процессорами».

Благодаря новым межсоединениям каждый узел теперь может выполнять по 120 млн операций чтения/записи в секунду, тогда как у предыдущего поколения систем Cray, XK, этот показатель составлял 30-40 млн операций.

Каждый узел в новой системе получает свой отдельный блок межсоединений Aries на 48 портов. Уникальная особенность такого блока в том, что он выполня­ет одновременно функции сетевого адаптера и маршрутизатора, предоставляя каждому узлу прямой доступ ко всем остальным узлам системы, объясняет Болдинг.

Cray продала Intel свои наработки в области технологии межсоединений, в том числе большую часть интеллектуальной собственности по Aries, в мае за 140 млн долл. Основой Aries служит шина PCIe-3, которой отдают предпочтение в Intel.

Архитектура внутренней сети XC, соединяющей все узлы системы, выполнена по новой прямой топологии Dragonfly. Ей требуется меньше оптических каналов и не нужны внешние коммутаторы верхнего уровня. Dragonfly разработана по ито­гам исследования, проведенного специалистами по сетям из Стэнфордского уни­верситета совместно с инженерами Cray.

Помимо традиционных пользователей суперкомпьютеров — Пентагона и науч­ных учреждений, Cray предлагает новые системы нефтяным компаниям, произ­водителям крупногабаритного оборудования и другим большим корпоративным заказчикам, которым нужны мощные вычислительные системы для исследований.

Минимальная стоимость XC30 — 500 тыс. долл. В будущем году Cray также пред­ложит меньшую модель для бизнес-применений, сообщил Болдинг.

Многие из технологий XC30, в том числе Aries, частично разработаны на деньги гранта, присужденного Cray в рамках программы High Productivity Computing System Агентством перспективных оборонных исследований DARPA. «Задача этой программы — создать следующее поколение высокопродуктивных супер­компьютерных систем», — сообщил Болдинг.

Каждый шкаф XC30 обеспечивает быстродействие 66 TFLOPS. А максимальная мощность системы, которую можно построить из таких шкафов, составляет более 100 PFLOPS. Шкаф содержит три шасси по 16 компьютерных лезвий в каж­дом. Каждое лезвие — это четыре узла. Всего в системе может быть до 92 544 узлов, имеющих по 128 Гбайт оперативной памяти DDR3.

Вначале в Cray для своей новой системы воспользуются процессорами Intel Xeon E5-2600. А со временем в XC можно будет устанавливать сопроцессоры Intel Xeon Phi и графические чипы Nvidia Tesla на основе архитектуры следующе­го поколения Kepler.

В суперкомпьютерах XC применяется новая воздушно-водяная схема охлажде­ния, благодаря ей суперкомпьютер не нужно размещать по схеме чередования холодных и горячих рядов.

На новом суперкомпьютере будет работать программный пакет Cray Linux Environment, в который входит ядро Linux, файловая система Lustre, язык про­граммирования с поддержкой распараллеливания Chapel и планировщик зада­ний SLURM (Simple Linux Utility for Resource Management).

Cray уже продала шесть экземпляров XC30. В числе покупателей — Швейцар­ский национальный суперкомпьютерный центр, Финский научный центр ИТ, На­циональный вычислительный центр Министерства энергетики США и Центр вы­сокопроизводительных вычислений Штутгартского университета.