Развитие суперкомпьютерных технологий в Казахстане

Развитие суперкомпьютерных технологий становится одной из самых «горячих» и обсуждаемых тем в отечественной сфере IT: не так давно о запуске в промышленную эксплуатацию суперкомпьютера на платформе IBM BladeCenter с пиковой производительностью 10 TFlops объявил КБТУ, ранее суперкомпьютер в КазНТУ установил отечественный системный интегратор SmartCom, планы в области развития суперкомпьютерных технологий вынашивает Фонд Первого Президента. На сегодняшний день в этой сфере мы заметно отстаем не только от тех стран, чьи суперкомпьютеры прочно обосновались на первых строчках мировых рейтингов, но и, например, от России, однако, как полагают специалисты, это тот случай, о котором говорят: лучше поздно, чем никогда. Без внедрения суперкомпьютерных технологий, утверждают эксперты, Казахстану будет трудно позиционировать себя в качестве конкурентоспособного государства, решать масштабные задачи, связанные с реализацией программы форсированного индустриально-инновационного развития.

Эпоха супермощных машин

Авторство термина «суперкомпьютер» чаще всего приписывается Джорджу Мишелю и Сиднею Фернбачу, которые в конце 1960-х работали в компании CDC и Ливерморской национальной лаборатории. Со временем данный термин получил более широкую известность благодаря распространенности компьютерных систем Сеймура Крея CDC6600, CDC7600, Cray-1, Cray-2, Cray-3 и Cray-4. Крей работал над созданием вычислительных машин, которые по сути становились основными вычислительными средствами правительственных, промышленных и научно-технических проектов, которые реализовывались в США с середины 1960 годов до 1996 года, и не случайно в то время бытовало содержащее известную долю шутки определение, согласно которому суперкомпьютером следовало считать любой компьютер, созданный Креем.

Сегодня суперкомпьютерами называют компьютеры с огромной вычислительной мощностью, состоящие из большого количества вычислительных узлов, объединенных в единый ресурс. «Суперкомпьютеры — это большие не только по размеру, но и по мощности вычислительные машины, применение которых значительно облегчает нам жизнь. Один день работы второго по мощности в мировом рейтинге суперкомпьютера Roadrunner, созданного в Лос-Аламосской национальной лаборатории, можно приравнять примерно к 46 годам работы населения всего земного шара. Сравнивая производительность персонального компьютера и суперкомпьютера, следует отметить, что задачи, на выполнение которых обычному ПК потребуется 200 000 лет, суперкомпьютер из первой мировой десятки решит в течение года», — поясняет Всеволод Опанасенко, генеральный директор холдинга «Т-Платформы», которому на текущий момент принадлежит порядка 85% рынка суперкомпьютеров в странах СНГ и чуть менее 1% мирового рынка. Такие машины используются для работы с приложениями, требующими наиболее интенсивных вычислений, в отличие от серверов и мэйнфреймов — компьютеров с высокой общей производительностью, призванных решать типовые задачи наподобие обслуживания больших баз данных или одновременной работы с множеством пользователей.

В конце 1990-х высокая стоимость специализированных суперкомпьютерных решений и растущая потребность разных слоев общества в доступных вычислительных ресурсах привели к широкому распространению компьютерных кластеров. Данные системы, отмечают специалисты, характеризует использование отдельных узлов на основе недорогих и широко доступных комплектующих для серверов и персональных компьютеров, а также объединенных при помощи мощных коммуникационных систем и специализированных аппаратно-программных решений. Компьютеры, входящие в кластер, могут находиться в разных помещениях и даже зданиях, всюду, куда можно протянуть сетевой кабель. Многие крупные университеты и научно-исследовательские центры отдают предпочтение именно кластерам как менее дорогостоящей альтернативе суперкомпьютерам, используя для этих целей парк своей компьютерной техники. Тем не менее суперкомпьютеры и кластеры работают схожим образом и относятся к системам параллельных сетевых вычислений, или грид-сетям (от англ. grid — решетка, сетка). Данный тип вычислений отличается скоростным взаимодействием между собой вычислительных узлов.

Первые среди лучших

В 80-е годы прошлого века на рынке появились небольшие компании, деятельность которых была ориентирована на создание высокопроизводительных компьютеров, но к середине 1990-х большинство из них оставили эту сферу деятельности, в связи с чем начались разговоры о крахе рынка суперкомпьютеров. Тем не менее, слухи о смерти данного направления оказались преувеличенными. В настоящее время над созданием суперкомпьютеров по-прежнему работает компания Cray, а также такие известные игроки компьютерного рынка, как IBM, Hewlett-Packard, NEC, другие производители, которые приобрели в свое время перспективные компании вместе с их опытом и технологиями. Начиная с 1993 года дважды в год публикуется список TOP500 самых быстрых компьютеров. Согласно редакции данного списка, опубликованной в ноябре прошлого года, мощнейшим суперкомпьютером мира была признана машина Cray XT5, известная также как Jaguar, производительностью 1,75 петафлопс/сек. Данный суперкомпьютер отодвинул на второе место вышеупомянутый Roadrunner, презентованный компанией IBM в апреле прошлого года. Тогда же разработчик заявил о том, что первым сумел преодолеть петафлопный рубеж — в официальных испытаниях Roadrunner показывал результат 1,04 петафлопс/сек (1,04 квадриллиона операций в секунду).

В целом, констатировали авторы рейтинга, по показателю мощности победитель и «серебряный» призер заметно оторвались от основных конкурентов: мощность суперкомпьютера, замыкающего первую двадцатку, составила 20 терафлопс/сек, что в 90000 раз медленнее показателя лидера. Третье место в рейтинге также заняла разработка компании Cray — Kraken XT5, мощность которого после модернизации составила 832 терафлопс/сек. На четвертой позиции расположился немецкий суперкомпьютер Jugene производства корпорации IBM, расположенной в Юлихсском исследовательском центре. Производительность данного решения составила 825,5 терафлопс/сек. В ноябрьском рейтинге прошлого года появился новичок из Поднебесной - китайский суперкомпьютер Tianhe-1, установленный в национальном суперкомпьютерном центре города Тянцзин, занял пятую строчку с показателем мощности 563,1 терафлопс/сек. При этом китайская сторона сообщала о разработках собственных процессоров Godson и о планах по созданию суперкомпьютера, который уже в ближайшие годы должен войти в тройку лидеров. Довольно высокие позиции в рейтинге заняли и российские производители — суперкомпьютер «Ломоносов» от компании «Т-Платформы» с пиковой производительностью 414 терафлопс/сек и реальной — 350 терафлопс/сек — оказался на 12-й позиции. Это самое высокое место, которое когда-либо занимал российский суперкомпьютер. Как отмечают эксперты, 90% суперкомпьютеров, входящих в рейтинг TOP-500, используют операционные системы на базе ядра Linux, 80% пользуются процессорами Intel. Большинство самых производительных суперкомпьютеров собраны компаниями IBM и НР.

«Сегодня наличие суперкомпьютеров является важным преимуществом не только для компании, но и для государства в целом. Если посмотреть на первую десятку рейтинга, то можно обнаружить, что она, за небольшим исключением, представлена американскими компаниями, и даже китайский суперкомпьютер, который занимает пятую строчку, был разработан в сотрудничестве с американскими коллегами. На протяжении достаточно длительного времени, с 2001 по 2005 год пальма первенства в сфере суперкомпьютерных технологий принадлежала японцам. Американцы поняли, что они рискуют утратить лидерские позиции в этой области и создали колоссальную по фондам и размеру суперкомпьютерную программу. Приятно, что сегодня и Россия, и Казахстан начинают движение в правильном направлении. Конечно, у нас есть отставание, но под лежачий камень вода не течет. Тот же суперкомпьютер «Ломоносов» используется в МГУ как база для центра коллективного пользования. Там работают порядка 400 пользователей, это не только кафедры университета и НИИ, созданные вокруг него, но и достаточно большое количество промышленных компаний», — рассказывает Всеволод Опанасенко. Сегодня, отметил российский эксперт, существуют проблемы, связанные с тем, что порой не удается обеспечить полную загруженность имеющихся суперкомпьютеров, но этот факт свидетельствует не об узости сфер потенциального применения этих машин, а о пробелах в создании предназначенных для них программных продуктов.

От «оборонки» до кинематографа

Суперкомпьютеры, отмечают эксперты, позволяют решить большое количество задач, которые невозможно проверить натурным экспериментом, и в настоящее время практически не осталось отраслей, где не были бы задействованы и суперкомпьютерное моделирование, и сами суперкомпьютеры, причем речь идет не только о сугубо технических направлениях и прикладных сферах, но и о гуманитарных науках — известно, в частности, что суперкомпьютеры успешно применяются в лингвистике. О таких отраслях, как вооружение, безопасность, космические исследования, сейсморазведка, разработка новых материалов, и говорить не приходится. Без применения суперкомпьютерного моделирования невозможно проектирование ядерных реакторов; именно моделированием ядерных испытаний занимается суперкомпьютер Roadrunner, до недавнего времени считавшийся самым мощным в мире. Недавно Тихоокеанская лаборатория в США на своей суперкомпьютерной системе решила задачу, которая позволила компании, занимающейся добычей урана методом подземного выщелачивания, поднять эффективность процессов, повысить рентабельность, увеличить коэффициент добычи. Благодаря использованию суперкомпьютерных технологий появилось большинство киноновинок последнего времени, от «Аватара» до «Шрека».

В промышленности применение суперкомпьютерного моделирования становится основным фактором конкурентоспособности и развития любой компании, будь то добывающая или химическая промышленность, авиационная или автомобильная индустрия. Раньше, например, автомобильным компаниям приходилось проводить краш-тесты реальных машин, чтобы обеспечить безопасность разрабатываемых моделей и на стадии производства определить их слабые элементы. Благодаря компьютерному моделированию на протяжении последних трех-четырех лет ни один крупный мировой автоконцерн не разбивает автомобили — мгновенный краш-тест происходит посредством использования суперкомпьютера. И хотя в последней стадии эксперимента задействуется настоящее авто, применение компьютерных технологий позволяет сэкономить время и деньги компаний. Суперкомпьютеры успешно решают проблемы логистики, помогая оптимизировать цепочки поставок между складами. Так, достаточно мощный суперкомпьютер решает проблемы логистики в компании Procter & Gamble, на балансе которой насчитывается примерно 25000 складов. Только благодаря использованию мощностей данного ресурса удается оптимизировать цепочки поставок между складами таким образом, чтобы обеспечить наиболее экономный путь доставки.

Суперкомпьютерные технологии активно используются для прогнозирования и моделирования чрезвычайных ситуаций природного характера. Так, сотрудники Ливерморской национальной лаборатории, где установлено порядка 20 суперкомпьютерных систем, работали над определением последствий обрушения в случае землетрясения дамбы, которую планировалось построить в одном из штатов. Суперкомпьютер, работавший над данной задачей на протяжении нескольких недель, смоделировал землетрясение 6,5 балла, длившееся 25 секунд. Компьютерное моделирование показало, что стихия не нанесет существенного ущерба сооружению, таким образом, безопасность дамбы получила экспериментальное подтверждение. Прогнозирование с помощью суперкомпьютеров природных ЧС и их последствий начинают осваивать и россияне. «Памятуя об одном из недавних мощных ураганов в Москве, наша компания совместно с МЧС России провела расчет на ветровые нагрузки. Причиной большинства повреждений, происшедших в результате урагана, стали упавшие рекламные щиты. Мы выяснили, какие рекламные носители у нас есть, какие могут устоять под порывами ветра, а какие необходимо переделать. В настоящее время совместно с МЧС и Чикагским университетом, являющимся лидером в разработке программного обеспечения для вычислений подобного рода, мы создали компьютерную модель города с его транспортными и людскими потоками, чтобы исследовать, каким образом в случае возникновения чрезвычайной ситуации устроить пути эвакуации людей, развести потоки эвакуированных с потоками спецслужб, спешащих на место аварии. Необходимо изучить, какие последствия могут возникнуть в результате пожара, как устроена роза ветров и в каком направлении пойдет дым», — констатирует г-н Опанасенко.

В авангарде — университеты

Отдельной темой является использование суперкомпьютеров в нефтегазовой отрасли, которая, не секрет, в значительной степени определяет ситуацию в казахстанской экономике. В настоящее время в мире нет ни одной крупной нефтяной компании, которая не использовала бы в своих работах суперкомпьютерное моделирование. Благодаря суперкомпьютерному моделированию, например, удается увеличить коэффициент извлечения нефти; при повышении этого показателя хотя бы на 1% существенно увеличиваются доходы компаний. «Функционирование современной нефтегазовой отрасли связано с обработкой огромных объемов информации, разных видов данных, и традиционные вычисления могут не справиться с такой работой. Соответственно, необходимо и современное программное обеспечение. Наша компания занимается разработкой такого ПО для нефтегазовой отрасли, с помощью наших программ ищут и находят новые залежи нефти и газа. Далеко не всегда можно сказать, что эти технологии дешевы или просты в освоении, но и задачи, стоящие в нефтегазовой отрасли или, скажем, геологоразведочной индустрии, непростые. С помощью современных технологий можно получать самые точные, адекватно иллюстрирующие ситуацию данные о нефтегазовых месторождениях», — отмечает Михаил Юрченков из компании Paradigm, представленной на казахстанском рынке почти 10 лет и имеющей в республике СП, которое много лет работает в нефтегазовом секторе.

И все же, говоря о том, что и России, и Казахстану предстоит немало сделать для развития суперкомпьютерных технологий, нельзя не отметить, что уровень развития этого сегмента сферы IT в наших странах неодинаков. Если Россия уже заявила о себе в рейтинге мировых лидеров, то Казахстан делает в этом направлении первые шаги. «Обладание мощными вычислительными ресурсами является одним из ключевых факторов развития национальной экономики. Мы ставим основной целью создание и последующее развитие высокопроизводительной базы», — считает исполнительный директор Фонда Первого Президента Бектас Мухамеджанов. По его словам, представители фонда на протяжении года вели переговоры с представителями госструктур и национальных компаний, выявляя наличие заинтересованности во внедрении суперкомпьютерных технологий. Переговоры показали, что интерес со стороны вышеназванных структур есть. Особенно продуктивным оказался диалог с «Казахтелекомом», где уже создана рабочая группа, участники которой в сотрудничестве с фондом намерены заниматься реализацией суперкомпьютерного проекта.

В Казахстане уже установлены два суперкомпьютера, причем оба получили «прописку» при вузах — Казахском национальном техническом университете и Казахстанско-Британском техническом университете. Тот факт, что технические вузы первыми оказались в числе претендентов на звание центров суперкомпьютерных технологий, по мнению специалистов IT-сферы, не случаен. В мире, поясняет г-н Опанасенко, существует два алгоритма развития проектов подобного рода. В первом случае компания покупает суперкомпьютер и становится его единоличным пользователем. Но такой вариант могут позволить себе лишь очень крупные компании, к тому же зачастую ограничения по доступу обусловлены не только масштабами деятельности обладателя суперкомпьютера, но и соображениями безопасности. Как правило, такие игроки не могут допустить утечки информации и потому не дают доступ к высокопроизводительной технике посторонним структурам. Второй путь, получивший более широкое распространение, заключается в создании центров коллективного пользования. В этом случае дорогостоящие машины устанавливаются в базовом центре, который, как правило, создается при вузе, но доступ к суперкомпьютеру, платный или бесплатный, получает достаточно большое количество организаций. «Трудно сказать, как будет развиваться этот процесс в Казахстане, но, скорее всего, он пойдет именно по такому пути. Даже если кто-то вкладывает достаточно большие деньги в создание суперкомпьютерного центра, он делает этот центр доступным», — констатирует г-н Опанасенко.

Установка суперкомпьютера в Каз НТУ стала первым опытом инсталляции подобной техники в республике и осуществлялась в рамках совместного образовательного проекта с Республикой Корея. Соглашение о сотрудничестве между Министерством образования и науки РК, Агентством по международному сотрудничеству KOICA при правительстве Кореи и Казахским национальным техническим университетом реализовалось в Казахстанско-корейском научно-образовательном центре информационно-коммуникационных технологий, открывшемся в конце минувшего года. В нынешнем году центр получил новейшее оборудование, в том числе суперкомпьютер компании Fujitsu мощностью 17 терафлопс/сек., более 300 компьютеров, видеокамеры, хайтек-классы, где преподаватели могут читать лекции в интерактивном режиме. Суперкомпьютер используется не только в образовательном процессе, но и в осуществлении расчетов, обработке научных данных.

Образовательные и исследовательские задачи решаются и посредством суперкомпьютера, установленного в другом казахстанском университете. В КБТУ весной нынешнего года был запущен в промышленную эксплуатацию суперкомпьютер на платформе IBM BladeCenter с пиковой производительностью 10 терафлопс/сек., использующий геолого-геофизические технологии компании Paradigm. «Мы получили возможность работать на стыке науки и таких отраслей, как нефтегазовый сектор, недропользование, экология, энергетика, транспорт. Это самые сложные для моделирования области экономической деятельности, поэтому мы приняли решение опираться исключительно на профессиональное оборудование компании IBM, одного из признанных лидеров в области высокопроизводительных суперкомпьютерных технологий. В нефтегазовом секторе, например, появилась возможность расчета геофизической модели разработки месторождений, тогда как раньше подобные работы выполнялись только за рубежом. Благодаря технологиям моделирования хранилищ от компании Paradigm в казахстанском содержании продукции нефтегазовой индустрии появится серьезная научная составляющая», — пояснил ректор КБТУ Искандер Бейсембетов. По мнению последнего, появление суперкомпьютеров означает новый этап развития IT-сферы Казахстана. Суперкомпьютер позволяет университету интегрироваться на технологическом уровне более чем с 70 исследовательскими организациями Европы и США и стать частью проектов, реализующихся в рамках программы Enabling Grids for E-Science. Благодаря этому страна присоединяется к глобальной грид-инфраструктуре, доступным технологиям, вычислениям параллельного программирования на базе открытых платформ. Тем самым создается казахстанская грид-инфраструктура, присоединенная к европейской информационной инфраструктуре.

«В результате объединения возможностей суперкомпьютера и грид-инфраструктуры создается платформа для интеграции науки, образования и производства. Благодаря установке суперкомпьютера появляется доступ к закрепленным по всему миру вычислительным ресурсам, базам данных, к международному сотрудничеству в разных отраслях науки и технологичных разработках. Новые возможности открываются и в сфере образования, это в первую очередь погружение в мировой образовательный и исследовательский процесс. На десятки лет могут сократиться сроки оснащения научно-технической базы казахстанских вузов. Открытая глобальная грид-инфраструктура позволит ввести прозрачную систему конкуренции образовательных услуг и профессорско-преподавательского состава. В сфере науки появляется возможность изменений благодаря решению двух ключевых проблем: созданию информационной инфраструктуры для обслуживания научных исследований и обеспечению кооперации с мировым научно-техническим сообществом», — говорит о преимуществах внедрения суперкомпьютерных технологий г-н Бейсембетов. Создание новой системы, отметил он, осуществлялось в непростых условиях, когда Казахстан практически не обладал опытом в этой области, отсутствовали специалисты; глава государства озвучил поручение по созданию суперкомпьютерного центра несколько лет назад, однако из-за многочисленных проблем ждать подходящего момента пришлось довольно долго. В перспективе представители корпорации IBM совместно с администрацией университета намерены создать центр компетенций, подобный тому, которые существуют у вендора в Дубае, Париже и Москве. Компания также выразила готовность поставлять суперкомпьютеры и для других казахстанских вузов, открыть образовательный центр в Астане.

Оказать поддержку нашей стране во внедрении современных вычислительных технологий готовы и россияне. Так, соглашение о сотрудничестве по организации поставок суперкомпьютерных ситем подписали в начале года российский холдинг «Т-Платформы» и отечественный системный интегратор SmartCom. Казахстанская компания получила статус авторизованного партнера компании «Т-Платформы» и будет реализовывать проекты по поставкам высокопроизводительных решений совместно с российской стороной, оказывать техническую поддержку пользователям систем компании «Т-Платформы». В свою очередь российская компания получит возможность расширить свое присутствие на казахстанском рынке, более продуктивно продвигать российские суперкомпьютерные технологии, повысить качество обслуживания казахстанских пользователей.

Впрочем, внедрение суперкомпьютерных технологий само по себе все-таки не означает автоматического выхода казахстанской IT-индустрии на новую ступень развития. Во-первых, для того, чтобы они заработали с максимальной отдачей, необходимо обеспечить соответствующий уровень кадровой поддержки. По словам г-на Мухамеджанова, готовность организовать обучающие курсы для казахстанских специалистов в Москве выразило руководство уже упоминавшейся компании «Т-Платформы». Кроме того, казахстанская сторона подписала договор с Межгосударственным фондом культурно-гуманитарного сотрудничества, одним из направлений работы которого является развитие научных связей между странами СНГ. Ведутся переговоры с представителями нобелевского лауреата Жореса Алферова, который возглавит интеллектуальный центр в Сколково. В планы казахстанской стороны входит подписание договора о подготовке кадров на базе этой новой структуры, отрабатываются вопросы отбора казахстанских специалистов, которые пройдут профессиональное обучение. Но это — лишь первый шаг, решить же проблему кадрового обеспечения в более широком масштабе предстоит на базе отечественных учебных заведений, соответственно, существует потребность в отечественных преподавательских кадрах и методиках.