Отечественные СуперЭВМ и грид-системы...

XII НАУЧНО-ПРАКТИЧЕСКАЯ КОНФЕРЕНЦИЯ УНИВЕРСИТЕТА ГОРОДА ПЕРЕСЛАВЛЯ. Переславль-Залесский, 2008

С. М. Абрамов, В. Ф. Заднепровский, А. А. Московский

Отечественные СуперЭВМ и грид-системы.Проблемы развития национальнойкиберинфраструктуры в России

Научный руководитель: С. М. Абрамов

Аннотация. Статья посвящена проблемам развития национальной кибе-ринфраструктуры в России. Дается анализ развития зарубежной супер-компьютерной отрасли и указываются возможные направления развитияданной отрасли в России.

1. Введение

1.1. Единственный способ победить в конкуренции ––обогнать в вычислениях

Критические (прорывные) технологии в государствах, строящихэкономику, основанную на знаниях, исследуются и разрабатывают-ся (R&D) на базе широкого использования высокопроизводительныхвычислений. И другого пути––нет. Без серьезной суперкомпьютернойинфраструктуры:

• невозможно создать современные изделия высокой (аэрокос-мическая техника, суда, энергетические блоки электростан-ций различных типов) и даже средней сложности (автомо-били, конкурентоспособная бытовая техника и т. п.);

• невозможно быстрее конкурентов разрабатывать новые ле-карства и материалы с заданными свойствами;

• невозможно развивать перспективные технологии (биотех-нологии, нанотехнологии, решения для энергетики будущегои т. п.)

Представлено по тематике: Программное обеспечение для суперЭВМ, Аппа-ратные компоненты и системы суперЭВМ .

Отечественные СуперЭВМ и грид-системы 2

Сегодня суперкомпьютерные технологии по праву считаются важ-нейшим фактором для обеспечения конкурентоспособности экономи-ки страны1, а единственным способом победить конкурентов объяв-ляют возможность обогнать их в расчетах. Здесь характерны слова2

Президента Совета по конкурентоспособности США:

«Технологии, таланты и деньги доступны мно-гим странам. Поэтому США стоит перед лицомнепредсказуемых зарубежных экономических кон-курентов. Страна, желающая победить в конку-ренции, должна победить в вычислениях» [2].

Неважно, о конкуренции в каком секторе экономики идет речь:сказанное верно для добывающих и перерабатывающих секторов эко-номики, и особенно это верно при разработке новых технологий. По-этому в развитых странах мира для перехода к экономике знанийсоздается новая инфраструктура государства –– государственная си-стема из мощных суперкомпьютерных центров, объединенных сверх-быстрыми каналами связи в грид-систему. То есть, по сути, речь идето национальной научно-исследовательской информационно-вычисли-тельной сети. Для такой системы часто используют термин «кибе-ринфраструктура»3. В этих странах на создание национальной ки-беринфраструктуры выделяются большие финансы из государствен-ных бюджетов: в 2005–2007 гг. США тратили на эти цели от 2 до 4млрд. долларов в год.

1Например, см. доклад Президенту США комитета PITAC «Вычислитель-ные науки: обеспечение превосходства (конкурентоспособности) Америки» [1].

2“With technology, talent and capital now available globally, the U.S is facingunprecedented economic competition from abroad. The country that wants to outcompete must out-compute,” –– Deborah Wince-Smith, President of the Council onCompetitiveness.

3В данной работе оба термина –– «национальная научно-исследовательскаяинформационно-вычислительная сеть» и «киберинфраструктура»,––используют-ся как синонимы.


2. Природа экономической эффективности национальнойкиберинфраструктуры

Таким образом, в развитых странах национальная киберинфра-структура создается в интересах страны в целом, всех отраслей эко-номики государства. Национальная киберинфраструктура рассмат-ривается как общественное благо, расходы на ее создание и сопро-вождение покрываются из национального бюджета.

По мере создания фрагментов киберинфраструктуры (суперком-пьютерных центров, сегментов грид-систем) ее ресурсы предостав-ляются, как правило, бесплатно для использования подразделени-ям исследований и разработок государственных учреждений (нацио-нальных научных центров), ВУЗов и коммерческих фирм –– тем, ко-му сегодня необходимы максимальные достигнутые вычислительныемощности. Например, вычислительные ресурсы (процессорное времядля расчетов) суперкомпьютерных центров национальных лаборато-рий США безвозмездно раздаются в виде грантов по конкурсам налучшие проекты по научным исследованиям и коммерческим инже-нерным разработкам (программа INCITE). Тем самым интерес госу-дарства и возврат вложенных в киберинфраструктуру бюджетныхсредств осуществляется не за счет прямой продажи ресурсов наци-ональной киберинфраструктуры, а за счет развития конкурентоспо-собности экономики, разработки новых технологий, товаров и услуг,расширения присутствия национальной экономики на мировом рын-ке, и увеличения налоговых поступлений в национальную казну. Тоесть речь идет не о коммерческой, а о бюджетной эффективности го-сударственных инвестиций в национальную киберинфраструктуру.

3. Рекордные суперЭВМ необходимы

Отметим существенное обстоятельство: для успешной конкурен-ции в области создания передовых технологий стране необходимоиметь хотя бы одну суперЭВМ рекордного диапазона –– близкую к«первой десятке» рейтинга Top500. Без этого некоторые из необхо-димых расчетов выполнить будет невозможно. И причина этого нетолько в большом объеме вычислений. Для действительно «боль-ших» задач в типичных случаях окажутся неверными рассуждениявида: «Наша установка в 5–10 раз менее производительная. Ну и лад-но, счет займет в 5–10 раз больше времени, мы подождем...». Делов том, что менее мощная установка имеет и меньшую оперативную


память. И задача может просто «не поместиться» в память такой су-перЭВМ. И расчет будет принципиально невозможен на данной су-перЭВМ не только из соображений неприемлемо большого временисчета, но из-за высоких требований по памяти.

4. Необходима система различных по мощности суперЭВМ

Обычно национальная киберинфраструктура состоит из супер-компьютерных центров нескольких «уровней», объединенных сверх-мощными каналами связи и оснащенных грид-решениями, позволя-ющими использовать распределенную, гетерогенную сеть суперком-пьютеров как единую вычислительную среду.

Например, в США запланировано создание грид-сети, включаю-щей три–четыре сверхмощных суперкомпьютерных центров (произ-водительностью4 1 Pflops и более), 20–30 крупных суперкомпьютер-ных центров (60–350 Tflops) и несколько десятков суперкомпьютер-ных центров (20–60 Tflops).

Анализируя данные списка Top500 (редакция за ноябрь 2007 го-да), можно сказать, что сегодня в оснащенности суперкомпьютерны-ми средствами преимущества США перед Россией можно оценить в50 раз, преимущества Европы перед Россией можно оценить в 25 раз(Таблица 1).

5. В чем заграница нам никогда не поможет

Суперкомпьютерные технологии являются (см. выше) инстру-ментом обеспечения конкурентного и технологического превосход-ства одного государства над другим. Поэтому Россия никогда не смо-жет приобрести у другой страны такую суперкомпьютерную техни-ку, которая эффективно обеспечила бы конкурентное и технологиче-ское превосходство России над этой страной. И здесь даже не нужны

4Производительность суперкомпьютера определяют количеством операцийс плавающей точкой, которые могут быть исполнены за одну секунду. Для со-временных суперкомпьютеров используют единицы: 1 Tflops –– один триллион(1012) операций в секунду, 1 Pflops –– один квадриллион (1015) операций в секун-ду. Различают пиковую производительность (предельная, недостижимая произ-водительность) и реальную производительность на некоторой задаче. В мировомрейтинге пятисот самых мощных компьютеров мира (www.top500.org, пересмат-ривается каждый июнь и ноябрь) суперкомпьютеры ранжируются по произво-дительности на задаче Linpack–тесте, связанном с решением огромной системылинейных уравнений. Очень часто суперкомпьютерами называют только те ЭВМ,которые попадали в рейтинг Top500.

www.top500.org


Диапазоны Linpack-производительности иколичество суперкомпьютеров данного

диапазона (ноябрь 2007 г.)

Класссуперкомпьютеров

США Европа РоссияДоля

России

Сверхпроизводительныесуперкомпьютерныецентры

от 85 до478 Tflops

6 шт.

102 и167 Tflops

2 шт.––

0% отСША, 0%от Европы

Крупныесуперкомпьютерныецентры

21–82Tflops20 шт.

22–64Tflops12 шт.

33 Tflops1 шт.


Суперкомпьютерныецентры

9–21 Tflops60 шт.


––0% от

США, 0%от Европы

Суперкомпьютерыширокогоиспользования


5–9Tflops 80

шт.

6–9 Tflops6 шт.


ВСЕГО4164

Tflops,283 шт.

2038Tflops,149 шт.

2 Tflops,7 шт.


Таблица 1. Оснащенность США, Европы и Россиисуперкомпьютерами (по данным рейтинга Top500, ре-дакция за ноябрь 2007 года)

никакие государственные запреты: у компаний-поставщиков отличносрабатывают здравый смысл и соображения сохранения своего тех-нологического превосходства над Россией.

Это не значит, что совсем невозможно купить суперЭВМ за ру-бежом. Однако анализ поставок суперЭВМ из-за рубежа в Россиюпоказывает (cм. [4], слайды 59–62), что поставляется нам то, что непредставляет угрозы; например, то, что заведомо устаревает черезполгода–год после поставки.

Другие обстоятельства, которые надо также здесь учесть: зави-симость от зарубежной компании по дальнейшим поставкам и серви-сам: модернизация оборудования, новые версии программного обес-печения, консультации, обслуживание и т. п.


6. Магистральные каналы передачи данных длянациональной киберинфраструктуры

Как было сказано выше, киберинфраструктура государства––этосистема мощных суперкомпьютерных центров, объединенных междусобой сверхбыстрыми каналами связи в грид-систему. Поэтому ана-лиз проблемы будет не полным, если не рассмотреть состояние делв части магистральных каналов передачи данных для национальнойкиберинфраструктуры.

Связывание национальных суперкомпьютерных центров в еди-ную систему –– принципиальный шаг на пути к построению киберин-фраструктуры, поскольку это позволяет (перечисление неполное):

• обеспечивать возможность решения вычислительно слож-ных задач, недоступных для решения при помощи отдель-ных суперкомпьютерных установок.

• повышать эффективность использования суперкомпьютер-ных установок за счет выравнивания нагрузки (обмена вы-числительными заданиями).

• развивать новые технологии высокопроизводительных вы-числений и обработки данных при помощи географическираспределенных вычислительных ресурсов.

• обеспечивать («плавно») развитие национальной киберин-фраструктуры, защищать вложенные в нее инвестиции.

Поэтому в ведущих странах уделяется серьезное внимание про-блеме создания национальных систем магистральных каналов пере-дачи данных для киберинфраструктуры. Так, например, в США нарешение этой задачи идет существенная доля из всех средств, вы-деляемых в целом на создание национальной киберинфраструкту-ры. Аналогичные программы развития суперкомпьютерных центров,компьютерных сетей и грид-систем имеются в Европе, Японии, Китаеи других развитых странах.

В части обеспечения сети каналов передачи данных для нацио-нальной киберинфраструктуры мировой опыт показывает, что такиесети организуются вне пространства обычных коммерческих интере-сов операторов связи и за рамками их обычной ценовой политики.Здесь в мире в основном применяются следующие решения:

• создание сети передачи данных, которая находится в соб-ственности государства (научно-образовательного сообщест-ва, государственной эксплуатационной компании) –– данный


путь требует огромных временных и финансовых затрат (наэтапах создания и эксплуатации);

• понуждение операторов связи (на уровне политических ре-шений) к предоставлению услуг вне рамок обычных коммер-ческих условий: как правило, речь идет о предоставленииоператорами связи государству в льготную аренду так на-зываемых «темных волокон» для создания магистрали на-циональной научно-исследовательской информационно-вы-числительной сети.

К сожалению, в России сегодня практически все магистральныеканалы национальной научно-исследовательской информационно-вы-числительной сети образованы за счет покупки канальной емкости укоммерческих операторов связи, а не за счет прокладки собственныхлиний и не за счет аренды «темных волокон».

Сравнение технических характеристик сегодняшних националь-ных научно-исследовательских информационно-вычислительных се-тей США, Объединенной Европы и России (Таблица 1, Таблица 2,Рис. 1, Рис. 2 и Рис. 3) показывает драматическое отставание Россиив данной области:

• в области оснащенности суперкомпьютерными ресурсами,как уже отмечено выше, Россия отстает от США в 50 раз,от Европы–– в 25 раз;

• в технической оснащенности в части передачи данных в ма-гистральных национальных научно-исследовательских ин-формационно-вычислительных сетях Россия отстает по ха-рактеристике скорости передачи данных от США и Европыв 100–50–25 раз, при крайне слабом охвате сетью националь-ной территории (по сравнению с охватом территорий СШАи Европы).

7. Выводы

Без экстренной ликвидации данного отставания не могут бытьрешены задачи получения конкурентных преимуществ результатовисследований и разработок в «прорывных технологиях», не можетбыть обеспечено ускоренное развитие России и завоевание ею достой-ного места в мировой экономике.


США National Lambda Rail: Магистральная сеть на основе каналов семкостью 3×10–10 Гбит/с., охватывает все штаты, принадлежитисследовательским организациям и используется для проведенияисследований в области телекоммуникационных технологий новогопоколения и базисом грид-проектов (TeraGrid, Open Science Grid) вСША ––Рис. 1.Есть и другие информационно-вычислительные национальные се-ти ––DOE, DOD, NSA, NSF, NASA и прочие.

Европа GEANT2: Европейская магистральная сеть на основе темных воло-кон и каналов с емкостью 2×10–2.5 Гбит/с. связывает все научныецентры в центральноевропейских странах. Присоединенные к маги-страли периферийные сегменты на основе каналов с емкостью 622–155 Мбит/с ––Рис. 2. Есть и другие Европейские информационно-вычислительные сети, обладающие схожими характеристиками, на-пример сеть стран северной Европы NORDUnet.

Белоруссия Осенью 2007 года Белоруссия выполнила требования (входнойценз) на вхождение национальной научно-исследовательской ин-формационно-вычислительной сети страны в BalticGRID: нацио-нальная магистраль в основной части на основе собственных ка-налов с емкостью не хуже 1–2 Гбит/с (к 2010 году: 10 Гбит/с),емкость подключения национальной магистрали к узлу BalticGRIDне хуже 1–2 Гбит/с

Россия Национальная научно-исследовательская информационно-вы-числительная сеть ––Рис.3, –– основана, в основном, на аренде ка-нальных емкостей у коммерческих операторов связи:

• 2.5 Гбит/с –– 1 канал: Москва–Санкт–Петербург, расширеннедавно до 10 Гбит/с;

• 155 Мбит/с –– 1 канал: Москва–Самара–Новосибирск–Хаба-ровск;

• 100–10 Мбит/с –– 11 каналов: от города Москвы до Екате-ринбурга (71 Мбит/с), Самары (34 Мбит/с), Новосибирска(72Мб/с), Нижнего Новгорода (55 Мбит/с), Ростова на Дону(96 Мбит/с), Твери (40Мб/с), Перми (34Мб/с), Ставрополя(16Мб/с), Новгорода (10Мб/с), Краснодара (10Мб/с), Каза-ни (26Мб/с).

• 8–4 Мбит/с –– 4 канала: от Москвы до Ярославля, от Ново-сибирска до Хабаровска (6Мб/с), от Новосибирска до Томска(8Мб/с), от Новосибирска до Барнаула (4Мб/с).

• Остальные каналы ––менее 4 Мбит/с.Характеристика полноты покрытия территории: неудовлетвори-тельное и фрагментарное

Таблица 2. Сравнение характеристик каналов свя-зи национальных научно-исследовательских инфор-мационно-вычислительных сетей


Рис. 1. Магистральная сеть National Lambda Rail(США) основана на собственных волоконно-оптиче-ских линиях (NLR-owned fibers)

8. Отечественные суперкомпьютерные системы.Суперкомпьютеры семейства «СКИФ»

В силу сказанного выше, если ставить целью обеспечение конку-рентоспособности страны, то невозможно ориентироваться на закуп-ки импортных суперЭВМ, и следует обратить внимание на постав-щиков отечественных суперЭВМ.

Суперкомпьютерами обычно принято называть установки выс-шей производительности. Например, вошедшие в выпуски рейтингаTop500. До ноября 2007 года только следующие четыре отечествен-ные5 суперЭВМ вошли в Top500 (Рис. 4):

• МВС1000М, 0.534 Tflops, затем расширен до 0.734 Tflops ––июнь 2002 года, НИИ «Квант», МСЦ, ИПМ им. М. В. Кел-дыша РАН;

5Вошедшие в Top500 не как закупки в Россию компьютеров у IBM, Hewlett-Packard или Sun Microsystems, а как отечественные разработки –– например, спометкой «self made».


Рис. 2. GEANT2: Европейская магистральная сетьна основе «темных волокон» и каналов (с емкостьюот 2×10 до 2.5 Гбит/с)

• СКИФ К-500, 0.472 Tflops –– ноябрь 2003 года, ОИПИ НАНБеларуси, НИИ ЭВМ, Т-Платформы, ИПС РАН;

• СКИФ К-1000, 2.032 Tflops ––ноябрь 2004 года, ОИПИ НАНБеларуси, НИИ ЭВМ, Т-Платформы, ИПС РАН;


Рис. 3. Российская национальная сеть науки и выс-шей школы (состояние на февраль 2008 года)

• СКИФ Cyberia, 9.019 Tflops –– июнь 2007, Т-Платформы, сучастием ИПС РАН.

В июне 2008 года к этому списку, несомненно, добавится:

• СКИФ Урал, 11 Tflops –– июнь 2008, Т-Платформы, с уча-стием Института программных систем РАН;

• СКИФ МГУ, 43 Tflops––июнь 2008, Институт программныхсистем РАН, Т-Платформы, МГУ имени М. В. Ломоносова.

Таким образом, фактически:

• подавляющее большинство из известных6 отечественных су-перЭВМ являются суперкомпьютерами семейства СКИФ;

• с 2003 года все известные отечественные суперЭВМ являют-ся суперкомпьютерами семейства СКИФ;

• сегодня проверенная временем команда исполнителей про-грамм «СКИФ» и «СКИФ-ГРИД»––единственная результа-тивная российская команда, реально создающая отечествен-ные суперкомпьютерные системы.

6Информация о которых опубликована в открытой печати.


Рис. 4. Отечественные СуперЭВМ в мировом рей-тинге Top500 (за всю историю рейтинга и в перспек-тиве до июня 2008 года)

9. Суперкомпьютерные программы «СКИФ» и«СКИФ-ГРИД»

Суперкомпьютерные программы «СКИФ»7 и «СКИФ-ГРИД»8

Союзного государства (Таблица 3) являются научно-производствен-ными программами Союзного государства. Данные программы обес-печивают присутствие России среди разработчиков (а не только по-купателей) суперкомпьютерных технологий мирового класса, о чембудет сказано далее. И этого бы сегодня не было, если бы в деле

7(2000–2004 гг.)8(2007–2010 гг.)


СКИФ СКИФ-ГРИД Отношение

Бюджет РоссийскойФедерации (млн. руб.,на весь срок)

157 446.5 284%

Бюджет РеспубликиБеларусь (млн. руб.,на весь срок)

162 234.5 145%

Бюджет всего(млн. руб.,на весь срок)

319 681 213%

ВидНИОКР,толькобюджет

НИР,1/3 –– привлеченные

средства

Соисполнителей РФ 10 >20 (20–30) > 200%

Объем работСуперЭВМ и

пилотныеприложения

Грид-технологии.СуперЭВМ,

информационнаябезопасность и

пилотные приложения

> 200%

Таблица 3. Суперкомпьютерные программы Союз-ного государства «СКИФ» (2000–2004 гг.) и «СКИФ-ГРИД» (2007–2010 гг.)

формирования суперкомпьютерных программ «СКИФ» и «СКИФ-

ГРИД» огромную роль не сыграла бы принципиальная позиция и

поддержка программ со стороны:

• Постоянного комитета Союзного государства, а также госу-

дарственного секретаря П. П. Бородина;

• ряда депутатов Парламентского собрания Союзного госу-

дарства и Государственной Думы Российской Федерации,

особенно: Б. В. Грызлова и А. А. Кокошина.


9.1. Общие сведения о Программе «СКИФ»

Полное официальное наименование Программы «СКИФ» –– Раз-работка и освоение в серийном производстве семейства моделей вы-сокопроизводительных вычислительных систем с параллельной ар-хитектурой (суперкомпьютеров) и создание прикладных программ-но-аппаратных комплексов на их основе, –– очень хорошо показываетспецифику данного проекта:

• мы говорим не о «чисто академическом исследовании», а одоведении дела до серийного производства. Значит, поми-мо исследовательских, необходимо выполнение и конструк-торских работ. Необходимы: разработка в соответствии состандартами программной и конструкторской документации(ПД и КД), прохождение в установленном порядке нормо-контроля, подготовка производства, выпуск опытных образ-цов, проведение предварительных и приемочных (государ-ственных) испытаний, выпуск литерной документации (с ли-терами «О» и «О1») и т. п. Серийное производство означа-ет учет требований потенциального рынка. Значит, кромеобеспечения высоких технических показателей нам предсто-яло учитывать реальную покупательную способность отече-ственных предприятий и учреждений, бороться за прием-лемые значения цены и отношения «производительность кцене»;

• целью программы являлся не одиночный уникальный об-разец, а семейство моделей (Ряд 1 и Ряд 2) высокопроиз-водительных вычислительных систем (суперкомпьютеров),совместимых по программному обеспечению (ПО), имеющихширокий выбор возможных конфигураций, широкий спектрпроизводительности: от единиц и десятков миллиардов опе-раций в секунду (1–10–100 Gflops), до триллионов операцийв секунду (до 15 Tflops);

• недостаточно было разработать только семейство машин ибазовое ПО для них. Для того чтобы обеспечить широкоевнедрение суперкомпьютеров семейства «СКИФ», предсто-яло разработать прикладные системы и даже законченныеприкладные комплексы.


Программа «СКИФ» выполнялась пять лет, с 2000 по 2004 го-ды. В программе были определены государственными заказчиками-координаторами:

• от Республики Беларусь––Национальная академия наук Рес-публики Беларусь;

• от Российской Федерации––Федеральное агентство по наукеи инновациям.

Институт программных систем Российской академии наук (ИПСРАН) являлся головным исполнителем программы «СКИФ» от Рос-сийской Федерации, головным исполнителем от Республики Беларусьявлялся Объединенный институт проблем информатики Националь-ной академии наук Республики Беларусь (ОИПИ НАН Беларуси).Всего в Программе участвовали около двух десятков учреждений ипредприятий, примерно поровну –– по десятку предприятий от каж-дой страны.

За пять лет исполнения программы «СКИФ» было выпущеношестнадцать опытных образцов [5, 6] суперкомпьютеров семейства«СКИФ», шесть из них было размещено в Беларуси, десять –– в Рос-сии. Каждый год создавались установки в широком спектре произво-дительности. И среди них всегда была установка с наибольшей (на те-кущий год) для семейства «СКИФ» Linpack-производительностью––так называемое «подсемейство Top-СКИФ» (Таблица 4). Видно, чтоLinpack-производительность моделей Top-СКИФ росла из года в годпочти по экспоненциальному закону и за пять лет выросла в 185 раз(с 11 Gflops до 2032 Gflops).

9.2. Общие сведения о Программе «СКИФ-ГРИД»

Реализация Программы Союзного государства России и Белару-си «СКИФ-ГРИД» началась в 2007-м году, после подписания соответ-ствующего постановления Председателем Правительства Союзногогосударства. В Программе «СКИФ-ГРИД» выделены четыре основ-ных направления:

• Грид-технологии: исследование, развитие, внедрение вы-сокопроизводительных вычислений на основе грид-техноло-гий; развитие, исследование и внедрение средств поддерж-ки гетерогенных, территориально-распределенных вычисли-тельных комплексов.


ГодНаименование,Расположение

Количество и видпроцессоров

Производительность,Gflops пиковая/Lin-

pack

2000Первенец 2 экз.:

Россия и Беларусь32×Intel Pentium III

(600 MHz)20/11

2001 ВМ-5100 Беларусь32×Intel Pentium

III(1400 MHz)45/31

2002 Первенец-М Россия32×AMD AthlonMP1800+(1533 MHz)

90/57

2003СКИФ К-500

Беларусь128×Intel PentiumXeon (2.8 GHz)

717/474

2004СКИФ К-1000

Беларусь576×AMD Opteron

248 (2.2 GHz)2534/2032

Таблица 4. Основные показатели вычислительныхустановок с наибольшей для семейства «СКИФ» Lin-pack-производительностью на текущий год

• Суперкомпьютеры семейства «СКИФ» (Ряд 3 и 4):создание суперкомпьютеров «СКИФ» нового поколения набазе новых перспективных процессоров и вычислительныхузлов, новых технических средств системной сети, управле-ния системой, спецвычислителей и гибридных узлов, разра-ботка соответствующего программного обеспечения.

• Защита информации: реализация средств защиты инфор-мации (аппаратных и программных) в создаваемых вычис-лительных комплексах.

• Пилотные системы: реализация различных прикладныхсистем в перспективных областях применения создаваемыхвычислительных установок, решение актуальных задач насуперкомпьютерах и грид-системах.

9.3. Команда исполнителей Программы «СКИФ-ГРИД»

Головным исполнителем от Российской Федерации по програм-мам «СКИФ» и «СКИФ-ГРИД» является Институт программных си-стем РАН. Структура исполнения программы «СКИФ-ГРИД» (Рос-сийская Федерация, мероприятия 2007–2008 гг.) представлена ниже


Рис. 5. Соисполнители программы «СКИФ-ГРИД»,Российская Федерация, мероприятия 2007–2008 гг.

(см. Рис. 5). Исполнители сгруппированы по направлениям: грид-тех-нологии (головной –– НИИЯФ МГУ), далее –– суперкомпьютеры се-мейства «СКИФ» (компания «Т-Платформы»), инициативные рабо-ты (ИППИ РАН и ООО «ЮникАйСиз»), пилотные проекты (НИВЦМГУ).

9.4. Результаты и заделы, полученные посуперкомпьютерным программам «СКИФ» и«СКИФ-ГРИД»

Основные материальные результаты, полученные по программам«СКИФ» и «СКИФ-ГРИД» –– конструкторская документация аппа-ратных средств суперкомпьютеров семейства «СКИФ» и программ-ная документация программного обеспечения для них.


Разработка в рамках программ «СКИФ» и «СКИФ-ГРИД» вы-полняется с соблюдением всех требований и стандартов промышлен-ной разработки (нормоконтроль, выпуск литерной документации, си-стема испытаний).

Разработанные решения позволяют выпускать вычислительныеустановки широкого диапазона производительности.

Аппаратные разработки основаны на использовании импортнойэлементной базы: процессоры, модули памяти, диски, компоненты си-стемной и вспомогательной сети суперкомпьютеров. Но на уровне схе-мотехники (часто на уровне проектирования системной платы), кон-структивов, термодизайна, общей архитектуры––все решения ориги-нальные, отечественные.

Еще одной оригинальной отечественной аппаратной разработкойявляется сервисная сеть ServNet для суперкомпьютеров семейства«СКИФ», аппаратные и программные средства которой созданы вИПС РАН.

Разработанный комплект ПО для суперкомпьютеров семейства«СКИФ» включает все необходимые компоненты:

• операционная система (ALT Linux СКИФ);• средства мониторинга параметров аппаратных и программ-

ных средств, система предсказания вероятных отказов;• средства администрирования и система очередей;• стандартные (MPI и OpenMP) и оригинальные отечествен-

ные (OpenTS, DVM, X-COM, SKIF@HOME) средства напи-сания параллельных программ для суперкомпьютеров и рас-пределенных систем;

• десятки прикладных и инструментальных систем (для раз-работки различных приложений).

В рамках программы «СКИФ-ГРИД» данный набор ПО расши-ряется. В том числе, создается ПО промежуточного слоя, для инте-грации суперкомпьютеров семейства «СКИФ» в грид-системы. Этисредства поддерживают различные аспекты интеграции и созданияраспределенных систем:

• объединение вычислительных мощностей;• унификация доступа к вычислительным ресурсам, к дан-

ным, к сервисам системы для пользователей (рабочих групп,пользовательских программ); поддержка гибкого доступа,безопасности и разграничения доступа и прав;


• организация распределенных хранилищ данных и баз дан-ных, интеграция всех источников данных в системе.

9.5. Преимущества суперкомпьютеров семейства «СКИФ» ипрограммного обеспечения для них

Решения семейства «СКИФ» позволяют строить суперкомпью-терные системы высшего уровня производительности –– без ограни-чений, в том числе и такие, на которых можно разрабатывать техно-логии для достижения превосходства России над другими странами.

Разработчики решений (отечественная команда) способны обес-печить глубокий и качественный уровень поддержки. Здесь имеетсяв виду и близкое расположение разработчиков к потребителю, и от-сутствие для специалистов «темных мест» и «секретов фирмы» вобслуживаемой аппаратуре или программном обеспечении.

Суперкомпьютеры семейства «СКИФ» обладают лучшим показа-телем «стоимость/производительность», по сравнению с западнымибрэндами. Иногда разница приближается к двум разам.

Суперкомпьютеры «СКИФ» показывают отличное качество ис-пользования аппаратных средств, лучшие показатели по КПД (отно-шение производительности на задаче к пиковой производительности),лучшие абсолютные показатели и масштабируемость на задачах. Вотнесколько примеров:

• Ноябрь 2003 года: СКИФ К-500 показывает на 25% лучшееКПД, по сравнению с суперкомпьютером Dell PowerEdge2650: оба суперкомпьютера показывают практически рав-ную Linpack-производительность, используют одни и те жепроцессоры, только в СКИФ К-500 установлено 128 процес-соров, а в Dell их потребовалось гораздо больше –– 160.

• Ноябрь 2004: СКИФ К-1000 занял первое место в мире врейтинге Top-Crunch. Рейтинг поддержан DARPA, супер-ЭВМ ранжируются по реальной производительности не наабстрактных тестах, а на реальных задачах. В рассмотрен-ном случае это была задача расчета в системе Linpack ре-зультатов столкновения одновременно трех автомобилей.

• Февраль 2007: СКИФ Cyberia по результатам независимыхизмерений:

– показывает КПД (=Linpack/Peak) на +8..13% лучше,чем у IBM Bladecenter Hs21 Cluster.


Рис. 6. Первое российское blade-решение –– модульдля суперкомпьютера «СКИФ МГУ» (разработка ипроизводство компании «Т-Платформы»)

– демонстрирует лучшую масштабируемость9 гидродина-мических расчетов на пакете STAR-CD, чем современ-ные системы Cray XD1, HP XC, IBM p5-575 (Power5),SUN X2100.

В области аппаратных разработок удается достичь и других ре-кордных для отрасли свойств и характеристик. Так, в 2007 году дляпроектов «СКИФ МГУ» (60 Tflops) и «СКИФ Урал» (15 Tflops)компания «Т-Платформы» разработала и организовала производствопервого российского blade-решения (см. Рис. 6). При этом удалосьдостичь самой большой плотности форм-фактора в индустрии: 10двухпроцессорных «лезвий» в корпусе высотой всего 5U (20 CPU, 80ядер, около 0.7 Tflops). Кроме того, данное решение является един-ственным blade со стандартными адаптерами PCI-Express, что обес-печивает поддержку любых адаптеров (уникальная гибкость по ап-паратным средствам).

В этой разработке поддержано резервирование (N+1) и горячаязамена вентиляторов и блоков питания шасси, что обеспечивает высо-кую надежность изделия и является достоинством, отсутствующим

9В 1.5–2 раза лучше.


во всех иных аналогичных изделиях. Blade-решение компании «Т-Платформы» было номинировано компанией Intel как одна из луч-ших разработок года в области высокопроизводительных вычисле-ний. Версия сервисной сети для данного blade-решения (ServNet Т-60) разработана в ИПС РАН и изготавливается на производственнойбазе ИПС РАН.

В области программного обеспечения для суперкомпьютеров се-мейства «СКИФ» также немало достижений, получивших признаниев мире.

Упомянем разработанную в ИПС РАН систему параллельногопрограммирования OpenTS, реализующую концепцию автоматиче-ского динамического распараллеливания программ. OpenTS берет насебя большую часть сложной работы по организации параллельно-го счета. За счет этого серьезно упрощается процесс написания па-раллельных программ, сокращаются сроки разработки и объем про-граммного кода––от 7 до 15 раз на ряде задач. В результате у парал-лельных программ получается лучше читаемость, код яснее и мень-ше места для ошибок. Данная разработка заинтересовала корпора-цию Microsoft, которая третий год поддерживает работы по переносуOpenTS из ОС Linux-СКИФ в ОС Microsoft Windows Compute ClusterServer –– ОС, созданную корпорацией Microsoft для вычислительныхкластеров.

Кроме OpenTS в программах «СКИФ» и «СКИФ-ГРИД» ведет-ся развитие других перспективных отечественных средств для раз-работки параллельных программ, например, таких как DVM (ИПМим.М. В. Келдыша РАН), X-COM (НИВЦ МГУ имени М. В. Ломо-носова), SKIF@HOME (ИПС РАН).

За полученные в рамках программы «СКИФ» (2000–2004 гг.) вы-сокие результаты группа разработчиков была награждена премиейПравительства Российской Федерации в области науки и техники за2006 год.

10. Заключение. Возможные пути решения проблемразвития национальной киберинфраструктуры России

Отставание России в высокопроизводительных вычислениях ве-лико, но не безнадежно. Российские научно-исследовательские ор-ганизации способны создавать суперкомпьютерные установки миро-вого уровня, оперативно осваивать вновь появляющиеся в мировой


практике и на мировом рынке технологии создания высокопроизво-дительных систем.

В то же время, знание тех или иных технологий (или способностьвоспринять их) не означает использование их на практике. Этого ма-ло, и создание национальной киберинфраструктуры требует в первуюочередь наличия политической воли, реализованной в политическихрешениях.

Общая проблема разбивается на две части:• создание отечественной суперкомпьютерной отрасли и со-

здание системы суперкомпьютерных центров в России10 ––«пирамида» из 1–3 центров сверхвысокой производительно-сти (150–300 Tflops в 2008 году с расширением до 1 Pflops к2010 году), 10–20 мощных суперкомпьютерных центров (30–100 Tflops в 2008 году); 40–60 крупных суперкомпьютерныхцентров в регионах (10–20 Tflops в 2008 году);

• создание мощной магистральной сети передачи данных (семкостью каналов 1–10 Гбит/с и выше), объединяющей ука-занные суперкомпьютерные центры.

Как обсуждалось выше, в части решения проблемы фор-мирования суперкомпьютерной отрасли и обеспечения осна-щенности суперкомпьютерными ресурсами России можно рас-считывать в основном на развитие собственной суперкомпьютернойотрасли, поскольку представляется невероятным получение из дру-гих стран суперЭВМ таких характеристик, которые обеспечат конку-рентное превосходство России над этими странами. Представляетсяобоснованным и эффективным использование для этого:

10Считаем, что указанные параметры достижимы. Имеются достаточно про-работанные предложения, учитывающие технические возможности, освоенныйуровень технологий, наличие готовой команды исполнителей и, даже, возмож-ность использования «давних инвестиций». Например, один из сверхмощных су-перкомпьютерных центров можно создавать в здании ИПС РАН, которое в 1980-тых годах проектировалось и строилось как суперкомпьютерный центр: имеетсядо сих пор неиспользованный машинный зал (700 кв.м.), инфраструктура элек-тропитания (8 МВт) и т. п. Здесь можно создать суперкомпьютерный центр кол-лективного пользования (СЦКП) мощностью 150 Tflops в 2008 году с расши-рением до 1 Pflops в 2010 году. Размещения суперкомпьютерных и data-центроввне мегаполисов соответствует мировой практике: такие предприятия не требуютбольшого количества персонала и их неразумно размещать на территориях с вы-сокой стоимостью земли, электроснабжения, квалифицированной рабочей силыи т. п.


• отечественных решений и существенных заделов, получен-ных в последние годы российскими разработчиками супер-компьютерных технологий в ходе реализации суперкомпью-терных программ «СКИФ» и «СКИФ-ГРИД» и сложившу-юся команду исполнителей этих программ––более 20 россий-ских организаций, головной исполнитель от России –– ИПСРАН;

• результатов, заделов и опыта других организаций, ведущихработы в суперкомпьютерной области, например: НИИСИРАН, РНЦ «Курчатовский институт», НИИ «Квант», МСЦРАН, ОАО «НИЦЭВТ» и др.

В части решения проблемы обеспечения каналов передачиданных национальной научно-исследовательской информа-ционно-вычислительной сети в России следует учесть мировойопыт, который показывает, что такие сети организуются вне про-странства обычных коммерческих интересов операторов связи и зарамками их обычной ценовой политики. Здесь в мире применяютсяследующие решения:

• создание сети передачи данных, которая находится в соб-ственности государства –– научно-образовательного сообще-ства –– данный путь требует огромных временных и финан-совых затрат (на этапах создания и эксплуатации);

• понуждение (на уровне политических решений) операторовсвязи к предоставлению услуг вне рамок обычных коммер-ческих условий: как правило, речь идет о предоставленииоператорами связи государству (научно-образовательномусообществу) в льготную аренду так называемых «темных во-локон» для создания магистрали национальной научно-ис-следовательской информационно-вычислительной сети. Приэтом необходимо:

– базироваться на сложившихся командах исполнителейпроектов создания национальных сетей для науки и об-разования (RUNNet, RBNet и др.): ФГУ ГНИИ «Ин-формика», РосНИИ РОС, МСЦ РАН, РНЦ «Курчатов-ский институт»;

– разработать комплекс политических решений и меро-приятий, направленных на предоставление ведущими


российскими операторами связи11 на условиях льгот-ной аренды «темных волокон» для создания магистра-ли национальной научно-исследовательской информа-ционно-вычислительной сети или же создания на ос-нове «темных волокон»12 национальной государствен-ной научно-исследовательской информационно-вычис-лительной сети.

Кроме сказанного, потребуется разработать комплекс мер дляобеспечения координации работ:

• по созданию суперкомпьютерной отрасли России;• по оснащению отечественной суперкомпьютерной техникой

ведущих научно-исследовательских центров;• по развитию магистральных каналов связи национальной

научно-исследовательской информационно-вычислительнойсети в России;

• по работам в смежных государственных научно-техническихпрограммах.

Например:

• планы развертывания суперкомпьютерных центров долж-ны быть согласованы с планами развертывания магистраль-ных линий связи, и с планами создания научных центров поразличным государственным научно-техническим програм-мам (нанотехнологии, перспективная энергетика, био-техно-логии, нацтехбаза и т. п.);

• планы по разработке элементной базы должны учитыватьпотребности создаваемой отечественной суперкомпьютернойотрасли и систем высокоскоростной передачи данных.

Такой комплекс усилий в полной мере бы соответствовал поруче-нию Президента Российской Федерации по итогам заседания Совета

11Транстелеком, Ростелеком и других.12Оптические волокна, которые остаются в резерве, то есть не используются,

называются «темными» волокнами. Они, как правило, имеются в каждом опти-ческом кабеле крупного оператора связи.


при Президенте Российской Федерации по науке, технологиям и об-разованию 30.11.07 Пр-146 в части: «... принять меры по обеспече-нию деятельности национальной научно-исследовательской инфор-мационно-вычислительной сети, представляющей научным и обра-зовательным центрам доступ к распределенным вычислительнымсредам высокой производительности...».

Благодарности

Данная работа была частично поддержана и выполнялась в рамках следую-щих проектов:

• Проект 07–07–12038 офи Российского Фонда Фундаментальных Иссле-дований «Метапрограммирование на основе шаблонных классов С++как средство создания высокопроизводительных распределённых при-ложений».

• Программа Союзного государства «Разработка и использование про-граммно-аппаратных средств Грид-технологий перспективных высоко-производительных (суперкомпьютерных) вычислительных систем се-мейства «СКИФ», шифр «СКИФ-ГРИД».

• Программа фундаментальных научных исследований ОНИТ РАН «Оп-тимизация вычислительных архитектур под конкретные классы задач,информационная безопасность сетевых технологий», проекты:1.3 «Разработка и реализация языков T# и T++ и соответствующихим средств для эффективной поддержки высокопроизводительного па-раллельного счета»;2.3 «Сравнительное исследование параметров и характеристик пер-спективных аппаратно-программных архитектур кластерных мульти-процессорных систем»;

• Программа фундаментальных исследований Президиума РАН «Разра-ботка фундаментальных основ создания научной распределенной ин-формационно-вычислительной среды на основе технологий GRID».Проект 4.2 «Функционально-ориентированные суперструктуры как эф-фективное средство для построения высокопроизводительных распре-деленных приложений и сервисов».Проект 4.5 «Разработка технологий интеграции разнородных, геогра-фически распределенных данных в GRID-системах».

• Программа Президиума РАН «Поддержка инноваций и разработок»,проект ИПС РАН «Технология и система параллельного программи-рования OpenTS»;

• Государственный контракт № 02.514.11.4034 с Федеральным агентствомпо науке и инновациям по теме: «Эффективные методы создания вы-сокопроизводительных параллельных программ на языке C++ и егодиалекте Т++ для многоядерных ЭВМ, SMP, кластерных и распреде-ленных систем»;


• Программа Союзного государства (шифр «ТРИАДА») «Развитие ивнедрение в государствах-участниках Союзного государства наукоем-ких компьютерных технологий на базе мультипроцессорных вычисли-тельных систем», проекты:«Разработка средств параллельной обработки изображений дистанци-онного зондирования Земли с динамическим распределением нагрузки.Разработка прототипа распределенного архива изображений с единымкаталогом информации», проекты;«Создание прототипа системы эффективного сервера приложений дляВМВС»;«Разработка принципов эффективного отказоустойчивого счета Т++-приложений на априорно неустойчивых (мета-)кластерных конфигу-рациях и их программная реализация».

Особая благодарность––М. Г. Химшиашвили за ее самоотвержен-ный труд по корректуре и верстке статьи в программе LATEX.

Список литературы

[1] Computational Science: Ensuring America’s Competitiveness: President’s Infor-mation Technology Advisory Committee, June, 2005 (доступно как: http://www.nitrd.gov/pitac/reports/20050609_computational/computational.pdf). ↑1

[2] US Competitive Council Meets; HPC TOPS Agenda // The Global Publicationof Record for High Performance Computing: HPC Wire. –– Т. 13, № 28,July 16, 2004 (доступно как: http://www.taborcommunications.com/hpcwire/hpcwireWWW/04/0716/108016.html). ↑1.1

[3] Smogunov A., Dal Corso A., Delin A., Weht R., Tosatti E. «Colossalmagnetic anisotropy of monatomic free and deposited platinum nanowires» //Nature Nanotechnology. –– Т. 3, № 1, January, 2008 (доступно как: http://www.nature.com/nnano/journal/v3/n1/pdf/nnano.2007.419.pdf), c. 22–25. ↑

[4] Абрамов С. М. Суперкомпьютерная отрасль России и Программы «СКИФ»и «СКИФ-ГРИД» Союзного государства // Совещание «Развитие высо-копроизводительных вычислений (суперЭВМ) в России» под руководствомБ. В. Грызлова, Переславль-Залесский: Слайды к докладу на совещании.,09.11.2007 (доступно как: http://skif.pereslavl.ru/psi-info/hpc911/). ↑5

[5] ИПС РАН. Сайт Суперкомпьютерной программы «СКИФ» Союзного го-сударства, Образцы СКИФ –– Кластерные системы СКИФ (доступно как:http://skif.pereslavl.ru/). ↑9.1

[6] Абламейко С. В., Абрамов С. М., Анищенко В. В., Парамонов Н. Н., ЧижО. П. Суперкомпьютерные конфигурации «СКИФ». –– Минск: ОИПИ НАНБеларуси, 2005. –– ISBN 985-6744-19-9, 170 c. ↑9.1

152020, Переславль-Залесский, м. Ботик, Институт программных си-стем РАН.

http://www.nitrd.gov/pitac/reports/20050609_computational/computational.pdf

http://www.nitrd.gov/pitac/reports/20050609_computational/computational.pdf

http://www.taborcommunications.com/hpcwire/hpcwireWWW/04/0716/108016.html

http://www.taborcommunications.com/hpcwire/hpcwireWWW/04/0716/108016.html

http://www.nature.com/nnano/journal/v3/n1/pdf/nnano.2007.419.pdf

http://www.nature.com/nnano/journal/v3/n1/pdf/nnano.2007.419.pdf

http://skif.pereslavl.ru/psi-info/hpc911/

http://skif.pereslavl.ru/


S. M. Abramov, W. F. Zadneprovsky, A. A. Moskovsky. Russian supercomput-ers and grid-systems.

Problems of the national cyberinfrastructure in Russia. (in Russian.)

Abstract. The paper is devoted to the national cyberinfrastructure development in Russia.Trends in high-performance computing field are analysed and possible future developmentpath for Russia is outlined.

Перевод проверен: А. А. Московский

Отечественные СуперЭВМ и грид-системы...

Documents

Transcript of Отечественные СуперЭВМ и грид-системы...