ПНР-5 Лаборатория «Суперкомпьютерного моделирования

ПНР-5 Лаборатория «Суперкомпьютерного моделирования»
Высокопроизводительный вычислительный комплекс «СКИФ-Аврора»
Комплект расширения «Скиф-Аврора»
Расширенный высокопроизводительный вычислительный комплекс «СКИФ-Аврора
ЮУрГУ» производительностью 117,64 TFlops
Суперкомпьютер «СКИФ-Аврора ЮУрГУ» - это
комплексное решение, разработанное компанией
ЗАО «РСК СКИФ» при
участии
института
программных систем РАН.
Суперкомпьютер
«СКИФ-Аврора
ЮУрГУ»
состоит из 736 компактных и мощных
вычислительных blade-модулей с жидкостным
охлаждением.
«СКИФ-Аврора ЮУрГУ» – это первый в мире
суперкомпьютер
на
базе
современных
процессоров Intel Xeon серии X5680 и
высокоэффективного жидкостного охлаждения,
содержащий в себе целый ряд уникальных
отечественных разработок мирового уровня.
Суперкомпьютерную платформу «СКИФ-Аврора»,
которая
стала
основой
для
создания
вычислительного комплекса
«СКИФ-Аврора
ЮУрГУ»,
отличает
высочайшая
производительность, сверхвысокая плотность монтажа вычислительных узлов,
повышенная надежность и управляемость. Отсутствие шума и вибрации в
вычислительной системе достигается за счет применения жидкостного охлаждения всех
компонентов вычислителя и использования твердотельных накопителей Intel SSD.
Благодаря такому «зеленому дизайну» решение «СКИФ-Аврора» демонстрирует
наилучшие в индустрии показатели энергоэффективности, что обеспечивает
среднегодовую экономию затрат на электроэнергию до 60% по сравнению с решениями
других разработчиков.
Метод жидкостного охлаждения является на сегодня самым инновационным и
эффективным в суперкомпьютерной индустрии. Он позволяет строить вычислительные
системы с высочайшим уровнем плотности, с пониженным уровнем энергопотребления,
практически бесшумные и исключающие вибрацию, то есть более надежные. Именно
такой системой охлаждения оснащен суперкомпьютерный комплекс «СКИФ-Аврора
ЮУрГУ» — это первый в России и в мире суперкомпьютер на базе стандартных
процессоров Intel Xeon (серии 5680) и технологии высокоэффективного жидкостного
охлаждения, содержащий в себе целый ряд уникальных отечественных разработок
мирового уровня.
Специалисты
Южно-Уральского
государственного
университета
принимали
непосредственное участие в создании одного из элементов системы жидкостного
охлаждения суперкомпьютера «СКИФ-Аврора ЮУрГУ» — охлаждающей пластины для
вычислительных узлов суперкомпьютера. Опытное производство данных пластин
налажено на базе ЮУрГУ.
Суперкомпьютерная платформа «СКИФ-Аврора» имеет следующие уникальные
характеристики:

Передовое решение по технологии охлаждения, наилучшая в отрасли
эффективность использования электроэнергии — «зеленый дизайн»:
o
Значительная среднегодовая экономия электроэнергии.
o
Возможности использования особенностей климатических зон —
беззатратное охлаждение (free cooling).

o
o
o

o
o
o
o

o
o
Максимальная плотность упаковки вычислительной мощности стандартной
архитектуры:
Самая высокая вычислительная плотность в суперкомпьютерной отрасли на
базе стандартных процессоров архитектуры x86 — более 10 CPU в 1U.
Как минимум двукратное уменьшение занимаемой площади, по сравнению
с решениями других производителей.
Возможность создания самого компактного в мире суперкомпьютера с
производительностью 1 PFLOPS[1] — на базе всего 25-ти стоек «СКИФ-Аврора»
(энергопотребление — 2,84 МВт).
Уникальная системная сеть отечественной разработки с топологией 3D-тор:
Повышенная пропускная способность системной сети — до 60ГБ/с,— в 1,5
раза лучше показателей любых других доступных решений.
Высочайшая масштабируемость системной сети — возможность на
сегодняшних решениях создать суперкомпьютер с производительностью 3 PFLOPS.
Аппаратная поддержка в системной сети некоторых операций MPI.
Возможность поддержки не только MPI, но и новых, перспективных
подходов к реализации параллельных вычислений.
Полная совместимость с существующим стандартным программным обеспечением
в комбинации с возможностью использования FPGA-ускорителей, установленных в
каждом вычислительном узле:
Обеспечена полная совместимость с программным обеспечением
суперкомпьютеров с архитектурой x86, поддержка всех суперкомпьютерных
приложений, как созданных и разрабатываемых в рамках программ «СКИФ» и
«СКИФ-ГРИД», так и широко используемых во всем мире суперкомпьютерных
приложений от иных разработчиков.
Все характеристики производительности суперкомпьютеров «СКИФАврора» приведены из расчета использования только стандартных процессоров, без
учета применения FPGA-ускорителей. Доработка программного кода под
использование последних позволяет обеспечить втрое большую реальную
производительность суперкомпьютеров «СКИФ-Аврора» для ряда приложений.
o
Использование FPGA-ускорителей поддержано программным обеспечением
«СКИФ-Аврора».

Высочайшая надежность и отказоустойчивость суперЭВМ:
Отсутствие механически подвижных частей в вычислителе. Отсутствие
вибрации.
Простые и надежные подсистемы электропитания и охлаждения.
Резервирование всех важных узлов.
Высокая теплоемкость хладоносителя — защита оборудования от
«тепловых ударов».
Уникальная отечественная сенсорная и управляющая сеть СКИФServnet v.4. Три независимых системы мониторинга и управления суперкомпьютером.
Поддержка режима «горячей замены» модулей и узлов.
o
o
o
o
o


o
o
Эффективная система электропитания повышенной безопасности (для персонала и
оборудования).
Улучшенные эргономические и эстетические показатели:
Система бесшумная. Персонал может без средств защиты органов слуха
долго и комфортно находиться в машинном зале.
Управление «на кончиках пальцев» — с использованием сенсорных LCDпанелей.
Обозначение
«СКИФ-Аврора ЮУрГУ»
Изготовитель
ЗАО «СК СКИФ»
Месторасположение
ауд. 104, корп. 3Г
Контактная информация
Руководитель Лаборатории суперкомпьютерного
моделирования ФГБОУ ВПО ЮУрГУ, руководитель ПНР
5 Соколинский Леонид Борисович
Директор СКЦ, ответственный за блок 1 ПНР5
Костенецкий Павел Сергеевич
Тел.: (351) 267-90-89
Основные технические характеристики:
Чичло вычислительных
узлов/процессоров/ядер
736/1472/8832
Тип процессора
Intel Xeon X5680 (Gulftown, 6 ядер по 3.33
GHz)
Оперативная память
8.8 ТВ, (DDR3-1333)
Дисковая память
108 ТВ, твердотельные накопители Intel
Тип системной сети
Трехмерный тор (60 Gbit/s, макс. задержка 1 µs
Тип управляющей сети
InfiniBand QDR (40 Gbit/s , макс. задержка 2
µs)
Пиковая производительность
117,64 TFlops
Рейтинг в СНГ
3 позиция в списке TOP50 (14-ая редакция от
29.03.2011)
Комплект расширения программно-аппаратного вычислительного комплекса
«СКИФ-Аврора ЮУрГУ»
1. Назначение.
Комплект
расширения
программноаппаратного вычислительного комплекса «СКИФ-Аврора
ЮУрГУ»
предназначен
для
выполнения
гибридных
вычислений, основанных на использовании сопроцессорных
модулей Intel Xeon Phi, совместимых с вычислительными
узлами программно-аппаратного вычислительного комплекса
«СКИФ-Аврора ЮУрГУ».
2. Возможности. Использование сопроцессоров Intel Xeon Phi
обеспечивает высочайшую скорость параллельных вычислений,
повышает
продуктивность
работы
и
эффективность
высокопроизводительных вычислительных систем.
3. Особенности и преимущества. Сопроцессоры Intel Xeon Phi используют
преимущества привычных языков программирования, моделей параллельного
принципа организации и инструментов и методик разработки, поддерживаемых
архитектурой Intel. Это позволяет гарантировать возможность более эффективного
использования параллельного кода без необходимости изучения привязанных к
определенному аппаратному обеспечению моделей программирования. Кроме того,
сопроцессоры имеют высокие показатели производительности на ватт потребляемой
мощности.
4. Состав. Комплекс состоит из комплектов сопроцессорных модулей Intel Xeon Phi,
комплекта инфраструктуры и комплекта подсистемы управления и мониторинга.
5. Общие сведения.
Обозначение
Программно-аппаратный вычислительный комплекс «СКИФАврора ЮУрГУ»
Изготовитель
ЗАО «РСК Технологии»
Месторасположение
ауд. 106, корп. 3Г
Руководитель лаборатории Суперкомпьютерного
моделирования
Контактная
Соколинский Леонид Борисович
Директор суперкомпьютерного центра ЛСМ
информация
Костенецкий Павел Сергеевич
Тел.: 8(351)267-90-06
6. Основные технические характеристики
Марка
Кол-во,
шт.
Комплект инфраструктуры
1
Комплект сопроцессорных модулей
2
Комплект подсистемы управления и мониторинга
1
Инвентарный номер
1040013242