Суперкомпьютерные технологии в научных исследованиях и

«СУПЕРКОМПЬЮТЕРНЫЕ ТЕХНОЛОГИИ МАТЕМАТИЧЕСКОГО
МОДЕЛИРОВАНИЯ» (СКТЕММ-2011)
Суперкомпьютерные технологии
в научных исследованиях
и учебном процессе
УГАТУ
Газизов Р.К.
(Уфимский государственный авиационный
технический университет, УГАТУ)
г. Якутск, СВФУ, 29 ноября 2011
УГАТУ
Содержание доклада
УГАТУ
1. Развитие кластерных систем в УГАТУ.
2. Использование кластерных систем.
3. Подготовка кадров.
Динамика роста вычислительных мощностей
кластерных систем УГАТУ
УГАТУ
Динамика пиковой производительности, Гфлопс
100000
+266x2xXeon5300
10000
+12xAthlonXP-3000
1000
+32x2xPIII-1000
100
12xAlpha21164
5x2xPIII-500
10
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
Суперкомпьютер УГАТУ (2007 г.)
УГАТУ
Rpeak = 19.86 Тфлопс
Rmax = 15.33 Tфлопс
(77.2%)
№ 25 в ТОП 50
(сентябрь 2011 г.)
 532 четырехядерных процессора
Intel Xeon 5300 2.33 ГГц
 266 двухпроцессорных узлов
 полная оперативная память
2.15 ТБ (8ГБ на узле)
 дисковая память 26.7 ТБ
 ленточная библиотека 8.8 ТБ
 коммуникационная среда –
Infiniband (10 Гбит/с)
 операционная система –
RedHat Enterprise Linux 4.4
 потребляемая мощность 100 КВт
 область применения – научнопроектные работы и учебный
процесс.
ТОП50: суперкомпьютер УГАТУ
УГАТУ
Лицензионное прикладное ПО
УГАТУ
№
1
2
3
4
5
Программный продукт
ANSYS
ANSYS Academic Research
ANSYS Academic Research LS-DYNA
ANSYS Academic Research HPC
ANSYS Academic Research LS-DYNA HPC
ANSYS Academic CFD Turbo Tools
Кол-во лицензий
25
25
64
32
1
CD-adapco
1
2
3
4
5
6
7
STAR-CD for classroom
STAR CCM+ for classroom
STAR-CAD/Solid Works for classroom
STAR-CD
STAR-CCM+
STAR/HPCdomains
ES-ICE
12
12
12
4
4
32
1
Mathworks
1
2
3
4
MATLAB Classroom
Simulink Classroom
Tools and Toolboxes Classroom
MATLAB Distributed Computing Server Academic
50
50
390
128
Maplesoft
1
2
Maple Universities Academic
HPC-Grid Cluster Edition
25
1
Сервер лицензий прикладного ПО
УГАТУ
Сервер лицензий
Суперкомпьютер
Рабочие места
Компьютерное моделирование
в конструкциях и аппаратах нефтедобычи
УГАТУ
Расчет узла смешения в системе совместной
транспортировки нефти и газа.
2. Моделирование
гравитационного
разделения
трехфазной смеси в нефтегазоводяном сепараторе.
3. Исследование
нестационарных режимов работы
компактного циклонного мультифазного сепаратора.
1.
(совместно с ООО «РН-УфаНИПИНефть»)
Расчет узла смешения в системе совместной
транспортировки нефти и газа
УГАТУ
Задача: исследовать устойчивость работы узла смешения
Вход газа
Диаметр 700 мм
Расход газа 6966800 м3/сут при н.у. (v=7.58м/с)
Вход нефти
Диаметр 500 мм
Расход нефти
19208 м3/сут.
(v=1.13м/с)
Давление в узле смешения 27,5 атм
Температура 25 С
Выход
Диаметр 800мм
Расчётная сетка ANSYS CFX содержит
330056 ячеек
Компьютерное моделирование
в задачах нефтедобычи
Колебания поверхности
раздела фаз в наклонной
трубе
УГАТУ
Расчет узла смешения в системе совместной
транспортировки нефти и газа
УГАТУ
Моделирование гравитационного разделения
трехфазной смеси в нефтегазоводяном сепараторе
УГАТУ

Цель: сравнение эффективности двух конструкций сепараторов
непрерывного действия с разным количеством перегородок.
Сепараторы имеют форму горизонтального цилиндра, первый
имеет три перегородки, второй — одну.

Результат: показано, что более эффективной является
конструкция сепаратора с тремя перегородками.
Моделирование компактного многофазного
циклонного сепаратора
Предназначен для раздельного
учета продукции скважины:
жидкость - газ.
Принцип действия
За
счет
тангенциального
подвода
и
лопаточного колеса организуется закрутка
потока, в результате смесь делится на
компоненты различной плотности (жидкость газ).
После отдельного замера компоненты потока
объединяются
для
последующей
транспортировки.
Проблема
Установленный на месторождении «Ванкор»
сепаратор не обеспечивает заявленную
степень сепарации, что приводит к ошибкам
измерения продукции.
На выходе из сепаратора объемное
содержание газа в нефти превышает 5 %.
УГАТУ
Принципиальная схема
сепаратора
Моделирование компактного многофазного
циклонного сепаратора
Внешний вид сепаратора
УГАТУ
Моделирование многофазного
циклонного сепаратора
Геометрическая и сеточная модели
УГАТУ
Свойства сред
Нефть:
Плотность = 889 кг/м3,
Вязкость = 0.015 Па·с.
Газ:
Вязкость = 1,18510-5Па·с
Параметры потока
Вход:
Расход 1 500 м3/сут;
Газ. фактор 100-300 м3/м3
Выходы:
Давление 14-15 атм
207 тыс. многогранных ячеек
Моделирование компактного многофазного
циклонного сепаратора
Газовый фактор:
R=100
R=300
R=500
УГАТУ
R=1000
Показано, что резкое повышение газового фактора при неизменном
положении нижнего клапана приводит к падению уровня жидкости в
сепараторе со скоростью 0.4…0.8 м/с при перепаде давлений на выходе от
0,5 до 1,5 атм. В результате возможно образование газовой воронки,
нарушающей режим работы сепаратора.
Время образования газовой
воронки составляет 1 – 2 сек.
Компьютерное моделирование
в задачах нефтехимпереработки
УГАТУ
Моделирование двухфазного течения в аппарате
окисления нефтяных остатков.
2. Моделирование
установки
для
производства
вспенивающегося полистирола методом прямого
насыщения расплава.
1.
(совместно с ОАО «Салаватнефтеоргсинтез»)
Моделирование двухфазного течения
в аппарате окисления нефтяных остатков
Схема колонны окисления
 Проблема: нестабильная
Газы окисления
Колонна окисления
работа окислительной колонны и
неудовлетворительное качество
продукта (гудрона).
Р ≈ 0,1 МПа
3800 мм
Рециркулят
2600 мм
Т = 180-210 оС;
V = 5,3-10,7 м3/час
700 мм
11000 мм
Стакан
≈1800 мм
13000 – 15000 мм
19940 мм
Т = 230-285 оС
2800 мм
воздух
Переокисленный
битум
Т ≈ 280 оС
воздух
Т ≈ 80 оС; V = 1700-3830 нм3/час;
Р = 0,4-0,6 МПа
п/гудрон
Т = 130-190 оС;
V = 11-24 м3/час;
Р = 0,3-0,6 МПа
Диспергатор
УГАТУ
 Причина: устройство смешения
не обеспечивает требуемых
параметров процесса.
 Решение: оптимизация
конструкции смесительного
устройства с помощью
моделирования движения
воздушного потока через слой
гудрона в окислительной
колонне с различными
вариантами конструкции
смесителя.
Моделирование двухфазного течения
в аппарате окисления нефтяных остатков
УГАТУ
Объемная доля гудрона при различных конструкциях смесителя
Исходная
конструкция
Смеситель-конус
Расширенные
сопла
Смеситель- шнек
Результат: конструкция со смесителем- шнеком максимально уменьшает заброс гудрона и обеспечивает эффективную работу колонны
Моделирование установки для производства
вспенивающегося полистирола
УГАТУ
Придание огнестойкости вспененному полистиролу происходит
благодаря синтетической добавке – т. н. мастербатч (МВ).
Проблема: при прохождении смеси полистирола с МВ через
теплообменник и смеситель не достигалось равномерное смешение
компонентов на выходе
Моделирование установки для производства
вспенивающегося полистирола
УГАТУ
Задача: модификация узла смешения
установки
по
производству
полистирола
для
обеспечения
требуемого
уровня
гомогенности
смеси.
Моделирование установки для производства
вспенивающегося полистирола
УГАТУ
Решение: модернизация устройства подвода МВ (что значительно
менее затратно, чем установка дополнительного смесителя и
реконструкция всей линии).
мастербатч
полистирол
Моделирование установки для производства
вспенивающегося полистирола
УГАТУ
Результаты моделирования – одиночный впрыск
Моделирование установки для производства
вспенивающегося полистирола
УГАТУ
Результаты моделирования – множественный впрыск
УГАТУ
Моделирование процесса
линейной сварки трением
(совместно с ОАО УМПО)
Моделирование процесса
линейной сварки трением
Применение линейной сварки трением
• Автомобильная промышленность
• Авиация
• Преимущества:
• нет необходимости в тщательной
обработки области контакта;
• низкие энергозатраты;
• возможность сваривать сложные
конструкции;
• высокая прочность сварного соединения.
УГАТУ
Моделирование процесса
линейной сварки трением
УГАТУ
Process Development System (PDS)
Изготовитель:
ACB, Nantes,
France.
Параметры:
• амплитуда:
±0.2 – ±4 мм,
• частота:
15 – 75 Гц,
• осадка:
0.5 – 5 мм,
либо
прижимная сила:
до 60 кН
Моделирование процесса
линейной сварки трением
Manufacturing Development System (MDS)
Изготовитель: ACB, Nantes, France.
УГАТУ
Моделирование процесса
линейной сварки трением
Сваренные образцы
УГАТУ
Моделирование процесса
линейной сварки трением
УГАТУ
Стадии процесса ЛСТ
движение +
нагрузка
=
трение
нагрев в области
контакта
нагрузка
движение
пластическая
фаза
останов движения
и проковка
*www.acb-ps.com
Моделирование процесса
линейной сварки трением
Пример цикла линейной сварки трением
УГАТУ
Моделирование процесса
линейной сварки трением
Замедленное движение 1/50
УГАТУ
Моделирование процесса
линейной сварки трением
УГАТУ
Постановка задачи
 Моделирование процесса ЛСТ до достижения значительных
пластических деформаций.
 Движение верхней грани
верхнего образца по
закону:
 Нижняя грань нижнего бруска
жестко закреплена.
 Размеры каждого бруска
• 26мм×13мм×5мм
 Рассматривается
адиабатический процесс.
• А = 2мм
• f = ω/2π = 50 Гц
 Приложенное давление
• P = 340 МПа (~35 кН)
 Материал
• титановый сплав ВТ6
 Коэффициент трения:
•
Моделирование процесса
линейной сварки трением
Моделирование ЛСТ
• Особенности моделирования процесса ЛСТ:
– большие градиенты температур и напряжений,
– высокая скорость протекания процесса
• Достаточно большой объем вычислительных
ресурсов, необходимых для проведения
моделирования
• Необходимость использования многоядерных и
многопроцессорных вычислительных систем
УГАТУ
Моделирование процесса
линейной сварки трением
Моделирование ЛСТ в DEFORM-3D
УГАТУ
УГАТУ
Моделирование
изготовления полой лопатки
(совместно с ОАО УМПО)
Моделирование
изготовления полой лопатки
УГАТУ
Преимущества использования полой лопатки
• получение облегченных итоговых конструкций, таких как блиски
авиационных двигателей;
• увеличение массы полезной нагрузки;
• увеличение максимальной скорости полета и маневренности ЛА.
Моделирование
изготовления полой лопатки
УГАТУ
Моделирование изготовления полой лопатки
в режиме обычных деформаций (DEFORM-3D)
Моделирование
изготовления полой лопатки
УГАТУ
Моделирование изготовления полой лопатки в
режиме сверхпластичности (DEFORM-3D)
УГАТУ
Создание пакета моделирования
фильтрационных течений
в пористых средах
(совместно с ООО «РН-УфаНИПИнефть»)
Этапы развития сотрудничества
УГАТУ
2003 – начало разработки симулятора
2005 – MPI-версия для схемы IMPES
2006 – OpenMP-версия для полностью неявной (Fully Implicit)
схемы
2006 – начало работы над MPI-версией для схемы Fully Implicit
2007 – сертификация программного комплекса BOS (тесты SPE)
2008 – параллельная версия
2009 – использование GPU
Особенности пакета NGT BOS
УГАТУ
• Гидродинамический
симулятор
• 1-3 фазные Black-oil модели
• Расчет на сетках с различной
геометрией (блочно-центрированная,
геометрия угловой точки)
• Модели скважины (горизонтальные,
эффекты перетока)
• Модели трещины
• Модуль препроцессинга
• Модуль постпроцессинга
• Клиент-серверный интерфейс для
запуска расчетов на кластере
• Сертифицирован на тестах SPE
Параллельная версия симулятора (MPI)
УГАТУ
SPE10x4 Model (4 млн. активных ячеек)
Ускорение
100
результат
10
идеал
1
1
2
4
8
16
Количество процессов
32
48
Проблемы адаптации
гидродинамической модели резервуара
УГАТУ
Реальная история
разработки
месторождения
Геофизические
данные
неизвестные
параметры
(начальное
приближение)
Модель
резервуара
пористости,
проницаемости,
относительные
фазовые
проницаемости,
...
Предобработка
(выделение
параметров)
Моделирование
Необходимо
подобрать
неизвестные
параметры так,
чтобы невязка была
минимальной
Постобработка
параметров
невязка
(качество
модели)
Q
Алгоритм
адаптации
Гибридный генетический алгоритм
с использованием нейронной сети (ГА+НС)
УГАТУ
Кластер
расчетные значения
...
Симулятор
Симулятор
Симулятор
{ y calc }
Вычисление
целевых
функций
исторические
значения
{ y obs }
Симулятор
значения
целевых
функций
{Q}
варианты
параметров
{X}
Формирование
обучающего
множества и
области поиска
Оптимальное решение
Основной ГА
эволюционный
поиск
область
поиска
{X 1 }
{X a , X b }
прогноз
оптимального
решения
варианты параметров {X}
Вспомогательный
ГА
аппроксимация целевой
функции
{Q}
Случайная генерация
начальной популяции
решений
Обучающее
множество
приближенных
решений
{X l , Ql }
обучение
X opt
Начальная
популяция
решений
Для аппроксимации
целевой функции
используется радиальнобазисная нейронная сеть
(РБНС)þ

эволюционный
поиск
Полное использование
информации, появляющейся
в процессе оптимизации,
для обучения НС

Возможность
скачкообразного улучшения
решения нейросетевым
контуром

Нейронная
сеть
Следствие: снижение
ресурсоемкости задачи
адаптации

Образовательный процесс
УГАТУ
1. Студенты специальностей «Прикладная математика» и
«Прикладная математика и информатика»
4 семестр – «Основы параллельного программирования»
6 семестр – «Архитектура ЭВМ»
7 семестр – «Системное ПО многопроцессорных
вычислительных систем»
8 семестр – «Методы и средства параллельного
программирования»
«Компьютерное моделирование»
9 семестр – «Вычислительные алгоритмы линейной
алгебры»
Образовательный процесс
УГАТУ
2. Студенты факультета информатики и робототехники
специальность 220100 – Вычислительные машины,
комплексы и сети
8 семестр – «Основы суперкомпьютерных технологий»
3. Магистранты факультета «Авиационные двигатели»
9 семестр – «Основы суперкомпьютерных технологий»
10 семестр – «Основы компьютерного моделирования
технических систем»
В 2005 г. примерно 30 выпускников УГАТУ владели
параллельным программированием.
В 2006-2008 г.г. – около 60 человек.
В 2010-2011 г.г. – около 120.
Международная конференция «CКТЕММ-2011»
г. Якутск, СВФУ, 28-30 ноября 2011 г.
Благодарю за внимание!
УГАТУ