Распределение вычислительной нагрузки в гетерогенных

Распределение вычислительной
нагрузки в гетерогенных
вычислительных сетях
Singularis Lab, Ltd.
Volgograd State Technical University
Кластерная
ВСна
набазе
базе узлов
узлов сс Intel Xeon
Кластерная ВС
Xeon Phi
Вычислительный узел 1
DRA|M
Xeon Phi
DRAM
Xeon
Вычислительный узел N
…..
DRA|M
Xeon Phi
DRAM
Xeon
Сетевой интерфейс
Сетевой интерфейс
СЕТЬ ПЕРЕДАЧИ ДАННЫХ
Производительность процессоров
Intel Xeon
processor
5600 series
Intel Xeon
processor
Sandy Bridge series
Intel Xeon Phi
co-processor
Ядер
6
8
61
Потоков
12
16
244
Частота ядра, GHz
3.6
3.6
1.1
Пиковая
производительность
GFlops
~80
~80
~1000
3
Производительность процессоров
4
Производительность вычислительных систем
Загруженность устройства, это величина равная отношению количества
реально выполненных операций к максимально возможному количеству
операций за время выполнения программы.
p
r

Если ВС состоит из S вычислительных элементов, имеющих производительности
𝜋1 , … 𝜋𝑠 , работающих с загруженностями 𝑝1 , … 𝑝𝑠 , тогда загруженность системы:
S
p   αi pi ;
i 1
i 
i
;
S

j 1
S

i 1
i
 1,   0, 1  i  S
j
Где α𝑖 весовой коэффициент характеризующий вклад вычислительного
элемента (сопроцессора) в пиковую производительность ВС. Для того чтобы
загруженность ВС равнялась 1, необходимо чтобы равнялись 1 загруженности
каждого вычислительного элемента ВС
Производительность вычислительных систем
Вычислительный кластер содержит более одного вида вычислительных
устройств (процессоров/сопроцессоров):
•
•
Intel(R) Xeon(R) X5680
Intel(R) Xeon(R) Phi
Оптимальная параллельная программа должна использовать параллелизм не
уровне различных процессоров.
Для достижения максимальной
производительности на ВС, количество операций w которые необходимо
выполнить для выполнения программы необходимо пропорционально
распределить между S вычислительными элементами:
𝑤𝑖 = 𝑤𝛼𝑖
𝑖 = 1,2, … , 𝑆
6
Модель ВС с иерархической организацией
•
•
•
•
ВС укомплектована 𝑵 однородными процессорами
Коммуникационная среда системы дерево 𝑳 уровней
Каждый уровень образован отдельным видом структурных элементов
На уровне 𝑙 размещено 𝑛𝑙 элементов
𝑛1 = 1
1
Уровень 1
(вычислительный кластер)
Сеть Infiniband
Уровень 2
Общая память
Уровень 3
2
3
4
Intel Xeon
6 ядер
12 потоков
2
1
1
Общий кэш
1
𝑛2 = 2
5
6
2
7
(вычислительные узлы)
….
12
3
3
13
…
18
5
4
19
…
24
25
6
…
30
𝑛3 = 3
(Процессорные сокеты)
31
…
36
Однородные процессорные ядра
7
Однородные вычислительные узлы
Модель ВС с иерархической организацией
•
•
•
•
ВС укомплектована 𝑵 неоднородными процессорами
Коммуникационная среда системы дерево 𝑳 уровней
Каждый уровень образован отдельным видом структурных элементов
На уровне 𝑙 размещено 𝑛𝑙 элементов
𝑛1 = 1
1
Уровень 1
(вычислительный кластер)
Сеть Infiniband
Уровень 2
Шина pci-e
Уровень 3
Общая память
Intel Xeon Phi
60 ядер
1
𝑛2 = 2
(вычислительные узлы)
2
1
2
Intel Xeon
12 ядер
3
Intel Xeon Phi
60 ядер
3
5
4
Intel Xeon
12 ядер
Intel Xeon Phi
60 ядер
6
𝑛3 = 3
(Процессорные сокеты)
Intel Xeon
12 ядер
Процессорные ядра разного типа
8
Однородные вычислительные узлы
Формализация программ
Пусть программа представлена ациклическим направленным (DAG - directed
acyclic graph) или не ориентированным графом 𝐺 𝑉, 𝐸 , где 𝑉 = {1,2, … , 𝑀}
множество ветвей параллельной программы, а 𝐸 = 𝑉 × 𝑉 – множество
информационно логических связей между ее ветвями.
Каждой вершине графа поставлен в соответствие весовой коэффициент 𝑤𝑖
характеризующий вычислительную сложность(время).
w 2  16
E12
w1  1
V2
E 23
V4
V1
E13
V3
w 3  16
E 34
w4  1
Вложение параллельных программ в ВС
Пусть ВС включает 𝑁 процессоров, множество которых обозначим через
𝑃 = {1,2, … , 𝑁}, и задано множество T = 1,2, … 𝑀 ветвей параллельной
программы которые необходимо назначить на процессоры. Пусть ВС
состоит из 𝐻 вычислительных узлов, тогда разобьём множество P на
семейства
подмножеств,
объединяющих
процессоры
укомплектован вычислительный узел или сопроцессор:
𝐻
𝑃ℎ = ∅
ℎ=1
которыми
Вложение параллельных программ в ВС
Задача оптимального вложения параллельной программы в ВС
заключается в отыскании инъективной функции 𝑓: 𝑇 → 𝑃, ставящей в
соответствие ветвям параллельной программы процессоры системы.
Требуется найти 𝑎𝑖𝑗𝑘 :
𝐴 = 𝑎𝑖𝑗𝑘 : 𝑖 ∈ 𝑇, 𝑗 ∈ 𝐻, 𝑘 ∈ 𝑁𝑗
𝑎𝑖𝑗𝑘 =
1, если 𝑓 𝑖, 𝑗 = 𝑘
0,
иначе
𝑎𝑖𝑗𝑘 = 1, 𝑖 ∈ 𝑇, 𝑗 ∈ 𝐻, 𝑘 ∈ 𝑁𝑗
Вложение параллельных программ в ВС
На множестве 𝑇, и семействах множеств 𝑃ℎ , заданы весовые функции:
• 𝑥𝑖ℎ = 𝑥 𝑖, ℎ - функция характеризующая время выполнения ветви 𝑖
на любом процессоре общего назначения вычислительного узла ℎ
𝑘𝑞
• 𝑐𝑖𝑗 = 𝑐 𝑖, 𝑗, 𝑘, 𝑞
-
время
необходимое
для
осуществления
взаимодействия между ветвями 𝑖 и 𝑗 распределенными между
процессорами хостов 𝑘 и 𝑞 соответственно.
Цель вложения ветвей параллельной программы в ВС минимизация
суммы
времен
выполнения
арифметических
операций
коммуникационного взаимодействия:
𝑀
𝐻
𝑁
𝑎𝑖ℎ𝑘 ∙ 𝑥𝑖ℎ +
𝑖=1 ℎ=1 𝑘=1
𝑝𝑞
(𝑎𝑖𝑝ℎ ∙ 𝑎𝑗𝑞𝑘 ∙ 𝑐𝑖𝑗 )
(𝑖,𝑗)∈𝐸 (𝑝,𝑞)∈𝐻 (ℎ∈𝑁1𝑝 ,𝑘∈𝑁1𝑞 )
и
Методы решения
• Task Map Round Robin, Task Map Linear
– Реализованные в утилите mpiexec
• Точные методы
– Венгерский алгоритм
– Симплекс метод
• Эвристические методы
– Многоуровневое методы разбиения графа
задачи на слабо связанные подмножества
• Методы динамического программирования
13