GTK, OGSA, WSRF, GPE

Ю
У
р
Г
МехМат
С
П
GRID
история развития, технологии и стандарты
(GTK, OGSA, WSRF, GPE)
Радченко Глеб Игоревич
ЮУрГУ,
кафедра системного программирования
1
У
Ю
Введение
У
р
Г
МехМат
С
Содержание доклада:
– история развития и становления Grid;
– что такое Grid;
– основные современные технологии Grid.
2
П
У
Ю
Развитие Grid
Первый этап.
Середина 1990-х – становление и развитие систем
распределенных вычислений.
Второй этап.
1998 г. – определение термина Grid (Грид) в рамках
книги "Грид. Новая инфраструктура вычислений" .
Развитие распределенных систем, ориентированных
на массивные объемы передачи информации и
вычислительные затраты.
Третий этап.
2001 г. – уклон в сторону “Виртуальных организаций”.
Развитие сервисно-оринентированных подходов,
автоматизация методов управления ресурсами.
У
р
Г
МехМат
С
3
П
У
Общая тенденция развития
Grid
Ю
У
р
Г
МехМат
С
П
Стандартизация
Отдельные
методов формирования
высокопроизводительные
GRID-сред;
приложения, отсутствие
виртуальные
стандартизации
организации; сервиснопредоставления ресурсов
ориентированный
Разработка методов
подход
управления
распределенными
вычислительными
ресурсами, создания
GRID-сред, P2P
4
У
Первый этап. Этап
становления Grid
Ю
У
р
Г
МехМат
С
П
Первые проекты по распределенным вычислениям
(начало 1990-х) основывались на объединении
вычислительных ресурсов суперкомпьютеров.
Проект FAFNER: Factoring via Network-Enabled Recursion
(Сетевое разложение на множители посредством рекурсии).
Проект I-WAY: Information Wide Area Year (Год
Информации Глобальных Сетей) – экспериментальная
высокопроизводительная
сеть,
которая
объединяла
множество
высокопроизводительных
компьютеров
и
передовые средства визуализации. Прообраз Globus.
5
У
Второй этап. Развитие
средств создания Grid
Ю
У
р
Г
МехМат
С
П
Ближе к концу 1990-х годов наблюдается бурное развитие
Grid-систем, начинаются разработки средств создания и
управления Grid-сетями и вычислительными ресурсами.
В ходе исследований систем распределенных вычислений,
Ян Фостер вывел 3 основных требования, которым они
должны удовлетворять.
• Гетерогенность.
• Масштабируемость.
• Адаптируемость.
Основные проекты: Globus, SETI@home (P2P)…
6
У
Третий этап. Развитие
виртуальных организаций
Ю
У
р
Г
МехМат
С
П
Развитие технологий в начале 21-го века приводит к
переосмыслению понятия Grid. Теперь оно неразрывно
связано с понятием “Виртуальной организации”.
ВО - это ряд людей и/или организаций, объединенных
общими правилами коллективного доступа к определенным
вычислительным ресурсам.
Развитие сервисно-ориентированных подходов позволяет
гибко использовать одни и те же вычислительные ресурсы
многими пользователями.
Основные проекты и технологии: Globus, OGSA, WSRF…7
У
Сопоставление кластера,
Grid, P2P
Характеристика
Собственники
Кластер
commodity PC
компьютеры
один
Обнаружение
службы членства
Распределение/
планирование/
управление
централизованное
Интероперабельность
на базе VIA
Образ одной системы
Масштабируемость
да
100
Возможности
гарантированы
Пропускная способность
средняя
Популяция
Ю
У
р
Г
У
МехМат
С
П
Грид
P2P
профессиональные
сетевые концы
компьютеры
(настольные PC)
многие
многие
централизованный
индекс и
децентрализовано
децентрализованная
информация
децентрализовано
более развитое
(например, WSRF)
нет
1000
переменны, но
высоки
высокая
децентрализовано
стандартов нет
нет
миллионы
переменны
очень высокая
Ю
Что такое Grid?
У
р
Г
МехМат
С
Grid – как электросеть:
1) координирует ресурсы, не подчиняющиеся
централизованному контролю…
2) …используя стандартные, открытые протоколы
и интерфейсы общего назначения …
3) …чтобы предоставить возможность работы с
нетривиальными свойствами служб.
9
П
У
Пример Grid как
совокупности ВО
ВО, занимающаяся
моделированием
сложных 3D объектов
Ю
У
р
Г
МехМат
С
ВО, занимающаяся
анализом данных,
полученных со спутника
10
П
У
Современные технологии и
стандарты Grid
•
•
•
•
Ю
У
р
Г
МехМат
С
Open Grid Services Architecture (OGSA).
Web-сервисы, WSRF.
Globus, Globus Tool Kit (GTK).
GPE.
11
П
У
Ю
OGSA
У
р
Г
У
МехМат
С
П
Грид-приложение состоит из множества компонент:
–
–
–
–
сервис управления ВО;
сервис поиска и управления ресурсами;
сервис управления заданиями;
...
Для обеспечения взаимодействия данных сервисов
необходима стандартизация, определение стандартных
интерфейсов данных сервисов.
Open Grid Services Architecture (OGSA) определяет
открытый стандарт для Грид-приложений.
12
Ю
OGSA. Базовые интерфейсы
У
р
Г
МехМат
С
П
• Поиск: механизмы для поиска сервисов,
предоставляющих те или иные возможности или ресурсы
(Registry, HandleMap).
• Динамическое создание сервисов: стандартные
механизмы динамического создания сервисов (Factory).
• Управление временем жизни: механизмы,
производящие автоматическое завершение работы
сервиса и высвобождение занимаемых ресурсов.
• Уведомление: универсальный механизм, позволяющий
сервисам обмениваться информацией об изменении
состояния.
• Управление: механизмы для управления ходом работы
сервиса (GridService).
13
У
Ю
Web-сервисы
У
р
Г
У
МехМат
С
П
Web-сервисы – это основанная на XML
платформенно-независимая
технология
разработки распределенных приложений.
Процесс работы с Web-сервисами заключается
в обмене между клиентом и сервером XMLсообщениями.
Add(5,10)
15
Клиент
Div(15,3)
5
Webсервис
14
Ю
WS-ресурсы, WSRF
У
р
Г
МехМат
С
П
Для разработки Grid не получилось применить “чистые” Webсервисы, т.к. они не обладали “состоянием”.
WSRF является попыткой решить указанную архитектурную
проблему с помощью введения понятия «состояние» в
Web-сервисы, превратив их в Web-ресурсы, и указав
механизмы использования этого понятия.
Add(5)
используя
ресурс B
Ресурсы
4
15
Клиент
Div(3),
используя
ресурс B
5
Webсервис
ID: A
10
15
5
ID: B
15
У
Web-сервис + Ресурс =
WS-ресурс
Ю
У
р
МехМат
С
Ресурсы
Filename: “install.xml”
Size: 250
Descriptors: {“install”}
ID: 0xF5412AB
Webсервис
Filename : “readme.txt”
Size: 120
Descriptors: {“info”}
ID: 0x14DC1A9
Filename: “app.exe”
Size: 1056
Descriptors: {“application”}
ID: 0xFF42123
Г
16
П
У
Ю
Спецификации WSRF
У
р
Г
У
МехМат
С
П
Базовые спецификации:
• WS-ResourceProperties – свойства WS-ресурса;
• WS-ResourceLifetime – время жизни WS-ресурса;
• WS-ServiceGroup – группы Web-сервисов и WSресурсов;
• WS-BaseFaults – обработка ошибок;
Близкие спецификации:
• WS-Notification – обработка извещений;
• WS-Addressing – адресация;
17
Ю
Проект Globus
У
р
Г
МехМат
С
Globus – это проект по разработке и предоставлению
инфраструктуры для грид-вычислений.
В процессе развития, основной акцент был перенесен с
поддержки высокопроизводительных вычислений в
сторону сервисов поддержки виртуальных
организаций.
Цель его создания – предоставление возможности
приложениям работать с распределенными
разнородными вычислительными ресурсами как с
единой виртуальной машиной.
18
П
У
Globus Tool Kit 4.0
Компоненты WS
Ю
У
р
МехМат
С
П
Коллективный
планировщик
Групповая
Авторизация
Репликация
данных
Протокол
удаленного
управления Grid
WebMDS
Pyton WS
Core
Делегирование
OGSA-DAI
Управление
рабочим
пространством
Index
C WS Core
Авторизация и
аутентификация
Надежная
передача
файлов
Управление и
распределение
ресурсов Grid
Trigger
Java WS
Core
Не-WS
авторизация и
аутентификация
GridFTP
Не-WS методы
управления и
распределения
ресурсов
Управление
доступом
Размещение
реплик
Библиотеки
C
eXtensible
IO (XIO)
Компоненты не-WS
Безопасность
Управление
данными
Руководство
исполнением
Информационные
сервисы
Г
Общие
библиотеки
19
У
Архитектура и взаимодействия
между компонентами GTK
Внешний
клиент на
С
Внешний
клиент на
Pyton
Сервер
...
Сервисы Java,
библиотеки GT
Telecontrol
Trigger
Data access
Контейнер
Java
File Transfer
Внешний
сервис на
Java
GRAM
Взаимодействие посредством
открытого SOAP – протокола
обмена сообщениями;
WSRF-сервисы
Внешний
клиент на
Java
Внешний
клиент на
С
У
р
С
Внешний
клиент на
Pyton
Взаимодействие посредством
других методов
Внешний
сервис на
Pyton
Внешний
сервис на
С
Контейнер
Pyton
Контейнер С
Сервисы Pyton,
библиотеки GT
...
Сервисы C,
библиотеки GT
Г
МехМат
MyProxy
Внешний
клиент на
Java
GridFTP
Клиент
Ю
П
У
GTK4: взаимодействие
WSRF и OGSA
Ю
У
р
МехМат
С
GTK 4.0
реализует
Высокоуровневые сервисы
для Grid-приложений
соответствуют
требованиям
реализует
реализованы
посредством
OGSA
Другие пакеты
(WSRF.NET)
реализуют
WSRF
требует
определяет
Web-сервисы с
состоянием
расширяют
Webсервисы
Г
21
П
У
Ю
GPE
У
р
Г
МехМат
С
GPE (Grid Programming Environment) – архитектура
разработки и исполнения распределенных Gridприложений, предложенная компанией Intel.
Мотивация разработки:
• стандартизация подхода к разработке gridприложений;
• создание высокоуровнего инструментария
разработки Grid-приложений;
• облегчение переноса приложений в Grid-среду.
22
П
У
Ю
Приложения
Application Client
Web portals
Expert Client
GridBeans
Remote File
Manager
У
р
МехМат
Уровень
создания
приложений
С
П
Интерфейс grid-приложений (WSRF - Web Services Resource Framework; ...)
Workflow Engine
Database Access
Target System
Registry
Scheduler / Broker
Admin Client
Уровень
связующего ПО
grid
Интерфейс grid-платформ (WSRF; JSDL; WSDM - Web Services Distributed Management; ...)
Target
System
Factory
Target
System
Service
Job
Management
Service
Storage
Management
Service
File Transfer
Services
...
MRTE (Managed Runtime Environment)
Service OS
Создание и
управление
Платформа grid
Target
System
Interface
Target
System
Interface
OS
Виртуальная
машина
OS
Виртуальная
машина
Г
Платформа
grid
Интерфейс аппаратного обеспечения
23
У
Ю
GridBean
У
р
Г
МехМат
С
GridBean – это одно из основных понятий GPE.
Функции, которые возлагаются на GridBean:
– описание задания для grid-сервисов;
– организация GUI для ввода и вывода
пользовательских данных;
– организация GUI для взаимодействия с gridсервисами.
24
П
У
Ю
Спасибо за внимание!
У
р
Г
МехМат
С
25
П
У