3. Выполненные работы

ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
ИНСТИТУТ ПРОБЛЕМ ХИМИЧЕСКОЙ ФИЗИКИ
РОССИЙСКОЙ АКАДЕМИИ НАУК
УТВЕРЖДАЮ
Директор ИПХФ РАН, академик
_______________С.М.Алдошин
20.11.2008
РАЗВИТИЕ ПРИКЛАДНЫХ ПРОГРАММНЫХ ИНТЕРФЕЙСОВ ДЛЯ
ЗАПУСКА В РАСПРЕДЕЛЁННОЙ ВЫЧИСЛИТЕЛЬНОЙ СРЕДЕ
ОДНОПРОЦЕССОРНЫХ И ПАРАЛЛЕЛЬНЫХ ПРИЛОЖЕНИЙ В
ОБЛАСТИ ВЫЧИСЛИТЕЛЬНОЙ ХИМИИ
Научно-технический отчет
По Договору № 471_07 от 30 июля 2007 г.
Руководитель работы
__________________В.М.Волохов
19.11.2008
Черноголовка - 2008
1
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
СПИСОК ИСПОЛНИТЕЛЕЙ
Руководитель проекта,
ФИО
ПОДПИСЬ
Ответственный исполнитель,
зав. отделом д.ф.-м.н., с.н.с.
Исполнитель,
к.ф.-м.н., с.н.с.
Исполнитель
н.с.
Исполнитель,
с.н.с.
Исполнитель,
с.н.с.
Исполнитель,
инж.
Исполнитель,
Студент
Волохов В.М.
Пивушков А.В.
Покатович Г.А.
Варламов Д.А.
Сурков Н.Ф.
Хабаров В.Н.
Баргатин Д.Е.
22
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
РЕФЕРАТ
отчета о научно-исследовательской работе
«Развитие прикладных программных интерфейсов для запуска в распределённой
вычислительной среде однопроцессорных и параллельных приложений в области
вычислительной химии»
по теме "Развитие, исследование и внедрение средств высокопроизводительных
вычислений на основе технологий Грид с поддержкой гетерогенных, территориальнораспределенных вычислительных комплексов" в рамках Государственного контракта от 16
июля 2007 г. № СГ-2/07
Основная цель проекта – предоставить пользователям возможность проведения широкомасштабных
высокопроизводительных расчетов в области вычислительной и квантовой химии на распределенных
вычислительных полигонах и в вычислительных центрах терафлопного уровня.
Основные задачи проекта сформулированы следующим образом:
 разработать ряд прикладных программных интерфейсов разного уровня (в том числе Webориентированных) для запуска в распределённых вычислительных средах однопроцессорных и
параллельных приложений в области вычислительной химии;
 обеспечить возможность проведения широкомасштабных расчетов на системах с большим (порядка
103) числом процессоров в области вычислительной и квантовой химии;
 провести решение ряда ресурсоемких задач в области вычислительной химии;
 предоставить возможность доступа к распределенным вычислительным ресурсам, объединенным в
российский сегмент RDIG и СКИФ-Полигон пользователям в области вычислительной химии;
 создать проблемно-ориентированный GRID-портал для работы в распределенных сетях в области
вычислительной химии;
 расширить функциональность ресурсного GRID узла ИПХФ РАН
Поставленные задачи выполнены полностью:
 создан ресурсный центр ИПХФ,
основанный на GRID технологиях и поддерживающий
распределенные среды gLite (в составе консорциума EGEE-RDIG) и Unicore (в составе СКИФПолигона, сайт категории «А»);
 разработаны низкоуровневые интерфейсы для запуска в распределенных средах прикладных пакетов
GAMESS-US, Dalton-2, CPMD, NAMD, Gaussian03 и ряда авторских программ в области квантовой и
вычислительной химии;
 создана методика формирования динамически создаваемого образа среды исполнения параллельных
приложений («контейнера»), которая позволяет запускать сложно сконфигурированные прикладные
пакеты на ресурсных узлах GRID без предварительной установки прикладного ПО и необходимых ему
параллельных сред;
 для решения многопараметрических задач квантовой химии были разработаны методы формирования
«пучков» независимых заданий (до 104, в перспективе – до 107 «атомарных» заданий на задачу) для
запуска в распределенных средах с последующим мониторингом и сбором результатов;
 создан web-портал GECP – Grid Enabled Chemical Physics (http://grid.icp.ac.ru), объединяющий
высокоуровневые интерфейсы для работы с квантово-химическим пакетом GAMESS и несколькими
классами многопараметрических задач вычислительной химии;
 проведено решение нескольких научно-практических задач как на распределенных полигонах, так и на
суперкомпьютерных установках терафлопного уровня (СКИФ-МГУ)
Отчет 1, стр.24, разд. 6, прил. 3 (на CDROM)
33
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
СОДЕРЖАНИЕ
1.
Введение
5
2.
Задачи проекта и содержание работ
7
3.
Выполненные работы
8
3.1
Анализ научно-технической литературы, прикладного программного обеспечения в
области вычислительной химии и выбор распределенной среды
8
3.2
Формирование ресурсного узла GRID в ИПХФ РАН
9
3.2.1
Ресурсный узел RDIG на базе middleware gLite
10
3.2.2
Ресурсный сайт СКИФ-Полигона на базе middleware Unicore
11
3.3
Низкоуровневые интерфейсы между прикладным ПО и распределенными средами
11
3.4
Методика формирования динамически создаваемого образа среды исполнения
параллельных приложений («контейнера») на удаленных узлах
12
3.5
Методы формирования «пучков» независимых заданий для решения
многопараметрических задач химии
16
3.6
Высокоуровневые web-интерфейсы и интеграция их в портал GECP
17
3.7
Проведение широкомасштабных вычислений на высокопроизводительных узлах
СКИФ-Полигона
18
4.
Научно-практические результаты
20
5.
Заключение
21
6.
Приложение и список опубликованных работ
22
44
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
1. Введение
Для проведения крупномасштабных вычислений в области квантовой и вычислительной химии,
газодинамики экстремальных состояний, моделирования сложных биологических систем,
строения вещества, нанотехнологий, разработки новых лекарственных препаратов, оптимизации
процессов промышленного выращивания кристаллов требуется проведение высокоинтенсивных
32/64-разрядных параллельных и распределенных расчетов на кластерах с количеством
процессоров более 16 и объемом оперативной памяти до 2-4 Гбайт на процессор, а дисковой до
300 Гбайт на узел. Для расчетов в настоящее время используются как авторские программы,
пакеты ПО, распространяемые на условиях "open source" (CPMD, Dalton-2, GAMESS-US,
NWChem, ABINIT и др.), так и лицензионные программы (Gaussian-98,-03, Mopac2002, MolPro).
Подобные расчеты часто требуют таких вычислительных ресурсов, которые не может
предоставить ни один из доступных вычислительных центров (например, задача оптимизации
теплового узла требует выполнения до 109 отдельных расчетов). Для большинства подобных задач
представляется чрезвычайно перспективным развитие и применение технологий GRID для
организации распределенных вычислений, часто представленных параллельными заданиями.
Аналоги созданного программного пакета для расчетов в области вычислительной химии на
распределенных полигонах в странах-участницах проекта СКИФ-ГРИД практически отсутствуют.
В рамках проектов EGEE (European GRID Enabled E-Science) создано несколько виртуальных
организаций
(GEMS,
ChemBioGRID
и
др.),
обеспечивающих
доступ
пользователям
к
распределенным вычислительным мощностям в области квантовой химии, молекулярной
динамики и расчета химических реакций. Они работают в сходном направлении (адаптация
специализированного прикладного ПО вычислительной химии к распределенным средам), однако,
ввиду их «закрытости» для внешних пользователей, оценить уровень их разработок не
представляется возможным.
Данный проект позволил создать в рамках технологий ГРИД программный пакет для проведения
крупномасштабных расчетов в области вычислительной химии. Он позволяет удаленным
пользователям на новом качественном уровне проводить вычисления в следующих областях:
1. общие проблемы химической физики,
2. строение молекул и структура твердых тел,
3. кинетика и механизм сложных химических реакций,
4. химическая физика процессов горения и взрыва,
5. химическая физика процессов образования и модификации полимеров,
6. химическая физика биологических процессов и систем,
7. оптимизация процесса выращивания кристаллов.
55
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
Указанные области охватывают не только химическую физику, но и практически все науки,
связанные с изучением вещества: физику твердого тела, кристаллохимию, фармацевтику и т.д.,
направленные на решение многочисленных прикладных и технологических задач в самых
разнообразных отраслях знания. В рамках проекта достигнут новый уровень проведения расчетов
в области вычислительной химии: создан пакет прикладных программных интерфейсов
различного уровня (вплоть до web-портала) для проведения крупномасштабных вычислений на
распределенных системах терафлопного уровня типа EGEE-RDIG и СКИФ-Полигон, разработаны
новые методики вычислений в распределенных и параллельных средах применительно к
прикладному ПО вычислительной химии, а также создан ресурсный центр для проведения
различных вычислительных экспериментов в этой предметной области.
66
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
2. Задачи проекта и содержание работ
Основной целью выполняемых работ по проекту в целом является разработка ряда прикладных
программных интерфейсов различного уровня в рамках программного пакета для запуска в
распределённых вычислительных средах однопроцессорных и параллельных приложений в
области вычислительной химии. Данный пакет должен обеспечить возможность проведения
крупномасштабных высокопроизводительных расчетов в области вычислительной и квантовой
химии на широкомасштабных вычислительных полигонах и суперкомпьютерных центрах (на базе
российского сегмента RDIG и на вычислительном полигоне СКИФ-ГРИД).
Для решения широкого спектра задач предлагалось создать следующие компоненты пакета:

низкоуровневые
программные
интерфейсы
между
пакетами
прикладного
ПО
и
распределенными средами;

средства запуска "пучков" параллельных заданий на распределенных ресурсах;

web-интерфейсы для формирования, запуска и мониторинга заданий и сбора результатов,
интегрированные в проблемно-ориентированный web-портал;

средства
по
формированию
динамически
создаваемых
сложно
сконфигурированных
параллельных сред выполнения на удаленных ресурсах («контейнеров»);

пакеты специализированного (в том числе авторского) ПО, адаптированного к условиям
работы в распределенных средах.
Созданный пакет построен на новейших распределенных и параллельных технологиях,
распространяемых в виде свободного ПО с использованием оригинальных авторских методик (в
области формирования "пучков" задач, методов распараллеливания стандартного прикладного
ПО, способов формирования динамических параллельных сред и т.д.).
Для проведения вычислительных экспериментов с распределенными и параллельными средами в
ходе проекта должно было происходить постоянно наращивание функциональности ресурсного
узла GRID в ИПХФ РАН.
Для тестирования созданного программного пакета предполагалось провести решение нескольких
реальных научных и промышленных задач в области вычислительной и квантовой химии.
77
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
3. Выполненные работы
3.1 Анализ научно-технической литературы, прикладного программного обеспечения в
области вычислительной химии и выбор распределенной среды
Было
проведено
изучение
имеющейся
научно-технической
литературы
и
технической
документации (главным образом, в электронном виде) по доступному (авторскому, свободно
распространяемому и коммерческому) программному обеспечению в области вычислительной и
квантовой химии. Были изучены особенности разнообразных прикладных пакетов ПО
применительно к работе в распределенных и параллельных средах. Проанализирован опыт
мирового научного сообщества по применению распределенных технологий в области
вычислительной химии, в том числе в вычислительных виртуальных организациях – GEMS,
ChemBioGRID и др. Сделан анализ различных технологий распределенных вычислений на
уровнях гетерогенных локальных и глобальных сетей (Condor, X-Com, Globus, LCG-2/gLite,
Unicore). Для всех указанных пакетов были проведены установка и тестирование на
вычислительном кластере ИПХФ, решение тестовых и практических задач, оценена применимость
этих технологий к задачам квантовой и вычислительной химии. В качестве распределенной
вычислительной среды на первых этапах работ было выбрано рекомендованное консорциумом
EGEE/RDIG промежуточное ПО (разработки CERN) gLite 3, начиная с середины 2008 года были
проведены работы по установке и отладке ПО распределенной вычислительной среды Unicore как
базовой для создаваемого СКИФ-Полигона.
Для адаптации в распределенных вычислительных средах (с использованием middleware gLite и
(на последних этапах) – Unicore) были выбраны следующие прикладные программные пакеты:

GAMESS-US (http://www.msg.ameslab.gov/GAMESS/) - одна из самых популярных программ
для теоретического исследования свойств химических систем, уступая по известности лишь
комплексу Gaussian, позволяет рассчитывать энергию, структуры молекул, частоты их
колебаний, а также разнообразные свойства молекул в газовой фазе и в растворе, как в
основном, так и в возбужденных состояниях. Основное направление – развитие методов
расчета сверхбольших молекулярных систем;

Dalton-2 (http://www.kjemi.uio.no/software/dalton/dalton.htm) - позволяет рассчитывать синглетсинглетные возбуждения, а также электронные структуры, вращательные и колебательные
спектры молекул, учитывать релятивистские эффекты и эффект сольватации;

CPMD (http://www.cpmd.org/) – расчеты в области молекулярной динамики;

NAMD (версия 2.6, University of Illinois at Urbana-Champaign, Computational Biophysics Group,
http://www.ks.uiuc.edu/Research/namd/) – хорошо масштабируемая молекулярно-динамическая
программа. Одна из наиболее быстрых при параллельном вычислении на большом числе
88
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
процессоров. Программа активно используется в ИПХФ РАН для расчетов мицеллы (micelle коллоидная частица, несущая электрический заряд и объединяющая в себе несколько крупных
молекул);

Gaussian03 (http://www.gaussian.com/) - самое популярное средство выполнения квантовохимических расчетов среди основной массы химиков. Основные причины этого - широта
охвата реализованных квантово-химических методик, высокая эффективность и удобный
интерфейс пользователя. Современные версии комплекса программ Gaussian расширением
спектра поддерживаемых квантово-химических методов и их модификаций. Комплекс
программ Gaussian позволяет рассчитывать энергию, структуру молекул, частоты их
колебаний, а также разнообразные свойства молекул в газовой фазе и в растворе, как в
основном, так и в возбужденных состояниях. Основное направление, в котором развиваются
версии, это развитие методов расчета сверхбольших молекулярных систем. Однако,
использование пакета в распределенных средах затруднено лицензионными ограничениями.

Авторские программы, включающие многопараметрические задачи из области квантовой
химии и молекулярной динамики, параллельные газодинамические программы моделирования
(на молекулярном уровне) процесса образования ударных волн, программы по расчету
оптимальных параметров для создания установок по выращиванию крупных кристаллов
Для всего выбранного ПО был сделан детальный анализ модульной структуры квантовохимического кода и изучены особенности работы различных реализаций однопроцессорных и
параллельных версий, определены стратегии реализации выбранных типов квантово-химических
вычислений применительно к распределенным средам.
По окончанию анализа ПО и имеющихся разработок была создана общая концепция проведения
крупномасштабных распределенных вычислений (в том числе с применением параллельных
технологий) для создания единого комплекса ПО в области вычислительной химии (для
выбранных пакетов). В рамках этой концепции и проведено объединение разработок по всем
вышеуказанным направлениям, создана вычислительная среда для формирования, запуска,
мониторинга задач с последующим сбором результатов в форме, удобной для пользователя с
использованием распределенных ресурсов.
3.2 Формирование ресурсного узла GRID в ИПХФ РАН
В течение всего проекта происходило наращивание вычислительных мощностей ресурсного
центра ИПХФ РАН. В настоящее время интегрированная вычислительная мощность локальной
распределенной вычислительной сети (3 кластера) в Институте достигла 1,5 TFLOPS с
совокупным
дисковым
пространством
20
Терабайт
(http://cc-ipcp.icp.ac.ru/).
Количество
процессоров основного вычислительного ресурса, кластера на современных процессорах Intel
99
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
Xeon, достигла 130, что позволяет апробировать работу различного программного обеспечения
(как системного, так и прикладного) в условиях работы больших и сверхбольших вычислительных
систем. Для проведения вычислительных экспериментов в различных распределенных и
параллельных
средах
на
постоянной
основе
выделен
один
из
кластеров
ИПХФ
с
производительностью около 90 GFLOPS (24 процессора). На нем для проведения экспериментов
были установлены и протестированы параллельные среды – Mpich-1 и 2. На все расчетные узлы
были установлены выбранные для проекта прикладные пакеты (GAMESS, Gaussian, Dalton,
CPMD, NAMD) для решения входящих задач и отработаны локальные запуски подобных задач на
уровне кластера в различных вариантах распараллеливания.
3.2.1 Ресурсный узел RDIG на базе middleware gLite
На первых этапах проекта ранее созданный ресурсный узел GRID ИПХФ (grid-ce.icp.ac.ru) был
переведен со среды LCG-2 на middleware gLite 3 для обеспечения возможности работы на
российском сегменте EGEE-RDIG. Для полноценной работы собственной GRID-инфраструктуры
и проведения широкомасштабных вычислительных экспериментов ИПХФ РАН стал членом ВО
RGSTEST в рамках консорциума EGEE-RDIG (ВО RGSTEST создана для экспериментальной
работы российских ресурсов и тестирования совместимости прикладного ПО с GRIDинфраструктурой), ресурсный узел ИПХФ прошел все стадии тестирования и стал полноценным
членом сообщества RDIG (см. http://rus.egee-rdig.ru/). Работа в рамках ВО RGSTEST обеспечила
ИПХФ РАН текущий доступ к вычислительным мощностям порядка 300-500 процессоров (без
учета их возможной многоядерности) и дисковым массивам порядка 8-15 терабайт в нескольких
географических зонах (Москва, Протвино, Харьков, Черноголовка и др.). Это позволило
проводить апробацию изучаемого программного обеспечения (как системного, так и прикладного)
в условиях работы больших вычислительных систем в распределенных средах. Данный вариант
middleware позволил также запускать входящие/исходящие задачи в среде Globus. Для работы с
внешними вычислительными ресурсами сегмента были
сформированы и протестированы (в
рамках виртуальной организации RDIG – RGSTEST) на реальных задачах пользовательские
интерфейсы (UI) к вычислительной среде gLite. Были получены все необходимые сертификаты
(пользовательские и серверные). После этого все установленные прикладные пакеты были
протестированы на возможность решения входящих GRID задач. Сведения о ресурсах узла
постоянно доступны через собственные интерфейсы gLite (команда 'lcg-infosites –vo rgstest') и
через средства внешнего мониторинга: http://goc.grid.sinica.edu.tw/gstat/ru-Chernogolovka-IPCPLCG2.
Разнородность узлов ВО RGSTEST позволила достаточно легко варьировать параметры
запускаемых в ее пространстве задач, ориентируясь на различные типы ресурсов. Использование
110
0
ИПХФ РАН
подобного
Научно-технический отчет
полигона
обеспечило
проведение
Договор № 471_07 от 30.07.2007
достаточно
масштабных
вычислительных
экспериментов как научного, так и прикладного характеров в области вычислительной химии.
3.2.1 Ресурсный сайт СКИФ-Полигона на базе middleware Unicore
В 2008 году на IV-V этапах выполнения проекта в ИПХФ был также создан ресурсный сайт
категории «А» на базе промежуточного ПО Unicore, рекомендованного для использования в
рамках СКИФ-Полигона. В составе сайта реализованы все базовые компоненты (Gateway; UAS,
Unicore Atomic Services; TSI, Target System Interface; XUUDB, Unicore User Database), к которым
на базе системы пакетной обработки заданий PBS Torque подключены 6 расчетных
двухпроцессорных узлов. Ресурсный сайт доступен для сертифицированных пользователей через
собственные
интерфейсы
middleware
Unicore
и
по
внешнему
web-интерфейсу
https://unicorgw.icp.ac.ru:8080. Получены серверные сертификаты (действительные для работы в
СКИФ-Полигоне) для базовых компонент и пользовательские – для тестирования клиентского
интерфейса Unicore на базе этого вычислительного полигона. Подготовлены пилотные варианты
задач для запуска в среде Unicore и проведены успешные запуски их на ресурсных узлах ИПС и
ИПХФ, что продемонстрировало работоспособность ресурсного сайта и клиентского интерфейса
среды Unicore. Сайт позволяет проводить вычислительные эксперименты на пространстве СКИФПолигона с использованием входящих и исходящих распределенных задач.
3.3 Низкоуровневые интерфейсы между прикладным ПО и распределенными средами
Для всех выбранных прикладных пакетов созданы и протестированы на реальных задачах
низкоуровневые интерфейсы для запуска их в распределенных вычислительных средах (на
примере среды gLite). Данные интерфейсы включают набор скриптов по формированию
исходящих заданий, запуску (через брокер ресурсов RDIG) на удаленных ресурсах, мониторингу
выполнения задач, возвращению полученных результатов с удаленных ресурсов и «сборку»
окончательных результатов на интерфейсе пользователя. Реализованы интерфейсы для
однопроцессорных и параллельных (SMP, сокетные, MPI) вариантов указанного ПО. На
ресурсном GRID узле ИПХФ, использованном в качестве удаленного распределенного ресурса,
проведены запуски указанного прикладного ПО через инфраструктуру ВО RGSTEST RDIG с
прохождением задач через центральный брокер ресурсов RDIG. Запуски всего адаптированного
ПО проводились в разных режимах и конфигурациях (с разным количеством востребованных
процессоров и использованием разных вариантов параллельных расчетов). Были изучены
варианты
совмещения
различных
вариантов
распараллеливания
(например,
SMP+MPI)
вычислений применительно к некоторым прикладным пакетам (пакеты Dalton-2 и CPMD). По
результатам вычислительных экспериментов проведена коррекция созданных низкоуровневых
111
1
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
интерфейсов для устранения возникших проблем, а также завершена окончательная оптимизация
для среды gLite (в отличие от первоначальных LCG-2 вариантов). Скорректированы проблемы
запуска и работы параллельных (SMP, сокетные, MPI-1,2) вариантов указанного ПО на различных
типах ресурсных узлов (разные пакетные системы PBS и параллельные среды)..
Проверка работоспособности низкоуровневых интерфейсов проведена на узлах ВО RGSTEST
RDIG, включая ресурсный GRID узел ИПХФ (используемый как удаленный).
На V этапе проекта начаты работы по адаптации разработанных низкоуровневых интерфейсов к
работе в среде Unicore (как базовой для СКИФ-Полигона) с использованием созданного
ресурсного сайта ИПХФ в качестве клиентского интерфейса для исходящих задач и как
ресурсного узла для входящих задач.
3.4 Методика формирования динамически создаваемого образа среды исполнения
параллельных приложений («контейнера») на удаленных узлах
Для части прикладных пакетов в настоящее время запуск программ наиболее эффективен при
условии предварительной установки их на удаленных ресурсах, в том числе средствами gLite. Это
связано с очень большими размерами пакетов (для передачи их в качестве разового единого
задания) и большим количеством требуемых переменных окружения, необходимых для их запуска
(особенно для параллельных конфигураций). Как правило, эти пакеты требуют ручной или
полуавтоматической установки на расчетных узлах ресурсного сайта с последующей настройкой
необходимого окружения и параллельной среды. Подобным образом была осуществлена
подготовка ресурсного узла ИПХФ для решения входящих задач вычислительной химии. Однако,
далеко не всегда возможна подобная предварительная установка прикладного ПО, а тем более
системных файлов (например, для поддержки сложных параллельных сред). С целью
универсализации запусков пакета GAMESS (и подобных пакетов) на V этапе проекта была
проведена разработка динамически формируемых GRID пользователем параллельных сред
(отличных от используемых на узлах) и создания виртуальных «контейнеров» для запуска
приложений на разнородных ресурных узлах. Нами разработаны методы запуска параллельных
пакетов химического ПО (на примере пакета GAMESS) на базе пакета MPICH-2 на произвольных
Linux кластерах с динамическим формированием параллельной, сложно сконфигурированной
вычислительной среды вне зависимости от настроек ресурсного GRID узла. В этом случае
отпадает необходимость предустановки сложно сконфигурированных и больших по размеру
пакетов квантово-химического ПО на ресурсные узлы распределенных полигонов.
Авторами был проведен анализ процедуры исполнения типичного параллельного задания на
ресурсном узле GRID, позволивший определить требования к создаваемому виртуальному образу
112
2
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
среды исполнения, а также принципиальную возможность динамической организации среды
исполнения для тестируемых типов ресурсов. Также был сделан анализ систем параллельного
программирования
для
выбора
оптимального
виртуального
образа
среды
исполнения
параллельного приложения. В результате проведенного анализа в качестве базового пакета для
разработки виртуального образа среды исполнения параллельного приложения был выбрана среда
MPICH-2, наиболее приспособленная для передачи большого количества переменных окружения
и имеющая встроенные средства динамического формирования параллельной среды на базе
протокола MPI-2.
В настоящее время в качестве распределенных ресурсов GRID используются, как правило, узлы в
виде кластеров рабочих станций с операционной системой и некоторым набором приложений,
настроенных для работы в среде GRID и специфичных для каждого из этих распределенных
ресурсов. Для проведения параллельных вычислений требуется наличие установленной на
ресурсных узлах какой-либо системы параллельного программирования (например, МРI, OpenMP
и др.), причем единые стандарты на установку данного вида программного обеспечения
отсутствуют. Поэтому на ресурсных узлах GRID среды, как правило, можно ожидать наличия
только библиотек стандарта MPI-1. Добавим, что использование параллельных приложений в
настоящее время в среде GRID крайне ограничено как возможностями брокера ресурсов, который
не распознает тип параллельного задания, так и отсутствием предустановленных на кластерах
необходимых Runtime библиотек, а также отсутствием стандартов на размещение таких
библиотек. Поэтому запуск параллельного сложно сконфигурированного задания на не указанном
явно узле распределенной среды обычно либо неэффективен, либо неудачен.
Был проведен анализ предоставляемых псевдо-пользователям распределенных сред (так
называемым «mapped users») прав доступа к ресурсам операционной системы узла, которые
определяют, в свою очередь, возможности работы внешнего задания с локальной файловой
системой, другими приложениями, исполняемыми модулями и утилитами. Для проведения такого
анализа был самостоятельно разработан ряд оригинальных тестовых примеров, испытания
которых позволили определить порядок запуска поступающих от брокера ресурсов на ресурсные
узлы заданий, в том числе:

присваиваемые заданиям имена пользователей и их права;

создаваемые временные директории и требуемые файловые иерархии;

доступность различных системных средств исполнения заданий (параллельные среды,
доступ к очередям PBS и т.п.)
Такой анализ позволил определить требования к создаваемому виртуальному образу
среды
исполнения со стороны ОС ресурсного узла, а также принципиальную возможность динамической
организации среды исполнения для тестируемых типов ресурсов. Был сделан анализ имеющихся
113
3
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
систем параллельного программирования для выбора оптимального виртуального образа среды
исполнения параллельного приложения.
На основе версии Mpich-2 в вычислительном центре ИПХФ для кластера на основе операционной
системы Scientific Linux из исходных текстов была скомпилирована (после соответствующей
доработки участниками проекта) библиотека MPI. Использование этой библиотеки позволило
впервые из модифицированных исходных текстов свободно распространяемого квантовохимического пакета GAMESS получить исполняемое параллельное задание (на базе MPI
протокола). Следует отметить, что использование библиотек MPI для пакета GAMESS не является
базовой или основной версией и поддерживается только для ряда специфичного оборудования –
Cray, IBM, SGI и т.п.
Основная причина использования менее распространенной версии стандарта MPI-2 заключается в
том, что стандарт MPI-1 не позволяет создать полностью однородную среду исполнения задания
на узлах кластера, несмотря на ряд дополнительно разработанных сторонних программных
пакетов. Стандартом MPI-2 однородная среда исполнения задания на всех процессорах
рассматривается как базовая. Поэтому для разработки динамических образов среды исполнения
параллельного приложения был выбран Mpich-2.
При создании образа динамической среды исполнения параллельного приложения был
временно (на первых этапах разработки) введен ряд ограничений для ресурсных узлов:

использована аппаратная архитектура x86, как наиболее распространенная на ресурсных
узлах российского сегмента GRID:

на расчетных узлах GRID ресурса используется операционная система на базе Red Hat
(Scientific Linux, Fedora, CentOS и т.п.):

согласно стандарту настройки ресурсных узлов GRID для коммуникации между узлами
используется интерфейс TCP/IP и настроен беспарольный доступ по ssh:

некоторые версии пакетов с целью повышения производительности вычислений имеют
привязку к сетевым продуктам конкретных производителей и используют поставляемые
этими производителями драйверы. На первом этапе такие версии, несмотря на их
высокую эффективность, использованы не были.
В процессе тестирования было выбрано два потенциальных статических места инсталляция
библиотек – по месту загрузки исполняемого приложения (в директории псевдо пользователя) и
использование общедоступной на большинстве расчетных узлов директорией /tmp. Разработка
системы динамического компилирования и инсталляции библиотек на данном этапе работ не
рассматривалась.
В соответствии с указанными выше требованиями был сформирован перемещаемый программный
пакет MPI-2, апробация которого на GRID узле ИПХФ с использованием тестовых примеров
114
4
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
показало его работоспособность.
Полученный пакет в дальнейшем использовался в качестве базового прототипа для разработки
динамически создаваемого образа среды исполнения конкретных параллельных приложений.
Тестовый модуль (на примере простой MPI задачи – расчет числа 'пи') и перемещаемый пакет
MPI-2 были собраны и упакованы в единый пакет, для запуска которого в среде GRID была
разработана серия низкоуровневых скриптов.
С учетом возможного дальнейшего развития работ была принята следующая схема запуска – на
удаленный ресурсный узел сети GRID через брокер ресурсов как задание передается главный
скрипт и упакованный модуль, содержащий как исполняемые файлы, так и необходимые
библиотеки. Далее, главный скрипт реализует следующую последовательность шагов по месту
исполнения:
1. Сбор начальной информации о текущем ресурсном узле GRID
2. Распаковка модуля в рабочей директории и перемещение библиотек в локальную
директорию /tmp на текущем локальном узле (ТЛУ).
3. Подготовка файла .mpd.conf на ТЛУ для запуска MPI сервера mpd.
4. Переопределение на ТЛУ текущего значения ряда переменных среды окружения для
GRID пользователя.
5. Запуск сервера mpd (с правами пользователя) на стартовом узле и проведение его runtime тестирования.
6. Сбор информации о доступных узлах и их текущем состоянии. Список свободных
узлов собирается в файл mpd.hosts, необходимый для запуска «кольца» серверов mpd.
7. Распределение необходимых библиотек по списку свободных узлов по протоколу ssh.
8. Запуск «кольца» серверов mpd на ресурсном узле GRID и проведение его
тестирования.
9. Запуск параллельного приложения и его работа как обычного распределенного
задания с последующей передачей результатов на брокер ресурсов и затем пользователю
10. Удаление всех библиотек и созданных временных файлов со всех узлов.
Работа тестового варианта пакета была отлажена на ресурсном узле GRID ИПХФ РАН.
Дальнейшее успешное тестирование было проведено на удаленных ресурсных узлах RDIG в
рамках ВО RGSTEST (узлы НИИЯФ МГУ).
Создание тестового пакета параллельного приложения GAMESS.
Широко используемые в настоящее время пакеты прикладных программ (ППП) вычислительной
химии (например, GAMESS, Gaussian и др.) требуют обязательной настройки большого
115
5
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
количества переменных окружения операционной системы до запуска параллельного приложения
на каждом из использующихся процессоров. Такая настройка обычно осуществляется в два этапа:
1. при установке ППП системным администратором на каждой WN ресурсного узла на уровне
операционной системы;
2. при настройке соответствующих скриптов запуска задания для каждого пользователя согласно
«Руководству пользователя» как приложения, так и системы параллельного программирования.
Такой традиционный подход со статическим линкованием необходимых библиотек к
исполняемому модулю не способен создать полностью работоспособное перемещаемое
параллельное задание на произвольном ресурсе среды GRID.
Выбранный выше подход по созданию динамического образа среды исполнения на основе
перемещаемого пакета MPI-2, с использованием которого была проведена компиляция
модифицированного пакета исходных кодов GAMESS, показал свою продуктивность и в этом
случае.
Испытание тестового пакета параллельного приложения GAMESS.
Серия первичных запусков (с использованием тестовых примеров собственно пакета GAMESS)
вплоть до получения положительного результата была проведена на ресурсном узле GRID ИПХФ
РАН. Дальнейшее успешное тестирование было проведено на удаленных ресурсных узлах RDIG в
рамках ВО RGSTEST (узлы НИИЯФ МГУ). Были проведены успешные запуски пакета GAMESS с
применением данной технологии (рассчитаны тестовые примеры из дистрибутива GAMESS),
подтвердившие полную работоспособность разработанной технологии.
3.5
Методы
формирования
«пучков»
независимых
заданий
для
решения
многопараметрических задач химии
Для решения многопараметрических задач квантовой химии были разработаны методы
формирования «пучков» независимых заданий (до 104, в перспективе – до 107 «атомарных»
заданий на задачу) для расчета их на распределенных вычислительных ресурсах. Для выбранных
областей данных авторскими скриптами производится «нарезка» областей данных, формирование
пула независимых заданий, создание очередей запуска и отправки заданий на брокер ресурсов.
После запуска периодически запускаемые (средствами ОС) скрипты ведут мониторинг
выполнения заданий, контроль таймаутов, перезапуск неудачных заданий и сбор результатов
выполненных заданий. По окончании расчетов проводится сборка «атомарных» результатов в
единый выходной файл. Для части задач (требующих значительного числа параллельных
независимых расчетов) дополнительно созданы авторские механизмы по разбиению областей
данных (или расчетов) на большие независимые подсетки или независимые задания, передачи
всех их интерфейсам gLite с последующим запуском на параллельных узлах и «сборки»
116
6
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
финальных результатов из множества полученных независимых. Были сформированы и
направлены на распределенные ресурсы ВО RGSTEST "пучки" заданий, осуществлен мониторинг
их выполнения (с использованием комплекса скриптов и базы данных MySQL), "сборка"
результатов с различных ресурсов. Было задействовано до 400 процессоров на различных
ресурсных узлах ВО RGSTEST (Москва, Протвино, Харьков, Черноголовка). С использованием
данных методов на полигоне ВО RGSTEST был решен ряд реальных научных задач, включая: а)
поведение
низкотемпературных
химических
реакций
под
сильным
электромагнитным
воздействием; б) первичный расчет установок по росту кристаллов; в) ряд газодинамических
задач. Данные методы могут быть легко модифицированы для работы в распределенных средах,
отличных от gLite (например, Unicore), что и делается в настоящее время.
3.6 Высокоуровневые web-интерфейсы и интеграция их в портал GECP
Для облегчения работ пользователя в распределенных средах были созданы высокоуровневые
web-интерфейсы для работы с квантово-химическим пакетом GAMESS и несколькими классами
многопараметрических задач вычислительной химии. Данные интерфейсы позволяют определять
входные параметры и условия (включая загрузку данных и конфигурационных файлов),
формировать сложные первичные файлы запуска, производить (при условии сертификации
пользователя) запуск данного ПО в распределенной среде (с использованием среды gLite),
осуществлять мониторинг выполнения заданий и сбор результатов.
Для
создания
и
работы
высокоуровневых
web-интерфейсов
создана
соответствующая
программная среда, включающая HTTP сервер, сервер баз данных MySQL, набор webориентированных языков программирования (Perl, PHP, Python) и шлюзы между данной средой и
выбранной распределенной вычислительной средой как на уровне ресурсов, так и на уровне
пользовательских интерфейсов. В состав среды включены авторские шлюзы для нарезки, и
запуска «пучков» заданий с последующими мониторингом «пучков» и сбором результатов.
На IV-V этапах была произведена интеграция web-интерфейсов в портал http://grid.icp.ac.ru (GECP
– Grid Enabled Chemical Physics). Для этого сделана унификация пользовательских меню и
методов работы для входа в GRID инфраструктуру, сближены (насколько возможно) интерфейсы
подготовки данных для запусков. Повышена функциональность интерфейсов, главным образом в
части формирования задач (расширены классы вводимых параметров расчетов, добавлены новые
выборки условий и методов расчетов, добавлены специализированные форматы данных). Была
добавлена (за счет расширения доступных пользователю средств управления задачами в среде
gLite) возможность учета доступных пользователю ресурсов, явного выбора ресурсного узла для
счета, расширены возможности мониторинга выполнения заданий (особенно для «пучков»
заданий). Для последних реализована возможность записи состояний заданий в базу данных. В
117
7
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
ней хранятся не только пользовательские данные (а в перспективе и результаты), но и
динамически формируемые таблицы, связанные со статусом запущенных заданий (что особенно
важно для запуска «пучков» заданий – при их количестве до 104). Данная технология облегчает
проведение непрерывного мониторинга заданий, включая
контроль таймаутов, перезапуск
неудачных заданий и т.п.
Наибольшее внимание на последних этапах проекта уделялось усовершенствованию компонентов
web-интерфейсов, отвечающих за формирование первичных данных в связи с изменяющейся и
постоянно растущей функциональностью самих прикладных пакетов.
Начато создание высокоуровневых WWW интерфейсов и к среде Unicore (запуск и сбор
результатов), доказана возможность их сосуществования на едином пользовательском UI
совместно с gLite интерфейсами в рамках единого web-портала. В дальнейшем пользователь
сможет выбирать доступную ему распределенную среду.
Заметим, что основная часть программного кода web-интерфейсов не связана напрямую с
выбранной распределенной средой, поэтому они могут подключены и к нескольким вариантам
распределенных сред. Данные интерфейсы значительно снижают трудоемкость работы
пользователя в части формирования задач и работы с первичными данными, особенно для пакета
GAMESS. Они также значительно облегчают работу с пакетами в распределенных средах,
особенно для неподготовленного пользователя.
3.7 Проведение широкомасштабных вычислений на высокопроизводительных узлах СКИФПолигона
Для изучения масштабируемости задач и проведения широкомасштабных вычислений на
отдельных высокопроизводительных узлах СКИФ-Полигона на кластере СКИФ-МГУ (НИВЦ
МГУ) были проведены следующие работы:
(а) был установлен и протестирован комплекс программ FLIC3D (разработан в ИПХФ), проведены
ряд расчетов в следующих областях: моделирование результатов космического эксперимента
LCROSS в двумерной осесимметричной и трехмерной постановках (порядка 15 расчетов, до 128
процессов, использовано до 1000 процессорных ядер, промежуточные точки – до 100 Гб,
достигнута практически линейная масштабируемость); численное моделирование актуальных для
физики высоких энергий практических задач современных ускорителей тяжелых ионов для
проектов FAIR (Darmstadt) и LHC (CERN) – проведены тестовые расчеты (до 200 ядер). Данные
расчеты показали высокую эффективность как программного кода, так и коммуникационной
системы кластера;
118
8
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
(б) Проведена установка квантово-химического ПО NAMD-2 (версия 2.6) и Gaussian 03_D1 на
несколько узлов кластера. Однако, запуски данного ПО окончились неудачей в связи с
некорректным
описанием
в
этих
пакетах
архитектур
процессоров
(применительно
к
установленным процессорам Intel Xeon “Harpertown” серии 54хх по технологии 45 nm).
Возникновение данных ошибок (главным образом типа «невозможно распределить оперативную
память»)
связано с изменением модели памяти, используемой процессорами, и отсутствием
описания такой модели архитектуре прикладных пакетов. В дальнейшем предполагается
установка (по мере выхода) новых версий ПО, оптимизированных для данной архитектуры.
119
9
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
4. Научно-практические результаты
В процессе выполнения работ по проекту достигнуты следующие важные научно-практические
результаты:

Вычислительная мощность ресурсного центра ИПХФ на базе технологий GRID повышена
до 1.5 TFLOPS пиковой производительность с совокупным дисковым пространством 20
Терабайт (http://cc-ipcp.icp.ac.ru/). Обеспечен доступ к нему на уровне 155 Мбит/с из
внешних сетей.

На базе рабочих станций этого же физического узла с использованием (частично)
технологий виртуальных машин сформирован ресурсный сайт категории «А» полигона
СКИФ-ГРИД на основе платформы Unicore для вычислительных экспериментов в области
химии.
Установлены
двухпроцессорных
все
узлов.
базовые
Сайт
компоненты
узла,
сертифицирован
и
подключены
постоянно
6
расчетных
доступен
для
сертифицированных пользователей СКИФ-Полигона через собственные интерфейсы
Unicore и по адресу https://unicorgw.icp.ac.ru:8080. В состав центра также входит
клиентский
интерфейс,
позволяющий
производить
запуски
исходящих
квантово-
химических задач на ресурсных узлах данного полигона (сайты категории «Б»)
терафлопной мощности (например, СКИФ-МГУ)

На базе адаптированных пакетов GAMESS и Gaussian на ресурсном узле ИПХФ
(выступавшем в роли удаленного узла GRID сети сегмента RDIG) проведены расчеты для
ряда реальных молекул и наноструктур;

С применением технологий запуска «пучков» задач на полигоне RDIG (ВО RGSTEST)
проведены
первичные
расчеты
теплового
узла
установки
для
выращивания
крупногабаритных кристаллов сапфиров (на основе авторской программы).

Результаты расчетов в GRID среде задачи о туннельной динамике при воздействии
электромагнитного возмущения привели к обнаружению нового эффекта полного
«замораживания» туннелирования.

на кластере СКИФ-МГУ были проведены расчеты: (а) на базе комплекса программ FLIC3D
(разработка ИПХФ) проведено моделирование результатов космического эксперимента
LCROSS в двумерной осесимметричной и трехмерной постановках (порядка 15 расчетов,
до 128 процессов, использовано до 1000 процессорных ядер, промежуточные точки – до
100 Гб, достигнута практически линейная масштабируемость); (б) проведено численное
моделирование актуальных для физики высоких энергий практических задач современных
ускорителей тяжелых ионов для проектов FAIR (Darmstadt) и LHC (CERN) (с
использованием на первых стадиях до 200 процессорных ядер);
220
0
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
5. Заключение
Таким образом, ресурсный центр, созданный в ИПХФ РАН, может быть использован для
проведения широкомасштабных вычислений в области квантовой и вычислительной химии с
использованием целого ряда прикладных пакетов программ, распараллеленных с помощью
широкого круга методов и адаптированных для работы в среде GRID. Вычисления входящих и
исходящих задач могут производиться как на ресурсах ИПХФ РАН удаленными пользователями,
так и (используя скоростные высокозащищенные линии связи) на других ресурсных узлах
консорциума RDIG и СКИФ-Полигона, включая узлы многотерафлопного масштаба. Разработан
ряд оригинальных методик по проведению вычислений в условиях распределенных полигонов
различного типа и существующих в рамках ресурсных узлов параллельных вычислительных сред.
Созданный ресурсный центр позволяет пользователям (как из ИПХФ, так и удаленным) на новом
качественном уровне проводить вычисления в следующих областях:

общие проблемы химической физики,

строение молекул и структура твердых тел,

кинетика и механизм сложных химических реакций,

химическая физика процессов горения и взрыва,

химическая физика процессов образования и модификации полимеров,

химическая физика биологических процессов и систем,
и многих других
Указанные области охватывают не только химическую физику, но и практически все науки,
связанные с изучением вещества: физику твердого тела, кристаллохимию, фармацевтику и т.д.,
направленные на решение многочисленных прикладных и технологических задач в самых
разнообразных отраслях знания.
221
1
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
6. Приложение
К отчету прилагается CD-ROM, содержащий:
1. исходные тексты низкоуровневых интерфейсов (набор скриптов), тестовые примеры и
результаты расчетов
2. Тексты скриптов web-портала и сопутствующих HTML файлов
3. Полнотекстовые (PDF) публикации по теме проекта (статьи и доклады на конференциях)
Публикации
В рамках проводимых работ сделаны следующие доклады (всего 15, на V этапе - 3) по тематике
договора на 12 конференциях (6 российских и 6 международных, на V этапе - 3), подготовлены к
печати в сборниках трудов 2 статьи. Полнотекстовые версии публикаций доступны в PDF формате
на GECP портале по адресу http://grid.icp.ac.ru/pubs. C использованием практических результатов
(данные получены в рамках проведенных вычислительных экспериментов) проведена защита на
степень доктора физ.-мат. наук (Волохов В.М. «Квантовые эффекты в динамике молекул и
химических реакций). Участником проекта Баргатиным Д.Е. подготовлена студенческая
дипломная работа на тему «Реализация ресурсного узла ИПХФ РАН на базе middleware
UNICORE».
Доклады на конференциях
 Д.Е. Баргатин, А.В. Пивушков, Д.А. Варламов, В.М. Волохов Создание ресурсного узла
вычислительного полигона СКИФ-ГРИД на базе middleware UNICORE // Мат-лы VII
всероссийской
научно-практической
конференции
«Современные
информационные
технологии в науке, образовании и практике», Оренбург, 27-29 ноября 2008; - изд-во ОГУ,
2008, 770 с. С.102-104
 Волохов В.М., Варламов Д.А., Пивушков А.В. Методы решение масштабных вычислительных
задач химии в распределенных и параллельных средах // Восьмая Международная конференция
“Высокопроизводительные параллельные вычисления на кластерных системах” 17-21 ноября
2008 г. Казань. – Казань, изд-во КГТУ, 2008, 356 с. С.295-299
 С.М. Алдошин, В.М. Волохов, Д.А. Варламов, А.В. Пивушков Вычислительная химия в среде
GRID: параллельные и распределенные вычисления // Вторая международная конференция
«Суперкомпьютерные системы и их применение» SSA’2008, Минск, октябрь 2008; Минск,
ОИПИ НАН Беларуси, с.114-118
 Д.А. Варламов, В.М. Волохов, А.В. Пивушков, Г.А. Покатович, Н.Ф. Сурков Варианты
решения прикладных задач химии в распределенных и параллельных средах // “Научный сервис
222
2
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
в сети Интернет: решение больших задач», Всероссийская научная конференция, (г.
Новороссийск, 22-27 сентября 2008) – М.; Изд-во МГУ, 468 с., с.230-232
 В.М. Волохов, Д.А. Варламов, А.В. Пивушков Крупномасштабные задачи химии на
параллельных и распределенных вычислительных полигонах: современное состояние и
перспективы // “Научный сервис в сети Интернет: решение больших задач», Всероссийская
научная конференция, (г. Новороссийск, 22-27 сентября 2008) – М.; Изд-во МГУ, 468 с., с.210212
 Волохов В.М., Алдошин С.М., Варламов Д.А., Пивушков А.В., Сурков Н.Ф., Покатович Г.А.
Использование GRID технологий для исследования структуры и свойств наноматериалов //
"Distributed computing and GRID technologies in science and education", 3rd Int. Conf., Дубна, издво ОИЯИ, 2008, с.126-127
 Варламов Д.А., Волохов В.М., Пивушков А.В., Сурков Н.Ф., Покатович Г.А. Распределенные и
параллельные вычисления в области химии на ресурсном узле ГРИД ИПХФ РАН // "Distributed
computing and GRID technologies in science and education", 3rd Int. Conf., Дубна, изд-во ОИЯИ,
2008, с.120-122
 Волохов В.М., Варламов Д.А., Покатович Г.А., Сурков Н.Ф., Пивушков А.В. GRID как способ
исследований квантово-химических процессов // Сборник трудов XXI Международной научной
конференции ММТТ-21 «Математические методы в технике и технологиях», Саратов, июнь
2008; изд-во Саратовского ГТУ, Т. 8. Секция 8. С. 117-118
 Варламов Д.А., Волохов В.М., Пивушков А.В., Покатович Г.А., Сурков Н.Ф. Применение
ГРИД технологий в вычислительной химии // Сборник трудов Пятой Международной научнопрактической конференции "Исследование, разработка и применение высоких технологий в
промышленности", 28-30.4.2008, Санкт-Петербург (под ред. А.П.Кудинова, Г.Г.Матвиенко);
СПб.: Изд-во Политехн. Ун-та, 2008, т.13, 491 с., с.52-54 (еще с.49-50)
 Д.А.Варламов, В.М.Волохов, Г.А.Покатович, Н.Ф.Сурков, А.В.Пивушков Вычислительная
химия в среде GRID: параллельные и распределенные вычисления // Параллельные
вычислительные технологии (ПаВТ'2008): Труды международной научной конференции
(Санкт-Петербург, 28 января – 1 февраля 2008 г.). – Челябинск: Изд. ЮУрГУ, 2008. – 599 с.,
с.318-322
 Д.А. Варламов, В.М. Волохов, А.В. Пивушков, Г.А. Покатович, Н.Ф. Сурков Адаптация
приложений вычислительной химии к вычислениям в параллельных и распределенных средах //
Высокопроизводительные параллельные вычисления на кластерных системах. Материалы 7-го
Международного научно-практического семинара, Нижний Новгород, ноябрь 2007;
Издательство Нижегородского госуниверситета (ISBN 978-5-91326-068-0), 2007, 443 c., с.58-63
 Д.А. Варламов, А.В. Пивушков, В.М. Волохов, Н.Ф. Сурков, Г.А. Покатович Практика
223
3
ИПХФ РАН
Научно-технический отчет
Договор № 471_07 от 30.07.2007
применения программных систем распределенных и параллельных вычислений для решения
задач вычислительной химии // Высокопроизводительные параллельные вычисления на
кластерных системах. Материалы седьмого Международного научно-практического семинара,
Нижний Новгород, ноябрь 2007; Издательство Нижегородского госуниверситета (ISBN 978-591326-068-0), 2007, 443 с., с.64-68
 А.В. Пивушков, В.М. Волохов, Д.А. Варламов, Г.А. Покатович Применение параллельных и
распределенных расчетов для решения задач вычислительной химии // Труды 3-го
Международного форума «Актуальные проблемы современной науки». Технические науки.
Часть 21. Информатика. Самара, ноябрь 2007; Изд-во Самар. гос. техн. ун-та, 2007. 136 с., с.97100
 Варламов Д.А. , Волохов В.М. , Пивушков А.В. , Сурков Н.Ф. Вычислительная химия в среде
GRID: Применение параллельных и распределенных вычислений для решения прикладных задач
// «Научный сервис в сети Интернет: технологии параллельного программирования. 15 лет
РФФИ», Труды Всероссийской научной конференции, М.:, изд-во МГУ, 2007, с.230-233
 Volokhov V.M., Varlamov D.A., Pivushkov A.V. Surkov N.F. Russian GRID segment in the field of
computing chemistry // XXI Int.Symposium on Nuclear Electronics&Computing Book of Abstracts
(NEC-2007), Varna, Bulgaria, September 2007; published in Dubna, JINR, 2007, pp.52-53. ISBN 59530-0157-6.
Представлены к опубликованию в сборниках трудов две статьи:
1. Волохов В.М., Алдошин С.М., Варламов Д.А., Пивушков А.В., Сурков Н.Ф., Покатович Г.А.
Использование GRID технологий для исследования структуры и свойств наноматериалов //
Сборник трудов 3rd Int. Conf. "Distributed computing and GRID technologies in science and
education", Дубна, изд-во ОИЯИ, 2008 (5 с.)
2. Варламов Д.А., Волохов В.М., Пивушков А.В., Сурков Н.Ф., Покатович Г.А. Распределенные и
параллельные вычисления в области химии на ресурсном узле ГРИД ИПХФ РАН // Сборник
трудов 3rd Int. Conf. "Distributed computing and GRID technologies in science and education", 3 rd
Int. Conf., Дубна, изд-во ОИЯИ, 2008 (4 с.)
224
4