Отчет ТОИ 2010

О создании распределенной
информационно-аналитической системы
на основе Web и GRID-технологий для
поддержки Программы ДВО РАН
«Биологическая безопасность
дальневосточных морей России»
Программа ДВО РАН «Биологическая безопасность Дальневосточных морей России
Актуальность разработки РИАС для
поддержки Программы «Биобезопасность»
• Программа «Биобезопасность» посвящена решению
научной задачи, имеющей большое
фундаментальное и прикладное значение
• В рамках Программы предполагается объединить
усилия специалистов разных научных направлений
(биологов, физиков, химиков, океанологов) из
нескольких учреждений Российской академии наук
• В подобных случаях для координации работы всех
исследователей, для совместного использования
территориально разнесенных информационных,
аналитических и вычислительных ресурсов
рекомендуют создавать и применять
распределенные информационно-аналитические
системы на основе технологии GRID
Grid - новая ИТ-технология для поддержки научных
исследований, развиваемая с конца 1990-х годов
Grid (Грид) – географически распределенная
инфраструктура, объединяющая множество
ресурсов
разных
типов
(процессоры,
долговременная и оперативная память,
хранилища и базы данных, сети), доступ к
которым пользователь может получить из
любой точки, независимо от места их
расположения
Базовые идеи концепции GRID :
• Объединение географически распределённых разнородных ресурсов:
▫ вычислительные ресурсы
▫ хранилища данных
• Виртуальная организация – объединение нескольких предприятий
и/или отдельных специалистов для совместного решения задач с
использованием обобщённых ресурсов
• Применение стандартных, открытых протоколов - OGSA
Авторы концепции GRID - Ian Foster, Karl Kesselman
Текущее состояние проблематики GRID
• На сегодняшний день в мире успешно действуют несколько сотен
научных GRID-проектов
• Несколько научных GRID-проектов разрабатываются в России, кроме
этого многие российские организации и специалисты участвуют в
международных GRID-проектах
• В перечне программ фундаментальных исследований Президиума
РАН есть программа "Разработка фундаментальных основ создания
научной распределенной информационно-вычислительной среды на
основе технологий GRID"
• Существует мнение, что в 21 веке изменится парадигма процесса
научного познания – основные научные прорывы будут все чаще
осуществляться большими интердисциплинарными научными
коллективами, специально создаваемыми для решения больших
научных задач. При этом GRID будет базовой технологией для
поддержки эффективной и согласованной работы территориально
разнесенных участников таких интердисциплинарных коллективов.
Что даст разработка и применение распределенной
информационно-аналитической GRID-системы Программы
«Биологическая безопасность ДВ-морей России» ?
• Повышение общей эффективности работ по Программе, поскольку:
• Увеличится эффективность работ на каждом рабочем месте участника
Программы, куда будут оперативно предоставляться все необходимые
для успешной работы ресурсы: данные, средства из визуализации и
анализа, высокопроизводительные вычислительные ресурсы
• Увеличится координация между всеми участниками Программы,
поскольку они будут работать с едиными информационными и
аналитическими ресурсами, смогут видеть результаты работы своих
коллег, возможно, предлагать проведение совместных исследований,
полезных для решения задач Программы
• Повысится управляемость процессом исследований, поскольку
руководители Программы и отдельных НИР смогут оперативно
оценивать текущее состояние работ и своевременно предпринимать
необходимые управляющие действия.
• В ДВО РАН будет получен первый опыт реализации
полнофункционального междисциплинарного GRID-проекта
Как будет реализована GRID-поддержка Программы
«Биобезопасность» ?
Так же, как она реализована во многих известных научных GRIDпроектах
Будут использоваться:
- П О «среднего уровня», поддерживающее базовые GRID
сервисы ОGSA
- портальная надстройка (GRID-портал), обеспечивающая
единую точку входа всех пользователей и удобный интерфейс с
ПО среднего уровня
ПО среднего уровня будет реализовано на базе Globus Toolkit
Портальная надстройка – на базе технологии GridSphere
Аналоги : GRID-портал для моделирования атмосферы
• Lead Gateway Portal (https://portal.leadproject.org)
GRID-портал национальной вычислительной сети США
• TeraGrid User Portal (http://portal.teragrid.org)
GRID-портал РИАС «Биобезопасность ДВ-морей»,
начальная страница (адрес: http://ibm-81.poi.dvo.ru/)
Пользователь прошел авторизацию. В интерфейсе появились
закладки портлетов, к которым ему открыт доступ. В
приветственном портлете эти права подробно разъясняются.
Организационные портлеты институтов-участников Программы
координируют деятельность отдельных исполнителей.
Пример: портлет ТОИ ДВО РАН, раздел - Форум
Организационный портлет всей Программы. Координирует работу
организаций-соисполнителей. Отображена страница «Публичные
документы» с перечнем технических заданий и отчетов по НИР
Еще есть портлеты общего назначения – архив данных, архив
программ, картографический сервис и т.д.
Проблемно-ориентированные портлеты поддерживают важные
научные задачи, решаемые в рамках Программы.
Пример: портлет «Биоразнообразие» (участвуют ИБМ, ТОИ, ИПМТ)
Ролевые функции – технический редактор, эксперт-биолог, пользователь
Задача: организация системы непрерывного контроля параметров состояния
морского биоразнообразия на основе данных подводной фото и видеосъемки.
Для выбора района исследований можно использовать картографический
сервис (пример: карта морского полигона вблизи о-ва Пелис)
Альтернативный способ навигации: по каталогу видеоизображений.
Можно уточнить полигон, время съемки, используемый аппарат и т.д.
Пользователь в роли «Технический редактор» может редактировать
технические параметры фотоизображения
Пользователь в роли «Эксперт-биолог» может составлять биоописания
изображений (составлять перечень всех присутствующих на изображении морских
объектов с указанием их биологического вида, местоположения, среднего
размера, площади, вытянутости, ориентации). В данном случае применена
методика ручного распознавания, описаны 4 звезды, 7 ежей, 2 асцидии
Для распознавание некоторых видов «Эксперт-биолог» может применять
процедуры автоматического распознавания, но при этом он должен
контролировать результат их примения. Пример автоматическое
распознавание офиур.
В случае затруднений «Эксперт-биолог» может вызвать справочную
систему по всем зарегистрированным в системе биологическим видам.
Пользователь в роли «Пользователь» может лишь запрашивать и просматривать
изображения вместе с экспертными биоописаниями. Помимо стандартных фильтров
(полигон, аппарат, время) он может использовать «биофильтр». В приведенном примере
будут выбраны сцены, где присутствуют более одной амурской звезды с размером
(максимальным диаметром) больше 15 см и больше двух офиур с размером менее 10 см.
Просмотр «пользователем» биоописания запрошенной сцены
После того, как экспертами будут составлены биоописания
по достаточно большой совокупности изображений, в
портлете «Биоразнообразие » будут реализованы средства
статистического анализ показателей биоразнообразия
В частности, предполагается обеспечить
1. Анализ временной динамики популяций различных видов
в заданных полигонах
2. Анализ пространственной динамики показателей биоразнообразия
Основные направления дальнейшего развития РИАС
Программы «Биобезопасность ДВ-морей»
1.
Совершенствование организационных портлетов GRIDпортала с целью улучшения технологий взаимодействия
участников Программы и повышения общей управляемости
работами по Программе «Биобезопасность»
2.
Совершенствование проблемно-ориентированного портлета
«Биоразнообразие» в части автоматизации процесса
составления биоописаний и статистического анализа.
Активизация работы экспертов по составлению биоописаний
массивов изображений полученных в период с 2004 по 2008
годы.
Основные направления дальнейшего развития РИАС Программы
«Биобезопасность ДВ-морей» (продолжение 1)
3.
4.
Разработка новых проблемно-ориентированных портлетов. В
частности, портлета для автоматизации процесса описания
растительных сообществ по данным микроскопических
исследований
Организовать взаимодействие РИАС «Биобезопасность» с
Океанологической информационно-аналитической системой ДВО
РАН. Это позволит при анализе биологических параметров
состояния ДВ-морей использовать информацию об оказывающих на
них существенной влияние гидрологических, гидрохимических,
геофизических, метеорологических и иных параметрах состояния
природной среды. Кроме этого будет возможно использовать
сопровождающие ОИАС программы аналитической обработки
данных, моделирования и прогноза гидродинамических и
биогеохимических процессов в прибрежных акваториях и морях
дальневосточного региона.
Для справки: Океанологическая Информационно-Аналитическая Система ДВО РАН
Разрабатывается в ТОИ ДВО РАН с 2001 года на основе Web, ГИС и GRID технологий.
Назначение : накопление и предоставление ученым ДВО РАН в совместное использование
1 – всех потенциально доступных данных по состоянию Дальневосточных морей
2 – эффективных средств визуализации и аналитической обработки данных
3 – высокопроизводительных вычислительных ресурсов для поддержки трудоемких задач
ОИАС предоставляет зарегистрированным пользователям данные о состоянии морского дна,
толщи водной среды, поверхности и атмосферы
Вместе с данными предоставляются аналитические средства для их обработки
Для решения вычислительно трудоемких задач в ОИАС организована
поддержка технологий распределенных и суперкомпьютерных
вычислений на базе средств Condor и Globus Toolkit
ТОИ ДВО РАН
ИАПУ ДВО РАН
ClassAd
ClassAd
MPI
Condor
GRAM
GridFTP
GSI
HTTP
SOAP
HTTP
ГИС - сервер
GRAM
GridFTP
GSI
Вычислительный
кластер
Globus
Основные направления дальнейшего развития РИАС Программы
«Биобезопасность ДВ-морей» (продолжение 2)
5.
Для создания на базе РИАС системы непрерывного
комплексного оперативного мониторинга состоянии
биоразнообразия на базовых полигонах в з. Петра Великого
целесообразно взять за основу ранее созданную при
поддержке Телекоммуникационной комиссии ДВО РАН GRIDинфраструктуру научного мониторинга залива. При этом
крайне важно пополнить телекоммуникационную
инфраструктуру новыми узловыми точками в МБС «з.
Восток» и на кордоне ДВГМЗ на о. Фуругельма.
Для справки: Информационно-телекоммуникационная инфраструктура
оперативного научного мониторинга побережья и
акваторий залива Петра Великого
Разворачивается специалистами ТОИ и ИАПУ при поддержке ТК ДВО РАН
Данные удаленных экспериментов по телекоммуникационным каналам поступают в ОИАС
ДВО РАН, где обрабатываются и предоставляются пользователям
Телекоммуникационная инфраструктура состоит из двух частей
Первая: базовая сеть залива Петра Великого, включающая несколько узловых
точек, соединенных цифровыми радиоканалами (красным цветом отмечены
действующие узлы и каналы , синим - планируемые)
Вторая часть: зоны покрытия акваторий и территорий локальными IPрадиоканалами (красные – действующие, синие - планируемые). Обеспечивают
возможность передачи данных удаленных экспериментов сначала в береговые
центры приема данных, затем в основные БД ОИАС.
Актуальные задачи в части развертывания системы биологического
мониторинга акваторий:
1 - подключение к телекоммуникационной сети Залива Петра Великого новых узловых точек на МБС
«з. Восток» и кордоне ДВГМЗ на о-ве Фуругельма
2 - развертывание локальных систем IP-телеметрии акваторий около МБС «з. Восток», о. Большой
Пелис и о. Фуругельма
3 - развертывания систем сбора информации о состоянии биотических и абиотических параметров
состояния морских экосистем на полигонах, традиционно используемых в исследованиях по
Программе «Биобезопасноость»
Основные направление развития РИАС Программы
«Биобезопасность ДВ-морей» (продолжение 3)
5.
Развертывание на морских биологических станциях и
кордонах систем видеомониторинга морских акваторий,
подобных используемым в ОИАС ДВО РАН
.
Для справки: Подсистема видеомониторинга акваторий в составе ОИАС ДВО РАН
1.
Используются 4 IP-камеры (1 на о.
Попова, 2 на м.Шульца. 1 на о. Б.Пелис)
и оптико-поляризационный комплекс
О.Г. Константинова
2. Фиксируется информация трех видов:
моментальные снимки, обзорные
панорамы, короткие видеозаписи
3. Вся видеоинформация сохраняется в БД
ОИАС
4. Пользователям ОИАС предоставляются
удобные средства для поиска и
отображения нужной видеоинформации
5. Также предоставляются программы,
позволяющие извлекать полезную
океанологическую информацию из
изображений и видео акваторий.
Пример: визуализация процесса выноса льда из Амурского залива 28 января
2010 г. по данным обзорных панорам акваторий около о. Попова
Основные направление развития РИАС Программы
«Биобезопасность ДВ-морей» (продолжение 4)
6.
Развертывание на морских биологических станциях и
кордонах систем подводного видеомониторинга для
долговременного наблюдения за жизненным циклом
некоторых видов морских биологических объектов
7.
Реализация в РИАС специальных портлетов для
представления результатов выполнения работ по Программе
«Биологическая безопасность ДВ-морей» заинтересованным
научным специалистам ДВО РАН, преподавателям и
студентам дальневосточных вузов, органам управления
территориями . Для этого в РИАС должны быть реализованы
соответствующие интерфейсы.
Благодарю за внимание