разработка технологии создания баз метаданных в

На правах рукописи
РЕБРИЙ АЛЕКСАНДР ВАЛЕРЬЕВИЧ
ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДОЛОГИИ СОЗДАНИЯ БАЗ
ПРОСТРАНСТВЕННЫХ МЕТАДАННЫХ
Специальность 25.00.35 – «Геоинформатика»
Автореферат
диссертации на соискание ученой степени
кандидата технических наук
Москва – 2012
Работа выполнена на кафедре
информационно-измерительных систем
Федерального государственного бюджетного образовательного учреждения
высшего профессионального
образования Московского государственного
университета геодезии и картографии (МИИГАиК).
Научный руководитель:
доктор
технических
наук,
профессор
Майоров Андрей Александрович.
Официальные оппоненты:
Цветков Виктор Яковлевич – доктор технических наук, профессор,
кафедра экономики и предпринимательства Федерального государственного
бюджетного
образовательного
образования
Московского
учреждения
государственного
высшего
профессионального
университета
геодезии
и
картографии (МИИГАиК).
Бровко Елена Алексеевна - кандидат технических наук, ученый секретарь,
начальник сектора научно-технической информации ФГУП Государственный
научно-исследовательский
и
производственный
центр
«Природа»
(ФГУП «Госцентр Природа»).
Ведущая организация: ФГУП
информационно–аналитический
Уральский
центр
региональный
«Уралгеоинформ»
(ФГУП
Уралгеоинформ»).
Защита состоится «14» июня 2012 года, в 10.00
на заседании
диссертационного совета Д 212.143.03 при Московском государственном
университете геодезии и картографии по адресу: 105064, Москва, Гороховский
пер., д. 4, зал заседаний Ученого совета.
С диссертацией можно ознакомиться в библиотеке МИИГАиК.
Автореферат разослан «12» мая 2012 г.
Ученый секретарь
диссертационного совета
Климков Юрий Михайлович.
2
Общая характеристика работы
Актуальность темы.
Пространственные данные в современных условиях являются важнейшим,
уникальным, а в некоторых случаях и единственным фактором реализации
задач
управления
и
обороноспособности,
развития
территории
устойчивого
страны,
политического,
обеспечения
ее
экономического
и
социального развития. Во всем мире объемы накапливаемых, обрабатываемых
и
используемых
пространственных
данных
возрастают,
расширяется
номенклатура продукции и услуг, основанных на пространственно-привязанной
информации.
В США, Канаде, Дании, Германии, Великобритании, Китае и многих
других странах задачи накопления, хранения, обработки и использования
пространственных данных решаются в рамках правительственных программ в
целях создания инфраструктур пространственных данных (ИПД).
В 2006 году Правительством
Российской Федерации была принята
«Концепция создания и развития инфраструктуры пространственных данных в
Российской Федерации» (№ 1157-р от 21.08.2006), определяющая основные
цели, задачи и этапы формирования ИПД. В концепции, наряду с другими
положениями, отражена важность и необходимость создания и использования
метаданных
в
целях
исключения
дублирования
работ
по
созданию
пространственных данных, повышения качества и эффективности управления
на государственном и муниципальном уровнях, создания Государственных
информационных ресурсов, стимулирования рынка пространственных данных и
т.д.
На сегодняшний день в Российской Федерации отсутствуют доступные
информационные ресурсы, отражающие наличие и характеристики различных
пространственных данных на территорию страны.
Огромное количество
пространственных данных Федерального картографо-геодезического фонда
3
(ФКГФ)
имеют
ограниченное
распространение
на
рынке
Российской
Федерации, в том числе по причине отсутствия опубликованных и доступных
метаданных.
Цель диссертационной работы состоит в разработке методологии
формирования, накопления, обработки и публикации в сети интернет
метаданных пространственных данных (пространственных метаданных) в
составе информационных ресурсов, образующих
основу для формирования
инфраструктуры пространственных данных в Российской Федерации.
Достижение поставленной цели потребовало решения следующих
основных задач:
1.
Исследование и анализ отечественного и зарубежного опыта в сфере
формирования, накопления и распространения метаданных;
2.
Проведение сравнительного анализа способов и технологий работы с
метаданными в различных ГИС средах;
3.
Разработка универсальной функциональной схемы формирования и
ведения базы метаданных пространственных данных;
4.
Разработка
концептуальной
и
логической
структуры
базы
метаданных;
5.
Разработка алгоритмов и методики работы с базой метаданных через
сеть Интернет.
Научная новизна работы заключается в следующем:

Разработана логическая структура базы метаданных пространственных
данных,

Разработана организационно-функциональная схема формирования и
ведения базы метаданных,

Разработаны алгоритмы формирования и ведения базы метаданных.
Используемые
методы исследования включают в себя анализ,
моделирование, экспериментальный и проектный методы.
выполнялся
анализ
В ходе работы
методических, нормативно-правовых и нормативно-
технических документов в сфере геоинформатики.
4
Информационную основу работы составляют результаты научноисследовательских, опытно-конструкторских работ, результаты проведённых
экспериментов и исследований по теме диссертационной работы. В работе
использовались материалы отраслевых, региональных научно-практических
конференций с представителями картографо-геодезических служб ряда стран
Европы и СНГ.
Практическая значимость работы состоит в выработке системы научнопрактических рекомендаций, типовых проектных решений, обеспечивающих
эффективное решение задач сбора, накопления и распространения метаданных
и позволяющих приступить к формированию информационных ресурсов - баз
метаданных, предназначенных для формирования ИПД.
Результаты
исследования
были
апробированы
в
научной
и
производственной деятельности ФГУП «ГОСГИСЦЕНТР», доложены и
одобрены на научно-практических конференциях, семинарах и совещаниях.
По теме диссертации опубликовано 13 работ, в том числе 6 в журналах,
рекомендованных ВАК.
Автор непосредственно принимал участие в разработке стандарта
ГОСТ Р «Географическая информация. Метаданные», а также
являлся
руководителем проектов отраслевого и федерального значения, в которых на
практике использовались представленные в диссертации методики и проектные
решения.
Основные результаты работы, выносимые на защиту:
1.
Организационно-функциональная схема формирования и ведения базы
метаданных.
2.
Логическая структура базы метаданных.
3.
Алгоритмы
обработки
метаданных
при
формировании
базы
метаданных и ее публикации в сети интернет.
Объем и структура работы.
Диссертация состоит из четырех глав, заключения и списка литературы, а
также одного приложения.
Работа изложена на 117 страницах, включая
5
39 рисунков и 39 таблиц. Список используемой литературы включает 64
наименования.
Основное содержание работы.
ГЛАВА 1. Анализ состояния проблемы сбора, накопления, обработки
и распространения пространственных метаданных содержит определение и
обоснование значимой роли метаданных
накопления,
обработки
и
в процессах создания, сбора,
распространения
пространственных
данных
различного характера.
Доступность, полнота, достоверность и непротиворечивость метаданных
позволяет потенциальному потребителю пространственных данных оценить их
пригодность для использования в целях решения задач прикладного характера.
Учитывая колоссальные объемы создаваемых пространственных данных,
применение единых подходов и методик формирования метаданных позволяет
минимизировать информационные потери в процессе передачи информации, а
также
открывает новые возможности по интеграции метаданных и их
совместной обработке.
На сегодняшний день в этом направлении имеются существенные
достижения, особенно в зарубежных странах в рамках создания национальных
ИПД. В Российской Федерации наблюдается серьезное отставание в вопросах
формирования единой политики по работе с пространственными данными. В
процессах производства, накопления и распространения пространственных
данных, создание и использование метаданных не является обязательным. На
этот счет отсутствуют нормативно-технические и методические документы.
Современные отечественные геоинформационные программные продукты
(ГИС)
не
поддерживают
международные
стандарты
на
представление
метаданных.
Разработанная в 2001 г. база метаданных для сбора, хранения и учета
метаданных Федерального картографо-геодезического фонда (ФКГФ) морально
и технически устарела, не соответствует современным стандартам и не
позволяет эффективно решать стоящие на сегодняшний день задачи.
6
В связи с этим представляется необходимым:

Разработать и предложить к использованию методики и алгоритмы
формирования и ведения базы метаданных пространственных данных;

Разработать
концептуальную
и
логическую
структуру
базы
метаданных;

Разработать
методику
работы
с
базой
метаданных
в
целях
использования базы метаданных при формировании инфраструктуры
пространственных данных.
ГЛАВА 2. Разработка логической структуры базы метаданных.
В этой главе описан процесс разработки логической структуры базы
метаданных, основанный на использовании международной практики, и с
учетом современных требований, предъявляемым к функциям и задачам базы
метаданных (рис.1).
Рис. 1. Описание метаданных в виде набора пакетов, сущностей и
элементов.
Международная практика формирования и представления метаданных
основывается на применении формализованных методик описания метаданных
при помощи языка UML.
7
В соответствие с методикой международной организации по стандартизации
ISO, структура метаданных представлена в виде отдельных блоков - UML
пакетов. Каждый пакет состоит из сущностей, имеет определенное смысловое
наполнение и характеризует тот или иной аспект метаданных (рис. 2).
Рис. 2. Концептуальная схема базы метаданных.
На основе проведенного анализа применяемого в международной
практике подхода, была разработана концептуальная схема базы метаданных,
8
представляющая собой набор взаимосвязанных сущностей, определяющая связи
между ними и описывающая основные элементы их содержания.
Далее, на основе созданной
концептуальной модели, выполнено
логическое проектирование структуры базы метаданных, в ходе которого,
сущности, указанные на концептуальной схеме, преобразованы в таблицы базы
данных (рис. 3).
Рис.3. Логическая схема базы метаданных.
9
Характеристики сущностей на логической схеме
представляют собой
поля таблиц базы данных с указанием ключевых полей, типа хранимых данных,
а также обязательности или необязательности их заполнения.
Разработанная на основе концептуальной модели логическая структура
базы метаданных отвечает требованиям стандарта ГОСТ Р
52573-2006
«Географическая информация. Метаданные», совместима со стандартом ISO
19115 «Географическая информация. Метаданные» и
созданию (физическому проектированию)
позволяет перейти к
базы метаданных на любой
программной платформе.
ГЛАВА
3. Разработка методики и алгоритмов формирования и
ведения базы метаданных.
В этой главе содержится описание процесса
разработки унифицированного подхода к решению задачи формирования и
ведения
базы
метаданных
в
свете
формирования
инфраструктуры
пространственных данных (ИПД).
За
основу
разработки
организационно-функциональной
схемы
формирования и ведения базы метаданных взят абстрактный социум административно-территориальная единица, отрасль, корпорация и т.п., а также
приняты следующие положения:

в социуме существует базы
разнородных по составу и структуре
пространственных данных,

информационные
системы,
обрабатывающие
(содержащие)
пространственные данные, не совместимы друг с другом,

переход на единую технологию создания, хранения и публикации
пространственных данных в ближайшей перспективе невозможен.
В общем случае именно так выглядит ситуация в части создания ИПД в
Российской Федерации.
10
В виду того, что работы по сбору, накоплению, обработке и публикации
метаданных имеют критически важное значение для формирования ИПД,
предлагается возложить эти задачи
на уполномоченную
организацию -
«провайдер» (рис.4).
Рис.4. Принципиальная схема формирования базы метаданных.
Для описания процесса формирования и ведения базы метаданных, а
также для определения основных функций участников этого процесса,
разработана следующая организационно-функциональная модель (рис.5).
11
Рис. 5. Организационно-функциональная модель.
В целях формирования метаданных и их передаче к провайдеру,
поставщик пространственных данных выполняет
метаданных по следующему алгоритму (рис.6).
12
работы по формированию
Рис.6. Алгоритм формирования метаданных изготовителем.
Автоматизация
процессов
формирования
метаданных
играет
важнейшую роль при обработке больших массивов пространственных данных с
целью формирования баз метаданных. В случаях, когда объемы единиц
хранения пространственных данных достигают десятков и сотен тысяч
(кадастровая
информация,
цифровые
топографические
карты,
данные
дистанционного зондирования и т.п.), формирование и ведение баз метаданных
вручную является практически невыполнимой задачей.
13
После получения метаданных,
провайдера,
необходимо
перед их загрузкой в базу метаданных
выполнить
проверку
целостности
и
качества
метаданных по следующему алгоритму (рис.7):
Рис. 7. Алгоритм обработки метаданных на стороне провайдера.
В виду того, что все метаданные имеют пространственную привязку,
интернет-сайт с опубликованной базой метаданных должен предоставлять
инструментарий для поиска метаданных как по заданным характеристикам
(атрибутам), так и посредством интерактивной карты местности.
14
Для взаимодействия с базой метаданных посредством интернет-сайта
предлагается использовать следующий алгоритм (рис.8):
Рис. 8. Общий алгоритм работы с базой метаданных в интернете.
В целях формирования логики работы программного обеспечения и
проектирования пользовательского интерфейса базы метаданных в сети
интернет, определены основные виды запросов к базе метаданных, а именно:
Виды запросов по карте:

Найти пространственные данные в районе указанной точки на карте,

Найти данные вдоль линии заданной на карте,

Найти данные внутри заданного полигона (прямоугольника) на карте.
Виды запросов по базе метаданных:

Найти пространственные данные на территорию административнотерриториальной единицы,

Найти данные по выбранному значению,

Найти данные по заданному условию, накладываемому на значения.
Алгоритм обработки запросов представлен на рис.9.
Результатом
обработки
всех
запросов
метаданных, удовлетворяющих условиям запроса.
15
является
выдача
перечня
Рис. 9. Алгоритм работы с базой метаданных в сети интернет.
В целях реализации созданных алгоритмов формирования и ведения базы
метаданных
необходимо
выбрать
формат
представления
и
обмена
метаданными, который имеет широкое распространение, универсален и не
зависит от используемой программной платформы. В качестве такого формата
выбран формат XML.
В разработанных алгоритмах работы с базой метаданных через сеть
интернет
в
качестве
пользователя
фигурирует
человек,
напрямую
взаимодействующий через пользовательский интерфейс с содержимым базы
метаданных.
В случае, когда требуется интегрировать информацию из базы
метаданных в пользовательские
программные продукты, предлагается
16
использовать технологию веб-сервисов, чтобы потребители могли получать
метаданные в режиме «он-лайн» и встраивать их в прикладные программы.
Интерфейсный модуль веб-сервиса для доступа к базе метаданных
публикуется провайдером в виде WSDL-файла. Этот файл загружается
разработчиками в среду разработки приложений и затем преобразуется в
используемый
язык программирования (рис.10). Это позволяет тесно
интегрировать
опубликованные
через
веб-сервис
метаданные
в
пользовательские бизнес-процессы.
Рис. 10. Интеграция веб-сервиса метаданных в пользовательскую
информационную систему.
ГЛАВА
4. Результаты практического внедрения методологии
формирования и ведения базы метаданных.
В этой главе приведены
результаты практического внедрения разработанных в главах 2 – 3 алгоритмов и
структур данных в рамках решения задачи по созданию
и ведению базы
метаданных цифровых топографических карт Федерального картографогеодезического фонда.
В рамках практической реализации разработанной методологии были
созданы следующие программные продукты:

Программная
оболочка
автоматизированного
формирования
метаданных цифровых топографических карт формата SXF,

База метаданных ФКГФ,

Действующий макет интернет-сайта базы метаданных,
17
В целях автоматизации и унификации процесса формирования метаданных
у поставщиков метаданных (изготовителей картографической продукции) была
разработана автоматизированная технология (рис.11), позволяющая решать
следующие задачи:

Считывать метаданные из паспорта файла цифровой карты формата
SXF,

Загружать метаданные в доступном для чтения и редактирования виде
в программную оболочку,

Выполнять выгрузку метаданных в обменный формат XML для
последующей передачи в организацию-фондодержатель (провайдер).
Рис. 11. Окно программной оболочки для создания метаданных листа карты в
формате SXF.
18
В целях автоматизации процессов формирования и ведения базы
метаданных цифровых карт была разработан программный комплекс (рис.12)
«База метаданных ФКГФ» (далее - БМД).
БМД
состоит
из
совокупности
взаимосвязанных
подсистем,
обеспечивающих унификацию, документирование, контроль всех этапов
жизненного цикла листов цифровых карт: от создания – до выдачи
потребителям.
Основными внешними пользователями БМД являются:

потребители, получающие сведения об имеющихся в ФКГФ цифровых
картах и их характеристиках,

центральный
статистического
аппарат
и
Росреестра,
аналитического
получающий
характера
формирования и ведения ФКГФ.
Рис.12. Окно работы с метаданными.
19
по
всем
сведения
этапам
Программное обеспечение БМД разработано
в соответствии
с
архитектурой «клиент-сервер» и предназначено для функционирования, как на
отдельном компьютере, так и в локальных вычислительных сетях (ЛВС).
Выборка информации из БМД осуществляется путем формирования
запроса
с
наложением условий на любые характеристики метаданных.
Результат выполнения запроса представляется в табличном виде (рис. 13) и
может быть выгружен в форматы HTML или XML для дальнейшей обработки.
Рис. 13. Результат запроса к базе метаданных через интернет-сайт.
В целях решения задачи публикации метаданных в сети интернет, на
основе алгоритмов, разработанных в главе 3, был создан действующий макет
интернет-сайта,
основной
потенциальных
потребителей
геодезическом
фонде
задачей
о
(ФКГФ)
которого
наличии
цифровых
в
является
информирование
Федеральном
карт
картографо-
различных
масштабов,
предоставление информации об их качестве и способе приобретения.
На интернет-сайте публикуются метаданные на каждый номенклатурный
лист цифровой топографической карты открытого пользования, помещенной в
ФКГФ. В соответствии с методикой, описанной в главе 3, для удобства работы с
базой метаданных используется цифровая векторная карта (рис.14) Российской
Федерации масштаба 1:1 000 000 .
В соответствии с разработанными в главе 3 алгоритмами, для удобства
пользования сайтом, запросы к базе метаданных сгруппированы по типам и
отнесены к различным интерфейсным компонентам интернет-сайта.
Разработанный интернет-сайт базы метаданных доступен по адресу
http://maps.ggc.ru в сети интернет.
20
Рис.14. Фрагмент бланковой карты на интернет-сайте базы метаданных.
В целях анализа эффективности разработанных алгоритмов, методик,
структур данных, было проведено нагрузочное тестирование интернет-сайта
базы метаданных с целью наблюдения за показателями производительности
системы при определенной нагрузке. Результаты тестирования отражают:
количество просмотров (запросов к базе метаданных), количество уникальных
посетителей сайта и время, потраченное посетителями сайта на работу с базой
метаданных.
Рис.15. Количество просмотров
21
Анализ результатов тестирования (рис.15) показывает, что в среднем
количество просмотров (запросов) в минуту за
период тестирования,
равно 400, при этом нагрузка не процессор системы составляла не
более 15 %. За время тестирования не было зафиксировано ни одного отказа и
существенных задержек в работе базы метаданных не наблюдалось.
Практическая реализация алгоритмов и методик формирования, ведения и
публикации базы метаданных, разработанных в Главе 3, показала их
работоспособность, а также позволила:

автоматизировать
и
унифицировать процессы сбора метаданных
цифровых топографических карт ФКГФ,

повысить эффективность централизованного формирования и ведения
базы метаданных цифровых карт ФКГФ,

выполнить
информацию
публикацию
до
метаданных
потенциальных
в
сети
интернет,
потребителей
доведя
цифровой
картографической продукции.
Заключение.
В диссертационной работе выполнен анализ и обзор основных проблем
создания и использования метаданных пространственных данных в Российской
Федерации, определены сферы применения метаданных, указана и обоснована
необходимость
их
использования
в
целях
создания
Государственных
информационных ресурсов и формирования инфраструктуры пространственных
данных.
На основе анализа имеющейся международной практики,
выполнено
концептуальное и логическое проектирование, результатом которого является
структура базы метаданных.
22
Предложены и проработаны с точки зрения формализации и оптимизации
алгоритмы и организационно-функциональные схемы создания и наполнения
баз метаданных.
Разработанная
методология
формирования
баз
пространственных
метаданных представляет собой совокупность алгоритмов, структур данных, и
сценариев их совместного использования в целях решения задач сбора,
накопления и публикации пространственных метаданных.
Результаты
показывают
ее
использовании
практического
внедрения
работоспособность,
в
работах
по
разработанной
эффективность
созданию
и
и
методологии
основаны
обновлению
на
ее
цифровых
топографических карт различного вида в рамках реализации ФЦП «ГЛОНАСС»
в 2009 – 2011 г.
Список опубликованных работ по теме диссертации:
1. Плешков В.Г., Ребрий А.В., Степанова Я.В. «Национальные атласы
зарубежных стран». // Геодезия и картография. 2004. № 11.
2. Плешков В.Г., Ребрий А.В., Степанова Я.В. «О концепции создания
электронной
версии
Национального
атласа
России».
// Геодезия и картография. 2004. № 12.
3. Плешков
В.Г.,
Ребрий
А.В.,
Степанова
Я.В.
«Инфраструктура
пространственных данных – архитектура, ориентированная на сервисы».
// Геодезия и картография. 2005. № 5.
4. Плешков В.Г., Ребрий А.В. «Роль международных стандартов в создании
инфраструктуры пространственных данных». // Тез. докл. Международный
конгресс «Великие реки 2004» 18-21 мая 2004г. Нижний Новгород 2004.
5. Плешков В.Г., Ребрий А.В. «Электронная версия Национального атласа
России как фундаментальное картографическое произведение».// Тез. докл.
Международный
конгресс
«Великие
Нижний Новгород 2005.
23
реки
2005»
17-20
мая
2005г.
6. Плешков В.Г., Ребрий А.В. «О создании цифровой картографической
продукции для систем навигации». // Геодезия и картография. 2006. № 4.
7. Плешков В.Г., Ребрий А.В. «О создании геоинформационной системы
органов государственной власти Республики Татарстан».
// Геодезия и картография. 2006. № 7.
8. Ребрий А.В. «О создании цифровой картографической продукции для
решения задач навигации и диспетчеризации». // Автоматизированные
технологии изысканий и проектирования. № 1 (28) 2008 г.
9. Ребрий А.В. «О новой технологии формирования базы метаданных
Федерального картографо-геодезического фонда»
// Геодезия и картография. 2008. № 5.
10. Ребрий А.В. «О создании и развитии отраслевого картографического
портала».// Геодезия и картография. 2009 . №4.
11. Ребрий А.В. «О ходе работ по созданию интернет-портала Федерального
картографо-геодезического фонда». // Тез. докл. Международный конгресс
«Великие реки 2009» Нижний Новгород 2009.
12. Плешков В.Г., Ребрий А.В. «Разработка картографического Интернетпортала Федерального картографо-геодезического фонда». // Геопрофи № 4,
2009 г.
13. Плешков В.Г., Ребрий А.В. «Создание и развитие картографического портала
Федерального картографо-геодезического фонда». // Пространственные
данные № 3, 2009 г.
24