Инструкция по использованию часть 2

1 Tasks – планировщик заданий
Планировщик задач позволяет создавать задания на загрузку и экспорт данных.
Планировщик загрузки данных
Вызвать планировщик задач можно из расширенной формы хранилища данных.
Планировщик загрузки данных вызывается кнопкой «Schedule Ingest».
Открывается окно планировщика загрузки данных. Вид окна и возможности настройки
планировщика могут отличаться в зависимости от версии Repox, установленной на
вашем компьютере. Мы рассмотрим планировщик задач для REPOX Version 1.6.2. Также
возможности планировщика зависят от ID Policy выбранной при создании хранилища.
Если при создании хранилища выбрано ID Extracted, то планировщик позволяет выбрать
способ загрузки Incremental Ingest – частичная загрузка, т.е. загружаются только новые
записи, или Full Ingest – полная загрузка, т.е. загружаются все записи. Если при создании
хранилища выбрано ID Generated, то возможна только полная загрузка и кнопки
и
на форме отсутствуют:
В окне планировщика мы задаем расписание, по которому программа должна
осуществить загрузку данных, вводим дату, когда должна осуществиться первая загрузка
и время загрузки. Возможны следующие варианты загрузки:
Once - одна загрузка в определенный день и указанное время;
Daily – ежедневная загрузка в указанное время;
Weekly – еженедельная загрузка в день недели, который соответствует дате, указанной в
поле First Run, и в указанное время.
Every 1-12 Months – каждые 1-12 месяцев, т.е. загрузка будет происходить в число,
указанное в поле First Run через указанное количество месяцев и в указанное время.
Выбираем тип загрузки, частичный – Incremental Ingest или полный – Full Ingest, и
нажимаем кнопку
:
В результате в окне хранилища данных в поле Scheduled Tasks появляется созданное
задание на загрузку данных, которое можно удалить при помощи кнопки «Delete»:
В данном случае загрузка данных будет осуществляться ежедневно в 14.00. Первая
загрузка будет 21.01.2011 г.
Если после выполнения очередной загрузки, в хранилище данных будет показано 0
записей вместо ожидаемого количества, нажмите кнопку обновить
форме хранилища) или кнопку
Provider’y.
(на расширенной
для обновления всех данных по данному Data
Планировщик экспорта данных
Программа REPOX позволяет экспортировать загруженные данные в XML-файл. При
помощи планировщика задач можно создать расписание на экспорт данных.
Планировщик экспорта данных вызывается кнопкой «Schedule Export» из расширенной
формы хранилища данных.
Открывается окно планировщика экспорта данных.
Форма планировщика экспортирования данных аналогична форме планировщика
загрузки данных. Отличие состоит только в том, что нужно ввести путь к папке, в которую
будут экспортированы данные, и задать количество записей, экспортируемых в один
файл, возможны варианты – по 1, 10, 100, 250, 1000 записей в файл или все записи в
один файл. Т.о, если мы выбираем по1-ой записи в файл, то будет создано количество
XML-файлов соответствующее количеству загруженных записей, далее выбираем
расписание экспорта данных и нажимаем кнопку «Schedule Export»:
В результате на форме хранилища появится задание на экспорт данных, которое можно
удалить при помощи кнопки «Delete»:
Для хранилища данных может быть создано несколько заданий на загрузки и экспорт
данных.
Все задания планировщика задач можно посмотреть в разделе Tasks, перейти в который
можно при помощи соответствующей кнопки, расположенной в меню программы:
Открывается Scheduled (Calendar) на котором мы видим все задания на текущий месяц с
указанием имени хранилища, для которого создано данное задание, времени его
выполнения. Буквы, выделенные желтым цветом, означают режим – D ежедневно, W
еженедельно и т.д. При помощи кнопок
или следующий месяц:
и
можно перемещаться на предыдущий
Щелкнув по какому-либо заданию можно перейти к его детальной форме и
отредактировать задание или удалить его.
На вкладке Schedule (List) можно просмотреть результат выполнения заданий. True –
задание выполнено успешно, False – задание не выполнено.
На вкладке Running можно посмотреть задания, выполняемые в данный момент:
2 Статистика
Перейти в раздел Статистика можно при помощи кнопки «Statistics», расположенной в
меню программы:
Раздел содержит статистические данные о работе системы. О количестве Data
Provider’ов созданных в системе, о количестве и типе хранилищ данных, формате данных
и записях загруженных в систему:
3 Schema Mapper
В REPOX существует несколько схем трансформации различных форматов в OAI_dc или
TEL формат, которые мы используем при создании хранилищ данных, заполняя поле
Transformation. Если ни одна из существующих схем не соответствует Вашим
требованиям, то Вы можете создать новую схему трансформации или отредактировать
существующую. Файлы, содержащие таблицы соответствия для трансформации
форматов, хранятся в REPOX. Размещение папки зависит от версии программы. В нашем
случае это папка C:\Program Files\repox\repoxdata\configuration\xslt.
Для создания новых схем трансформации или редактирования имеющихся нужно
перейти в раздел Schema Mapper при помощи кнопки «Schema Mapper», расположенной
в меню программы:
На открывшейся странице представлены три способа создания/редактирования схем
трансформации:
Map Schema Visually from Sample - Создание схемы по образцу.
Для загрузки образца нажимаем кнопку «Обзор»:
В открывшемся окне выбираем папку, где хранится нужный образец:
Выбираем файл-образец (файл-xml) и нажимаем кнопку «Открыть»:
Нажимаем кнопку «Upload»:
Открывается шаблон - пустая схема. В левой части схемы находятся поля форматов OAIDC/TEL, в правой части - поля преобразуемого формата.
При помощи кнопок
можно переключать режим просмотра полей
преобразуемого формата. По умолчанию открывается режим Show Xpath. При
наведении мыши к кнопке
мы увидим Tag name этого поля:
И наоборот, переключившись в режим просмотра Tag names и наведя мышь на кнопку:
, мы увидим Xpath данного поля:
При помощи кнопки
можно удалить тег или группу тегов.
Начинаем создавать необходимые связи между полями разных форматов, для этого
выбираем поле в правой части, щелкаем по нему мышью и, не отпуская мышь, тянем
линию к полю в левой части, в которое будет трансформироваться содержимое
выбранного поля:
Для удаления созданной связи нужно навести мышь на начало или конец удаляемой
связи, в результате на линии появятся ножницы.
Щелкаем мышью по ножницам, в результате чего выбранная связь удаляется:
Можно создавать новые теги в преобразуемом формате. Для этого нужно нажать кнопку
, заполнить поля формы и нажать кнопку
:
Также возможно создание групп тегов (например, связать в группу фамилию, имя и
отчество автора). Для создания группы тегов нужно выделить поля, которые планируется
объединить в группу и нажать кнопку
Заполнить поля формы и нажать кнопку «Save»:
:
Создана группа тегов:
После создания всех необходимых связей, нажимаем кнопку «Submit»:
Внизу открывшегося окна видим исходный xml-шаблон, созданный XSLT файл
преобразования и результат применения XSLT к XML, если результат является
удовлетворительным, заполняем поля Identifier и Description. Поля Source Format и
Destination Format заполняются автоматически в соответствии с выбранным шаблоном.
Нажимаем кнопку «Save»:
Получаем сообщение о том, что схема была успешно создана и может быть применена к
хранилищам данных:
Теперь при заполнении поля Transformation на формах создания/редактирования
хранилищ данных будет доступна созданная схема:
Submit Transformation
Создание XSLT схемы трансформации.
На форме заполняем поля:
 Identifier – идентификатор файла трансформации
 Description – описание файла трансформации
 Source Format – преобразуемый формат (из какого формата преобразуем)
 Destination Format – формат назначения (в какой формат преобразуем)
 Transformation File (XSL) – загружаем готовый файл трансформации.
Нажимаем кнопку «Save»:
Получаем сообщение об успешном создании схемы трансформации:
Теперь при заполнении поля Transformation на формах создания/редактирования
хранилищ данных будет доступна созданная схема:
View Schema Map Transformation
На данной вкладке можно осуществить просмотр имеющихся схем трансформации,
удалить их или отредактировать в соответствии с вашими потребностями. Выбираем
схему трансформации из выпадающего меню:
Открывается следующая форма:
Для того чтобы удалить выбранную схему, нажимаем кнопку
намерение удалить запись.
и подтверждаем свое
Для того чтобы отредактировать выбранную схему, нажимаем кнопку
:
В открывшемся окне редактируем схему в соответствии со своими потребностями и
нажимаем кнопку «Submit»:
Внизу открывшегося окна видим результат редактирования, если он удовлетворителен,
то приступаем к заполнению полей верхней части формы. Поле Identifer недоступно для
редактирования, т.к. в данном случае мы не создаем новую схему, а редактируем
имеющуюся. Остальные поля можно редактировать. После внесения всех необходимых
изменений нажимаем кнопку «Save» и видим сообщение об успешном создании схемы
трансформации:
Для просмотра выбранной схемы трансформации нажимаем кнопку «Download»:
Мы может открыть файл или сохранить его:
Просмотр файла:
Также создать новую схему трансформации, можно используя уже существующее
хранилище данных, в которое были загружены данные. Для этого нужно перейти в режим
редактирования данного хранилища при помощи кнопки
и нажать кнопку "Create From
Records", находящуюся на одной линии с полем Transformation:
В результате открывается шаблон схемы трансформации:
Далее процесс создания схемы трансформации аналогичен процессу, описанному выше,
в разделе Map Schema Visually from Sample.
4 Раздел OAI-PMH Testing
Раздел OAI-PMH Testing позволяет получить информацию о созданных Data Provider’ах,
хранилищах данных, проверить загруженные данные.
Перейти в данный раздел можно при помощи кнопки «OAI-PMH Tests», расположенной в
меню программы:
Открывается страница раздела OAI-PMH Testing. Страница содержит два окна – слева,
окно для ввода параметров запросов, справа – окно вывода результатов на запрос.
Identify
Раздел, содержит информацию о REPOX Repository. Он открывается при переходе в
раздел OAI-PMH Testing.
Параметры:
одно обязательное поле Server URL – URL адрес сервера REPOX репозитария http://localhost:8085/repox/OAIHandler (оно заполняется автоматически):
ListMetadataFormats
Раздел содержит информацию о форматах, в которых находятся данные, загруженные в
данный репозитарий.
Параметры:
одно обязательное поле Server URL.
Вводим параметры запроса и нажимаем кнопку «ListMetadataFormats». В правом окне
получаем результат выполнения заданного запроса:
ListSets
Раздел содержит информацию о хранилищах данных, существующих в данном
репозитарии.
Параметры:
одно обязательное поле Server URL.
Вводим параметры запроса и нажимаем кнопку «ListSets». В правом окне получаем
результат выполнения заданного запроса:
ListIdentifiers
Раздел позволяет просмотреть идентификаторы записей, загруженные в выбранное
хранилище данных (сет).
Параметры:
3 обязательных поля
1. Server URL
2. metadataRrefix – формат данных, можно заполнить вручную или скопировать из
раздела ListMetadataFormats.
3. Set - название хранилища данных (сета) можно ввести в поле вручную (если Вы
знаете его) или скопировать его из раздела ListSets.
Вводим параметры запроса и нажимаем кнопку «ListIdentifiers». В правом окне
получаем результат выполнения заданного запроса:
ListRecords
Раздел позволяет просмотреть записи (полные, а не только идентификаторы, как в
предыдущем разделе), загруженные в выбранное хранилище данных (сет).
Параметры:
3 обязательных поля
1. Server URL
2. metadataRrefix – формат данных, можно заполнить вручную или скопировать из
раздела ListMetadataFormats.
3. Set - название хранилища данных (сета) можно ввести в поле вручную (если Вы
знаете его) или скопировать его из раздела ListSets.
Вводим параметры запроса и нажимаем кнопку «ListRecords». В правом окне получаем
результат выполнения заданного запроса:
GetRecord
Раздел позволяет просмотреть конкретную запись.
Параметры:
3 обязательных поля
1. Server URL
2. metadataRrefix – формат данных, можно заполнить вручную или скопировать из
раздела ListMetadataFormats.
3. Identifier – ID записи, которую мы хотим получить. Значение ID можно ввести в
поле вручную (если Вы знаете его) или скопировать его из раздела ListIdentifiers:
.
Вводим параметры запроса и нажимаем кнопку «GetRecord». В правом окне получаем
результат выполнения заданного запроса: