Дипломная работа «Разработка методов сбора и анализа статистики

Дипломная работа
«Разработка методов сбора и анализа статистики
по потоку прохождения задач в распределенных и
многопроцессорных системах»
Выполнена
Булочниковой Н.М.
Научные руководители:
доцент Попова Н.Н.,
н.с. Сальников А.Н.
Актуальность работы


Интенсивное развитие и широкое применение
многопроцессорных систем;
Необходимость разработки новых методов и средств
для анализа и повышения эффективности
использования ресурсов вычислительных систем.
Обзор области исследований




Системы управления потоком задач
 LoadLeveler, Open PBS, Sun Grid Engine, Condor
Системы анализа и повышения эффективности
пользовательских приложений
 VTUNE, Pablo, Xprofiler
Средства мониторинга состояния вычислительной
системы
 Ganglia, Big Brother
Система визуального анализа многопараметрических
рядов
 VidaExpert
Цель и постановка задачи дипломной работы
Цель дипломной работы

Разработка средств для
поддержки
визуального анализа
прохождения потока
задач в
вычислительной
системе.




Задача дипломной работы
включает в себя:
Определение параметров для
сбора статистики;
Разработка схемы БД для
хранения статистики;
Разработка и реализация
методов визуального анализа
прохождения потока задач
Разработка и реализация
методов визуального анализа
эффективности использования
вычислительных ресурсов;
Архитектура системы анализа прохождения
потока задач

М[1]
M[2]
Сервер
ВУ[1]
ВУ[2]

ВУ[n]
M[n]
База
данных

M[1]
M[2]
Клиент
M[n]
База данных для
хранения статистики и
необходимых данных;
Сервер отвечает за
работы с
вычислительными
системами;
Клиент предоставляет
методы и средства
визуального анализа
потока задач.
Основные элементы базы данных






Описание пользователей и групп пользователей;
Описание вычислителей;
Описание очередей на вычислителе;
Статистика по загруженности сетевых интерфейсов и
процессоров;
Статистика по потоку заданий
Результаты тестирования процессоров и сетевых
интерфейсов.
Схема базы данных
Описание основных задач клиентской части
системы
Загруженность
сетевого
интерфейса
Производител
ьность
процессоров
Проведение
нового
теста
Загруженность
процессоров
Загруженность
сетевого
интерфейса
Тестирование
Статистика
Анализ
эффективности
использования
вычислительных
ресурсов.
Клиент
Дополнительные
возможности
Главная
Запрос
прогноза
для задачи
Запрос анализа
эффективности
распараллеливания
задачи
Загрузка
результатов
тестов из файла
Статистика
по задачам
пользователей
Установка
соединения
с БД
Выбор
целевой ВС
Описание программной реализации.
Пакетная организация.




cmTool - координирует и связывает работу всех пакетов;
Common - содержит наиболее часто используемые классы
(соединение с БД, отображение статистики);
Statistics – классы, обрабатывающие статистику по потоку задач;
Testing – классы визуализации данных о сетевых интерфейсах и
процессорах
Описание программной реализации.
Система классов.



MainFrame –содержит в себе chart (диаграмму), в который затем
передается информация для визуализации.
OperationHandler – класс-обработчик событий.
FrameAttributes –хранит параметры фрейма. Работа с ним вынесена
в класс cxFrameAttributesFactory, который находится в пакете
Common.
Разработанные методики и алгоритмы
визуального анализа





Анализ загруженность процессоров ВС
Анализ загруженность сетевых интерфейсов ВС
Анализ ресурсных запросов пользователей
Определение процессоров, захваченных задачей
Анализ эффективности использования
вычислительных ресурсов.
Визуализация загруженности сетевого
интерфейса
Пропускная
способность
канала
между
парой
процессоров
Наиболее
загруженный
сетевой
интерфейс
Визуализация загруженности процессоров
max, min,
средняя
загруженность
за выбранный
период
Загруженность по
конкретному
процессору за весь
указанный период
Анализ потока прохождения задач
Описание
задач
пользователей
Поток задач
Эффективность
задач
Использование вычислительных ресурсов
Загруженность
процессоров
Кол-во
задач
Применение разработанных методов для
анализа потока задач на вычислительном
комплексе IBM IServer Regatta PSeries 690




Выборочная статистика.
Ноябрь 2004
2600 задач
На рисунке распределение задач
по из владельцам и числу
запрошенных процессоров
Анализ эффективности ресурсных запросов
пользователей




По оси Х – время
По оси Y –
пользователи
Каждый кружок –
задача
Чем «горячее» тем хуже.
Анализ эффективности использования
ресурсов конкретной задачей пользователя
Имя задачи
Regatta.49447
Время начала
выполнения
задачи
11:09:06
24.11.2004
Время окончания
выполнения
задачи
11:39:07
24.11.2004
Число процессоров
8
Запрашиваемое
время
(микросекунды)
1800
Коэффициент
эффективности
0,902
Программно установлено 6 из 8 процессоров.
Задача выполнялась на процессорах 3,7,9,11,13,16.
3 процессор – «координатор»
Анализ эффективности использования
ресурсов конкретной задачей пользователя
Простой 3х
процессоров
Результаты проведенной работы






Выполнен обзор систем управления заданиями, систем
профилирования и оптимизации задач, методов планирования
вычислений;
Определена схема базы данных для хранения статистики и других
необходимых данных системы анализа и оптимизации потока
прохождения задач;
Определены и реализованы методики визуального анализа
процессов прохождения потока заданий
Предложены алгоритмы визуального анализа эффективности
использования вычислительных ресурсов
Предложены алгоритмы для определения процессоров, на
которых выполнялась задача пользователя
Выполнены исследования эффективности использования
ресурсов вычислительного комплекса Regatta IBM pSeries 690 на
примере некоторых задач.