Реализация режима адаптивного агрегирования

Ntmtools: инструментальный
набор для эффективного сбора
данных сетевого трафика
Коноплев В.В.,
Захаров Д.Ю.,
Боярский М.Н.,
Назиров Р.Р.
Работа поддержана грантом РФФИ №02-07-90390
MCO
2003
"Ntmtools: инструментальный набор для
эффективного сбора данных сетевого трафика"
Возможные подходы к сбору данных
сетевого трафика
Целевой сбор
данных
Единичная
оптимизация маршрутов
Анализ повторяющихся
сбоев
Математические
модели сетей
Сбор данных в
фоновом режиме
Оперативный и
опосредованный анализ
сбоев и аномалий
Долгосрочное сетевое
планирование
Биллинг и
статистика
MCO
2003
"Ntmtools: инструментальный набор для
эффективного сбора данных сетевого трафика"
Классический метод
сбора данных «по потокам»
Пакетный заголовок
Значимые атрибуты,
формируют ключ
(K) записи.
Source IP
Destination IP
…
Пакет
Length (Bytes)
K1 Li
t1
K1 t1
K2 Lk
t2
t5
K1 Li
t3
Bytes = SUM(Li)
K2 Lk
t4
K2 t2
K1 Li
t5
t4
Время
Bytes = SUM(Lk)
MCO
2003
"Ntmtools: инструментальный набор для
эффективного сбора данных сетевого трафика"
Сбор данных в фоновом режиме:
постановка задачи
Проблемы
 Широкий круг задач  высокая детализация 
 большие объемы собираемых данных
 Сбор данных с нескольких, возможно
разнородных, источников:


Проблема интеграции данных.
Проблема идентификации уникальных потов.
Требования
 Масштабируемость.
 Универсальный формат собранных данных.
 Высокая информативность данных.
MCO
2003
"Ntmtools: инструментальный набор для
эффективного сбора данных сетевого трафика"
Архитектура системы
Коллектор
Хранилищие
данные
Универсальный
Специальный
формат данных
потоки
Кластеризация
и Вторичное
выделение
уникальных
агрегирование
потоков
Внутренний
измеритель
Параметры
Модель
кластеризации
данных
Локальные
интерфейсы
Внешние
измерители
MCO
2003
"Ntmtools: инструментальный набор для
эффективного сбора данных сетевого трафика"
Кластеризация данных:
метод адаптивного агрегирования
Основная задача адаптивного агрегирования состоит в
том, чтобы зафиксировать активные сетевые взаимодействия
с высокой степенью детализации.
MCO
2003
"Ntmtools: инструментальный набор для
эффективного сбора данных сетевого трафика"
Адаптивное агрегирование данных
Уровни
Дерево сетевых объектов
Корень дерева
1.
AS
AS3218
2. IP Блоки
(маршруты)
3.
IP Адреса
194.85.192/19
AS5568
193.232.0.0/19
195.209.0.0/19
193.232.0.1
195.209.0.1
194.226.68.0
Уровни иерархии могут задаваться достаточно
произвольно, как набор значимых (возможно частично
замаскированных) атрибутов, составляющих запись.
MCO
2003
"Ntmtools: инструментальный набор для
эффективного сбора данных сетевого трафика"
Результаты работы адаптивного
агрегирования
4.5
Средний уровень детализации
4.0
Уровень детализации по адресам
3.5
3.0
Маршуты
2.5
Конечные AS
2.0
1.5
1.0
0.5
0.1
Соседние AS
1.0
10.0
Количество записей (тысяч).
Асимметричная адаптивная схема
Симметричная адаптивная схема
Обычное агрегирование
Прореженное агрегирование
100.0
1000.0
MCO
2003
"Ntmtools: инструментальный набор для
эффективного сбора данных сетевого трафика"
Приложения набора ntmtools
• Ntmd - Универсальный демон сбора данных
(на базе пакета NetTraMet 4.3).
1. Возможность автономной работы.
2. Интегрированный сбора данных в формате
NetFlow и пакетных заголовгов локальных
интерфейсов.
3. Реализация режима адаптивного агрегирования.
4. Выделение уникальных потоков (планируется).
• Ntmsniffer – Внешний измеритель, для
сбора данных с интерфейсов серверов
и рабочих станций.
http://camelot.iki.rssi.ru/RFFI-02-07-90390/