Учет сетевого трафика - Институт космических исследований РАН

Доклад на семинаре:
«Механика, управление и информатика»
Учет сетевого трафика:
предпосылки, проблемы,
решения.
Коноплев В.В., Назиров Р.Р.
Институт Космических Исследований РАН
Таруса, апрель 2001
Освещаемые вопросы
Актуальность и проблемы учета трафика.
Организация системы учета трафика:



Архитектура
Стандартные решения
Технологические находки
Демонстрация на примере узла RMIX - ИКИ
Для чего нужен учет
сетевого трафика
Эффективность политики маршрутизации
Корректность работы сети
Вопросы целевого использования
Вопросы безопасности
Вопросы взаиморасчетов
Ссылки на работы в области
исследования сетевого трафика
RTFM Group
http://www.auckland.ac.nz/net/Internet/rtfm/
NeTraMet system
Cisco NetFlow Technology
www.cisco.com
NetFlow accounting
LBN Laboratory
http://www-nrg.ee.lbl.gov/
bpf flter
CAIDA
www.caida.org
Intenet Monitoring Tools
Что может представлять
интерес ?
Локализация объектов взаимодействия
Внутренние потоки
Канальная статистика
Внешняя статистика
remote
 Привязка к регионам
remote
Neighbor 1
Neighbor 2
Local AS
 Привязка к сервисам
 Привязка к клиентскому
и серверному трафику
Проблемы учета трафика
Как собирать
статистику?
Степень
детализации
статистики?
Время хранения
статистики ?
Интерфейс для
доступа к
статистике?
Суточный объем информации
(на примере сети RSSI)
Количество сетей
Объем трафика
Количество
удаленных хостов
Количество
учетных записей
~ 15
10 Гбайт
150 тысяч
1,5 Миллиона
Архитектура системы учета
(RFC 1272)
meter1
meter2
Analising aplication
Измеритель
collector
meter3
Коллектор
Анализирующее приложение
Возможные реализации
измерителя
Резидентно на маршрутизаторе: обработка
транзитного трафика
Реализуется как функция операционной системы маршрутизатора
производителем оборудования.
Примеры: «NetFlow», «Cisco Ip Accounting».
На мониторинговой станции: пассивный
анализ пакетных заголовков
Реализуется как приложение, анализирующее перехваченные пакетные
заголовки сетевого интерфейса.
Примеры: «Snoop», «Tcpdump», «NeTraMet».
Сравнительный анализ
реализаций измерителя
Преимущества
Недостатки
NetFlow
NeTraMet
 Легкость реализации
 Информация
 Широкий диапазон
охвата
 Масштабируемость
 Стандарт де факто
канального уровня
 Гибкое агрегирование
 Масштабируемость
 Стандартизация (RFC)
 Низкая надежность
 Высокие вычислительные
транспортной базы
 Низкая безопасность
затраты
 Низкая эффективность
транспортной базы
Коллектор:
проблема двойного учета
Mesurement
Domain
source
meter 3
meter 1
meter 2
destination
collector
meter1
meter3
--source
destination
--packets
bytes
Подсистема хранения
 Произвольный
доступ
 Простота
summary
Date DATE
Local INT
Attributes TEXT(50)
Bytes INT
Packets INT
detail
Date DATE
Local INT
Remote INT
реализации
 Приемлемое
время доступа
Attributes TEXT(50)
Bytes INT
Packets INT
350
300
250
200
 Приемлемый
объем данных
Кол-во
записей
(тыс)
150
100
50
0
32
24
16
8
Решения по оптимизации
хранения
Двунаправленные
потоки
80
70
Позволяют в 2 раза сократить 60
50
число записей
40
Стратегия удаления
детализации
30
20
10
0
Чем больше объем трафика
в записи, тем дольше она
находится в базе
10K
1M
Статистика
>10M
Трафик
Подсистема доступа:
реализация произвольного поиска
Иерархия адресных об объектов
блок -> локальный адрес -> удаленный адрес
Классификатор
позволяет получать статистику по различным атрибутам
трафика: региону, датам, типам сервиса и адресным
объектам нижнего уровня.
Фильтр
Позволяет ограничивать статистику по требуемым
атрибутам трафика
Организации, подключенные к
RSSI через RMIX
Организации, подключенные к RSSI через RMIX.
RSSI
Cs NAUKA
Cs IPU
Cs IKI
Узел ИКИ
Cs CEMI
Catalyst
Узел ИБХ
Узел ЦЭМИ
FDDI
Catalyst
Catalyst
Catalyst
Узел НИИ ФХМ
Cs SIO
Cs SCSML
Cs MITXT
Cs PFU
Однодневная статистика узла IKI-RMIX
по сетевым блокам
Однодневная статистика узла IKI-RMIX
по сервисам
Локализация источника трафика
Оценки производительности
Конфигурация системы
1.
2.
3.
4.
Компьютер Celeron 450 Mh / 256Mb / 18Gb
Диск Ultra whide SCSI
OS Linux
СУБД MySQL
Загрузка процессора при обработке пакетных
заголовков – 30 – 50 %
Объем базы данных ~ 2 Gb.
Среднне время выборки для сети кл. «С»
1.
2.
За один день – 3 сек
За один месяц – 20 сек