ВОПРОСЫ ОБЕСПЕЧЕНИЯ «КАЧЕСТВА ОБСЛУЖИВАНИЯ» ОПОРНОЙ ИНФРАСТРУКТУРЫ НАУЧНО-ОБРАЗОВАТЕЛЬНОЙ СЕТИ

ВОПРОСЫ ОБЕСПЕЧЕНИЯ «КАЧЕСТВА ОБСЛУЖИВАНИЯ»
ОПОРНОЙ ИНФРАСТРУКТУРЫ НАУЧНО-ОБРАЗОВАТЕЛЬНОЙ СЕТИ
Гугель Юрий Викторович (gugel@runnet.ru), Ижванов Юрий Львович
(yli@informika.ru)
Федеральное государственное учреждение "Государственный научноисследовательский институт информационных технологий и телекоммуникаций"
(ФГУ ГНИИ ИТТ "Информика"), г. Москва
Работа посвящена вопросам, связанным с обеспечением заданного уровня
качества сервиса (QoS) при передаче информации в федеральной
компьютерной сети науки и образования RUNNet. Поддержка различных
критических к характеристикам сети услуг требует выполнения
определенных гарантий качества QoS, определяемых в соглашении о
качестве обслуживания SLA (Service Level Agreement). Рассматриваются
основные характеристики QoS и дается сравнительный анализ методов их
обеспечения. Обсуждаются ограничения при реализации отдельных
параметров QoS в территориально распределенных Ethernet-сетях.
Приводятся характеристики SLA сети RUNNet и описываются особенности
реализации QoS с помощью различных алгоритмов.
В настоящее время одним из самых актуальных вопросов
эффективного использования телекоммуникационной инфраструктуры
науки и образования в России, одна из составляющих которой - сеть
RUNNet, является организация связности по высокоскоростным каналам
связи с применением новых технологий построения базовых
транспортных
сетей
и
IP-сетей.
Наиболее
интересными
и
развивающимися в данной области являются технологии IPv6, групповое
вещание (multicast), а также VPN (виртуальные частные сети) с
заданными параметрами качества обслуживания (QoS), позволяющие
существенно повысить эффективность использования транспортной
инфраструктуры и уровень сервиса, организацию защиты сетей, а также
осуществлять мониторинг для выработки рекомендаций по оптимизации
сетей.
Инфраструктура доступа представляет собой совокупность каналов
и оборудования, используемых вузами для обеспечения доступа к
опорным узлам сети RUNNet. Доступные скорости передачи,
использующие различные технологии организации каналов связи между
узлами современной сети, варьируются в диапазоне от 2 Мбит/с до 10
Гбит/с. Для примера, магистральная часть сети RUNNet использует
каналы по технологии Ethernet 1 ГБит/c и 10 ГБит/c. Вузы и научные
учреждения в городах опорной инфраструктуры, имеют, как правило,
подключения к опорным узлам на скоростях 100 МБит/с и 1 ГБит/c. В
тоже время есть пользователи которые подключены к опорной сети
синхронными каналами E1 со скоростью передачи данных 2 Мбит/с.
Поддержка различных критических к характеристикам сети услуг
требует выполнения определенных гарантий качества, определяемых в
так называемом соглашении о качестве обслуживания SLA (Service Level
Agreement). Если арендованные каналы полностью изолированы и
обеспечивают гарантированные характеристики сети (в части полосы
пропускания, задержек, сокращения джиттера, потери пакетов и пр), то в
VPN должны быть предусмотрены соответствующие механизмы для
реализации подобных гарантий качества услуг, определенных в SLA. И
здесь возникает проблема конфликта требований различных VPN к
общим разделяемым сетевым ресурсам. В условиях современных
технологий необходимо решить эту проблему так, чтобы с одной
стороны, обеспечить максимальную загрузку сети и получить
максимальных сетевой доход, а с другой – предоставить услуги
пользователям с гарантированным качеством и с минимально
возможной стоимостью.
Потребности пользователей научно-образовательных сетей во всем
мире растут опережающими темпами по отношению к возможностям
канальных операторов, ориентированных в основном на потребности
«среднестатистического» пользователя. Обеспечение эффективного и
качественного
доступа
к
современным
информационным
образовательным ресурсам, современные формы дистанционного
обучения, управления сферой образования, передача больших объемов
данных,
получаемых
в
результате
научных
экспериментов,
распределенная обработка научной информации, коллективный доступ к
уникальному оборудованию, работа виртуальных научных лабораторий,
обмен опытом и результатами научных исследований на базе
мультимедиа технологий, требуют расширения масштабов сетевого
взаимодействия учреждений науки, высшего профессионального
образования,
что
подразумевает
использование
современных
технологий.
Максимальный эффект от IP-сети не может быть получен без
рационального использования всех сетевых ресурсов, в первую очередь
маршрутизаторов и каналов связи. Функционирование пакетной сети
можно считать эффективным, когда каждый ресурс загружен, но не
перегружен. Это значит, что коэффициент использования ресурса
должен приближаться к единице, но не настолько, чтобы очереди
пакетов к нему были бы постоянно большими, приводя к задержкам и
потерям из-за переполнения внутренних буферов в маршрутизаторах.
Проблема управления сетью IP состоит в достижении двух целей.
Во-первых, необходимо стремиться к улучшению качества обслуживания
передаваемого трафика, т.е. к снижению задержек, уменьшению потерь
и увеличение интенсивности потоков трафика Во-вторых, загрузка всех
ресурсов сети должна быть максимально возможной для повышения
объемов передаваемого трафика.
Для эффективной работы высокоскоростная сеть должна быть
правильно спроектирована и реализована. Выбор возможных вариантов
для реализации инфраструктуры сети в соответствии с требованиями
очень широк. Однако увеличение числа возможных вариантов приводит
и к умножению потенциальных проблем, с которыми можно столкнуться
при реализации новых конфигураций. Возникновение проблем особенно
вероятно, если не анализируется имеющаяся и предполагаемая
инфраструктуры, включая характеристики и требования к топологии
планируемой сети.
Современные
высокоскоростные
сети
проектируются
с
использованием технологии Ethernet на магистральной части сети и на
«последних милях» к пользователю. Технология очень простая и
дешевая в использовании. Но на этапе эксплуатации она имеет много
отрицательных особенностей, которые не лежат на поверхности.
Например, для каналов связи между узлами сети, сложно
организованных с использованием данной технологии, мониторинг
состояния сети даже на уровне «работает не работает» в общем случае
оказывается непростой задачей. И установить факт корректной работы
канала связи можно только косвенными методами.
С другой стороны данная технология была разработана для
построения локальных сетей и использование ее для территориально
распределенных сетей весьма неэффективно с точки зрения
эффективности использования полосы канала. С точки зрения
производительности сети проблемы с кадрами могут быть связаны
прежде всего с расширением несущей в Gigabit Ethernet и с длиной
кадров. Расширение несущей в Gigabit Ethernet, в соответствии с
которым минимальная длина кадра увеличена до 512 байт, снижает
реальную общую пропускную способность. Средний размер IP-пакета в
сети Internet составляет меньше чем 512 байт.
В настоящее время вместе с планомерным увеличением скоростей
передачи
данных
в
телекоммуникациях
увеличивается
доля
интерактивного трафика, крайне чувствительного к параметрам среды
транспортировки. Поэтому задача обеспечения качества обслуживания
QoS (Quality of Service) становится все более актуальной. Доступность
услуг является важнейшим элементом QoS. Для успешного внедрения
QoS необходимо обеспечить максимально высокую доступность сетевой
инфраструктуры. (Конечной цели высокой доступности соответствует
уровень 99,999 процентов, то есть только 5 минут простоя в год).
Существует много определений термина QoS. Мы ориентируемся
здесь на определение Cisco Systems: "QoS – QoS refers to the ability of a
network to provide better service to selected network traffic over various
underlying technologies…". Что можно перевести как: "QoS – способность
сети обеспечить необходимый сервис заданному трафику в широких
технологических рамках".
Необходимый сервис описывается многими параметрами, отметим
среди них самые важные. Качество передачи сети определяется
следующими факторами:
 Доступность – Диапазон времени сетевой достижимости между
входной и выходной точкой сети – это сетевая доступность.
Доступность сервиса – это диапазон времени, в течение которого
этот сервис доступен между определенными входной и выходной




точками с параметрами, оговоренными в соглашении об уровне
обслуживании (SLA).
Потери - это отношение правильно принятых пакетов к общему
количеству пакетов, которые были переданы по сети. Потери
выражаются в процентах отброшенных пакетов, которые не были
доставлены по назначению. Обычно, потери – это функция от
доступности. Если сеть не загружена, то потери (во время
отсутствия перегрузок) будут равны нулю. Во время перегрузок,
однако, механизмы QoS будут определять, какие пакеты могут
быть сброшены.
Задержка – это время, которое требуется пакету для того, чтобы
после передачи дойти до пункта назначения. В случае голоса, эта
задержка определяется как время прохождения сигнала от
говорящего к слушающему.
Колебания задержки (jitter) - это разница между сквозным
временем задержки, которая возникает при передаче по сети
разных пакетов. Так, например, если для передачи одного пакета
по сети требуется 100 мсек, а для передачи следующего пакета 125 мсек, то колебание задержки составит 25 мсек.
Пропускная способность – это доступная пользователю полоса
пропускания между двумя точками присутствия оператора.
Рассмотрим требования по уровню качества обслуживания к сети.
Сквозная модель QoS представляет из себя цепочку, крепость которой
определяется крепостью самого слабого звена. Например потребность в
передачи речи и видео определяет следующие требования к сквозному
уровню обслуживания:
 потери пакетов не более 1 процента;
 односторонняя задержка не более 150 мсек (в соответствии со
стандартом G.114);
 колебания задержки не более 30 мсек.
Таким образом, операторская составляющая должна быть
значительно меньше. Параметры SLA для RUNNet приведены ниже:
 потери пакетов не более 0.5 процента;
 односторонняя задержка между пограничными устройствами не
более 60 мсек;
 колебания задержки не более 20 мсек.
Высокоскоростные сетевые технологии касаются также и самих
приложений, параметры настройки протокольного стека которых влияют
на производительность сети. Для примера можно привести протокол
TCP, имеющий несколько характеристик, от которых зависит
производительность самой TCP-сессии, также как режимы работы сети
на отдельных участках влияют на производительность приложения.
Для обеспечения показателей качества QoS в современных IPсетях используются два вида протоколов DiffServ и RSVP. Протокол
RSVP может за счет предварительного резервирования ресурсов
предоставить каждому потоку гарантированную пропускную способность
на всем транспортном пути. Реализация этого протокола наталкивается
на многочисленные трудности [1]. Меньшие трудности вызывает
применение протокола DiffServ, который распределяет имеющуюся
пропускную
способность
между
существующими
потоками
пропорционально их приоритетам. Вместе с тем следует отметить, что
вопросы, связанные с разработкой методов моделирования и
проектирования режимов работы IP-сетей с использованием протоколов
RSVP и DiffServ, в научной литературе освещены недостаточно.
Имеющиеся работы затрагивают только отдельные вопросы, например
практическую реализацию протоколов [2] или имитационные модели для
определения быстродействия системы при весьма упрощенных
предположениях. В частности влияние на быстродействие системы
надежности технических и программных средств не учитывается.
Дифференцированное обслуживание DiffServ представляет собой
метод классификации требований к качеству обслуживания небольшого
числа агрегированных потоков сети [1]. Дифференцированные сервисы
не используют резервирования ресурсов в маршрутизаторах, не
представляют гарантии качества обслуживания, а реализуют только
“мягкую” поддержку QoS. Каждый маршрутизатор старается обеспечить
наилучшее обслуживание потоков с разными показателями качества в
соответствии с правилами пошагового поведения (Per-Hop Behavior,
PHB). PHB представляет два различных сервиса:
 “быстрое продвижение” с высшим качеством обслуживания с
минимизацией
задержки
и
вариации
задержек.
Трафик,
интенсивность которого превышает согласованный профиль,
отбрасывается;
 “гарантированная доставка”, обеспечивающая минимум пропускной
способности и размер буфера для хранения очереди для четырех
классов трафика и тремя уровнями отбрасывания пакетов в каждом
классе. Трафик, который превышает профиль, доставляется с
меньшей вероятностью, чем трафик, удовлетворяющий профилю.
Для реализации протокола DiffServ в маршрутизаторах и
коммутаторах чаще всего используются следующие алгоритмы
управления очередями:
 алгоритм FIFO (First In – First Out);
 приоритетное обслуживание небольшого количества классов. Пока из
более приоритетной очереди не будут выбраны все имеющиеся в ней
пакеты, устройство не переходит к обработке следующей менее
приоритетной очереди;
 при использовании взвешенных настраиваемых очередей (Weighted
Queuing, WQ) они обслуживаются последовательно и циклически, с
выбором числа байт, пропорционального весу очереди;
 взвешенное справедливое обслуживание (Weighted Fair Queuing,
WFQ) сочетает приоритетное и взвешенное обслуживание. Чаще
всего создается особая очередь, которая обслуживается по
приоритетной схеме в первую очередь, пока все заявки из нее не
будут выбраны. Предполагается, что часть пропускной способности
остается другим очередям, которые обслуживаются по алгоритму
взвешенного обслуживания.
Наиболее общим из указанных выше алгоритмов управления
является алгоритм взвешенного справедливого обслуживания WFQ, так
как он включает в себя процедуры приоритетного обслуживания и
взвешенных настраиваемых очередей.
Алгоритмы
управления
должны
гарантировать
заданные
показатели качества:
 CIR (Committed Information Rate) - согласованная информационная
скорость, с которой сеть будет передавать данные пользователя;
 Вс (Committed Burst Size) - согласованный объем пульсации, т.е.
максимальное количество байтов, которое сеть будет передавать от
пользователя за интервал времени T;
 Be (Excess Burst Size) - дополнительный объем пульсации, т.е.
максимальное количество байтов, которое сеть будет пытаться
передать сверх установленного значения Вс за интервал времени Т.
Если эти величины известны, то время можно вычислить по
формуле: T = Bc/CIR.
Технология Ethernet не имеет встроенных средств, связанных с
правилами или формированием трафика (policing/shaping), и получается,
что за ограничение скорости передачи отвечают устройства,
работающие на уровнях выше уровня 2 OSI-модели. Если пользователь
подключен к сети через интерфейс доступа 1 Гбит Ethernet, но ему
доступна скорость 10 Mбит/с, то скорость для него нужно ограничить или
подчинить определенным правилам доступа.
В случае необходимости ограничение скорости может происходить
в одной из двух точек:
 на входном или выходном устройстве в сеть со стороны сети;
 на входном или выходном устройстве в сеть со стороны
пользователя.
Настоятельно
рекомендуется
при
малейшей
возможности
ограничивать скорость передачи на устройствах со стороны сети, чтобы
не допускать перегрузки сети.
CAR (Committed Access Rate) [3] представляет собой средство,
предназначенное для поддержки QoS в сетевой периферии. CAR
позволяет
определить
контракт
для
передачи
трафика
в
маршрутизируемых сетях. Можно классифицировать трафик и
применять к нему определенные правила (policies) на входном
интерфейсе, а также устанавливать правила обработки трафика,
превышающего лимит полосы пропускания. CAR можно использовать
для установки приоритетов на основе расширенного списка
классификации. Это создает большую гибкость распределения
приоритетов, включая присвоение приоритетов приложениям, портам,
адресам источника/назначения и т.д.
CAR — это механизм, работающий на основе правил. Он
классифицирует трафик на основе гибких правил, включая правил
приоритетности (IP Precedence), контрольные списки IP-доступа (IP
access control lists), входящие интерфейсы и MAC-адреса. CAR
ограничивает скорость передачи на входе определенным пороговым
уровнем, что помогает избежать переполнения опорной сети.
Базовая функциональность CAR требует соблюдения следующих
критериев:
 Направление пакетов, входящие или исходящие;
 Средняя скорость (в битах в секунду) определяется длительными
замерами средней скорости передачи. Трафик, передающийся с
более низкой скоростью, всегда удовлетворяет этот критерий;
 Нормальный пиковый уровень (normal burst size),в байтах, показывает
допускаемую величину, которую может иметь пик трафика, прежде
чем система зарегистрирует превышение лимита;
 Чрезмерный пиковый уровень, в байтах.
Вероятность того, что трафик, находящийся между нормальным и
чрезмерным пиковым уровнем, превысит допустимые лимиты,
повышается по мере повышения размеров пика. CAR передает пиковый
трафик. Эта функция не занимается выравниванием пиков и
формированием трафика.
Можно отметить, что вопросы, связанные с определением этих
параметров, в научной литературе освещены недостаточно, а они
сильно влияют на производительность приложений использующих сеть.
Протоколы DiffServ и RSVP задачу оптимального использования
ресурсов сети IP решают с помощью перераспределения ресурсов
отдельного маршрутизатора между различными протекающими через
него потоками. В тоже время такое мощное средство, как выбор путей
прохождения трафика через сеть, традиционно применялось в IP-сетях в
очень ограниченных масштабах. А ведь от путей следования трафика
(особенно при его фиксированной интенсивности) в первую очередь
зависит загрузка маршрутизаторов и каналов, а значит, и эффективность
использования сети.
Известно, что все протоколы маршрутизации – как дистанционновекторные (например, RIP), так и основанные на состоянии связей
(OSPF и IS-IS), определяют для трафика, направленного в конкретную
сеть, кратчайший маршрут в соответствии с некоторой метрикой.
Выбранный путь может быть более рациональным, если в расчет
принимается номинальная пропускная способность каналов связи или
вносимые или задержки, либо менее рациональным, если учитывается
только количество промежуточных маршрутизаторов между исходной и
конечными сетями, но в любом случае выбирается единственный
маршрут даже при наличии нескольких альтернативных.
Еще
один
коренной
недостаток
традиционных
методов
маршрутизации трафика в сетях IP заключается в том, что пути
выбираются без учета текущей загрузки ресурсов сети. Если кратчайший
путь уже перегружен, то пакеты все равно будут посылаться по этому
пути. Налицо явный недостаток методов распределения ресурсов сети –
одни из них работают с перегрузкой, а другие не используются вовсе.
Никакие методы QoS данную проблему решить не могут – нужны
качественно новые механизмы.
Одним из мощных, но не применяемых ранее в IP-сетях методов
влияния на эффективное использование ресурсов сети является
технология Traffic Engineering (TE), или «инжиниринг трафика». Под ТЕ
понимаются методы и механизмы достижения сбалансированности
загрузки всех ресурсов сети, за счет рационального выбора путей
прохождения трафика через сеть.
Исходными данными для выбора путей являются, во-первых,
характеристики
передающей
сети
–
топология,
и
также
производительность составляющих ее маршрутизаторов и каналов
связи, а во-вторых, сведения о нагрузке сети, т.е. о потоках трафика,
которые она должна передать между своими пограничными
маршрутизаторами. Каждый поток характеризуется точкой входа в сеть,
точкой выхода из нее и некоторыми параметрами трафика. Так как при
выборе
путей
стремятся
обеспечить
равномерную
загрузку
маршрутизаторов и каналов связи, то для каждого потока, как минимум,
нужно учитывать его среднюю интенсивность. Для более тонкой
оптимизации трафика в сети можно привлекать и более детальное
описание каждого потока, например, величину возможной пульсации
трафика или требования к качеству обслуживания – чувствительность к
задержкам, вариации задержек и допустимый процент потерь пакетов.
Однако, поскольку оценить такого рода параметры трафика более
сложно,
чем
среднюю
интенсивность,
а
их
влияние
на
функционирование сети менее значительно, обычно при нахождении
оптимального распределения путей прохождения потоков через сеть
учитываются только параметры их средней интенсивности.
Задача ТЕ состоит в определении маршрутов потоков трафика
через сеть, т.е. для каждого потока требуется указать точную
последовательность промежуточных маршрутизаторов и их интерфейсы
на пути между входной и выходной точкой потока. При этом необходимо
обеспечить сбалансированную загрузку ресурсов сети. Это условие
можно формализовать разными способами. Например, максимальный
коэффициент использования ресурса по все ресурсам сети должен быть
минимален, чтобы трафику был нанесен как можно меньший ущерб.
Именно так формулируется задача ТЕ в RFC 2702 “Requirements for
Traffc Engineering Over MPLS”.
Другим способом постановки задачи ТЕ может быть поиск такого
набора путей, при которых все коэффициенты использования ресурсов
не будут превышать некоторый заданный порог. Подобный подход более
просто в реализации, так как связан с перебором меньшего количества
вариантов, поэтому он чаще применяется на практике.
Термин ТЕ имеет и более широкую трактовку, когда под ним
понимается глобальная оптимизация сети за счет изменения всех
возможных
параметров:
количества
и
производительности
маршрутизаторов, топологии связей между ними, скоростей каналов
передачи данных, приоритетов обслуживания потоков и т.д. В набор
управляемых параметров включаются также параметры нагрузки,
например, интенсивности передаваемых сетью потоков – в случае
перегрузки сети их можно ограничить до некоторой величины, чтобы
заторы уменьшились до приемлемого уровня.
В общем случае при TE управление путями следования потоков
трафика через сеть выступает в качестве только одного из методов
оптимизации сети, применяемых наряду с другими. Основным
инструментом выбора и установления путей в современных
высокопроизводительных телекоммуникационных систем и сетей
передачи данных нового поколения является технология MPLS.
Для того, чтобы добиться реализации сквозного SLA, действия по
классификации, конфигурации и интеграции решений QoS должны быть
скоординированы на всех ее участках. В научно-образовательных сетях
такая
координация
вполне
достижима
в
силу
высокого
профессионального уровня персонала, отвечающего за поддержку сети
в отдельных университетах и научных организациях и их тесной
взаимосвязи на федеральном уровне. Рассмотренные выше вопросы
подробно обсуждаются в статье [4].
Литература:
1. Олифер В.Г., Олифер Н.А. Новые технологии и оборудование IPсетей. - СПб.: БХВ-Петербург, 2001.
2. Вегешна Ш. Качество обслуживания в сетях IP. - М.:
Издательство Вильямс, 2003.
3. Cisco systems. Cisco’s Committed Access Rate (CAR) Configuration
Considerations / http://www.nanog.org/mtg-9811/ppt/witt / Technical
documentation, 2003.
4. Гугель Ю.В., Ижванов Ю.Л. Характеристики параметров
«качества обслуживания» опорной инфраструктуры научнообразовательной сети // Информатизация образования и науки. 2009. - №4. - С. 66-75.