Ð¡Ñ‚Ð°Ñ‚ÑŒÑ Ð“ÑƒÐ±Ð°Ñ€ÐµÐ²ÐœÐµÐ»ÑŒÐ½Ð¸Ñ

УДК 519.2, 519.61, 519.71
В.Ф. Губарев, С.В. Мельничук
АЛГОРИТМЫ ГАРАНТИРОВАННОГО ОЦЕНИВАНИЯ СОСТОЯНИЯ
ЛИНЕЙНЫХ СИСТЕМ ПРИ НАЛИЧИИ ОГРАНИЧЕННЫХ ПОМЕХ
Введение
При решении многих обратных задач не всегда можно установить условия или
количество исходных данных, необходимых для однозначной их разрешимости. Чтобы уйти
от этой проблемы, предлагается ставить и решать такие задачи с избыточным числом
исходных
данных.
Иначе
говоря,
рассматривать
переопределенные
системы
с
информативными или «богатыми» данными, при которых не должно возникать проблем с
разрешимостью. Как правило, исходные данные для таких задач берутся из непрямых или
косвенных измерений. Если эти данные точные, то считается, что переопределенная система
всегда остается совместной и данные не противоречат математическому описанию. Когда же
данные являются приближенными, т.е. содержат погрешность, такие переопределенные
системы могут стать несовместными, для которых в строгом математическом смысле
решение не существует. Тогда переходом к вариационной постановке задач находят
обобщенное или приближенное решение согласованное с погрешностью исходных данных.
На практике наиболее часто используют для этого метод наименьших квадратов (МНК). В
более сложных случаях обратные задачи часто становятся некорректно поставленными.
Тогда используют методы регуляризации, которые по сути своей являются обобщением
МНК.
С переопределенными системами приходится иметь дело также, когда на
исследуемом объекте проводятся непрямые измерения его параметров с избыточным
количеством датчиков или данных измерений. Возникает естественный вопрос: нельзя ли
использовать переопределенность или избыточность исходных зашумленных данных для
повышения точности получаемых приближенных решений таких задач.
В данной статье представлены результаты исследований, которые в определенной
мере дают ответ на этот вопрос. Рассматривались линейные системы, для которых
исследовались
гарантированные
оценки
получаемых
решений
с
использованием
интервального анализа и рандомизированных алгоритмов.

Работа выполнена в рамках Целевой комплексной программы НАН Украины по научным космическим
исследованиям на 2012-2016 г. Договор 2-02/14
1
1. Постановка задачи
Многие линейные обратные задачи, например, задачи оценивания состояния и
идентификации систем сводятся в конечном итоге к переопределенной системе линейных
уравнений следующего вида:
Ax  b ,
(1)
где A – матрица размерности m n m  n , а вектора x и b имеют размерность n и m ,
соответственно. При точно заданных A и b система (1) совместна, т.е. Ax0  b , где x0 –
точное решение.
В задачах оценивания состояния, т.е. вектора x , матрица A задана точно, а вектор b
содержит погрешность, а в задачах идентификации приближенно заданы и вектор b и
матрица A см.[1-2].
Здесь будет рассмотрен первый случай, когда матрица A задана точно, а вектор b
приближенно, т.е.
b  b0   ,
(2)
где  – погрешность задания правой части (1). Компоненты вектора  – есть случайные
величины, о которых известно, что они ограничены неравенством
i   i

i  1, m .
(3)

где i i  1, m априори известны. Кроме (3) никакие другие вероятностные свойства о
случайных реализациях  i нам неизвестны.
Ставится задача: предложить способы решения переопределенной системы (1) и
исследовать с учетом (2), (3) доверительные интервалы, которым принадлежат точные
значения компонент вектора
x . Проанализировать полученные результаты и дать
рекомендации по их практическому применению.
2. Способы решения и построения доверительных интервалов
Рассмотрим разные возможные способы решения переопределенной системы (1) с
возмущенной правой частью. При этом размер доверительного интервала каждой
компоненты вектора x будем рассматривать как основной показатель качества получаемого
решения. Поэтому каждый способ решения дополняется процедурой оценки доверительного
интервала.
2.1 Модифицированный взвешенный МНК
Предлагаемый способ решения по сути является развитием хорошо известного
обобщенного или взвешенного МНК.
2
Запишем систему (1) в виде
a s , x  bs ,
s  1, m ,
(4)
где a s – s -ая вектор-строка матрицы A .
Согласно обобщенному МНК за оценку x берется элемент, минимизирующий
функцию
J x  


2
1 m
 s a s , x  bs ,  s  0 ,

2 s1
(5)
где  s – весовые коэффициенты, подлежащие выбору.
Необходимое условие экстремума (5) дает квадратную линейную систему уравнений
n -ого порядка
Ax  b ,
m
где a ij    s  a is  a sj ,
s 1
 
A  aij


i, j  1, n , b   b1, b2 ,, bn ,
(6)
m
ais , a sj – i -ая и j -ая компоненты вектор-строки a s , bi    s aisbs .
s 1
 – операция транспонирования.
Решение (6) можно записать в виде
m
m
 n A ji ais  m
1 m
s
xi 
A ji   s ai bs    s  
bs     s  ais  bs ,



det A j 1
s 1
s 1
 j 1 det A  s 1
A ji
n
где A ji – алгебраическое дополнение к элементу a ji матрицы A  , ais  
j 1
(7)
det A
ais .
Каждый элемент a is является дробно-рациональной функцией  s . Причем, в
числителе и знаменателе стоят однородные функции от  s .

При неточно заданных компонентах вектора b (7) дает приближенную оценку

xˆi i  1, n .


Для фиксированного набора  s s  1, m и погрешностей  i , удовлетворяющих (2),
(3), гарантированные интервалы принадлежности точных значений компонент вектора xi
будут на основе (7) и с учетом (3) определяться соотношениями
xˆi  i ,
m
xˆi   i  ,  i    s ais  s ,
i  1, n .
(8)
s 1
Очевидно, что  i   i   (  – вектор с компонентами  s ).
Получить в явном виде выражение a is от  достаточно сложно. Поэтому на практике
часто берут  s 
1
, что продиктовано стремлением уравновесить плохие и более точные
s
3
измерения. Однако, принимая во внимание дробно-рациональную зависимость a is от  ,
такой выбор  s является все же грубым. Можно, рассматривая  i как функцию от 
 i   i   , поставить задачу минимизации  i по аргументу  , т.е. находить  opt из решения
следующей задачи:
m

s 1
s
ais  s  min
на множестве
(9)
 s  0,1 , s  1, m .
При больших m это довольно сложная задача. Однако ограниченность допустимого
множества и достаточная гладкость дробно-рациональных функций позволяют при
современных
вычислительных
возможностях
применять
методы
многомерной
стохастической оптимизации с использованием значений целевой функции в конечном числе
точек без использования значений её производных.
Заметим, что решение задачи (9) для каждого i целесообразно находить независимо,
т.е. для каждого xi получать свой оптимальный вектор  opt . При точном векторе b получим
точное значение xi при любом  . А поскольку гарантированный интервал (8) содержит
точное значение при любом  , можно для каждого xi брать такое  , при котором этот
гарантированный интервал минимален, т.е. является решением задачи (9). При этом
сохраняется гарантированность всех решений с разными  opt .
2.2 Рандомизированный алгоритм оценивания
Данный алгоритм состоит из последовательности следующих действий. Сначала из
(4) формируем множество невырожденных квадратных систем уравнений, которых может
быть меньше или равно С mn . Множество таких систем запишем в виде
Ajx  b j ,
j  1, M , M  Cmn ,
(10)
причем det A j  0 . Решение каждой из них может быть представлено как
1
xi 
det A j
j
n
A b
s 1
j j
si s
,
j  1, M , i  1, n ,
(11)
где Asij – алгебраическое дополнение к элементу матрицы A j , стоящему в s -ой строке и i ом столбце.
Для приближенных bsj , содержащих погрешность  s , удовлетворяющую условию (3),
получим оценку x̂ i j точного значения x i . При этом точное x i j для разных j будет
гарантировано принадлежать интервалу
xˆ
i
j

 ij , xˆij  ij ,
j  1, M , i  1, n ,
(12)
4
где  ij определяется из выражения
1
det A j
 ij 
n
A
s 1
j
si
 s .
(13)
Каждому j  1, M будет соответствовать своя оценка x̂ i j и доверительный интервал
(12). Этот гарантированный результат получен для самых неблагоприятных реализаций  в
измерениях. Однако в реальности вероятность такого события мала и следует ожидать более
благоприятных реализаций помехи. Учесть особенности реальной помехи можно с помощью
следующей процедуры. Найдем пересечение множеств (12) с одинаковыми i и разными j .
Получим
 xˆ
M
i
j
  ij ,

xˆij   ij , i 1, n .
(14)
j 1
В результате за счет рандомизированных оценок x̂ i j и процедуры (14) будем иметь
для каждой компоненты i вектора x минимально возможные гарантированные множества
принадлежности точных значений x i . В качестве оценки x̂ i i  1, n можно взять середину
этих доверительных интервалов и указать соответствующую им точность оценивания
аналогичную (3).
2.3 Комбинированный способ оценивания
Этот способ комбинирует два описанных выше. Задается число m1 , удовлетворяющее
неравенству n  m1  m , и формируются все невырожденные комбинации переопределенных
систем вида (5) с числом уравнений m1 и j  1, M 1 , где M 1  С mm1 . Для каждой из полученных
таким образом M 1 переопределенных систем находим, описанным в 2.1 взвешенным МНК,
решение для  opt и строим покомпонентно гарантированные интервалы принадлежности.
Далее с помощью рандомизированной процедуры, описанной в 2.2, найдем пересечение
доверительных множеств с одинаковыми i и разными j . В результате получим для каждого
i наименьший гарантированный интервал принадлежности точного значения x i . В качестве
оценки x̂ i берем среднее значение наименьшего доверительного интервала, полученного
путем пересечения.
В определенных случаях данный способ может быть более предпочтительным по
сравнению с первыми двумя. В первую очередь это относится к случаю, когда С mn очень
велико и для реализации рандомизированного алгоритма потребуется перебор очень
большого числа квадратных систем. Тогда с помощью комбинированного способа можно
5
существенно уменьшить количество квадратных систем, не снижая существенно точности
оценивания.
В принципе эту задачу можно усложнить, если добавить возможность варьирования
величины m1 в пределах n  m1  m . Приближая m1 к m , приходим к способу 2.1, а
приближая m1 к n , решение должно стремится к тому, которое получается способом 2.2.
3. Вычислительные эксперименты
Для исследования свойств и особенностей рассмотренных способов решения системы
(1), а также для их сравнительного анализа были проведены вычислительные эксперименты.
Находились гарантированные и другие оценки интервалов принадлежности, содержащие
точное решение, которые были получены различными способами. Основным показателем
качества системы наблюдения (1) является число обусловленности матрицы A . Именно оно
существенно влияет на оценку x независимо от того каким способом находилось решение.
3.1 Постановка вычислительных экспериментов
Наиболее всесторонние исследования были проведены для систем с n  3 и
варьируемым значением
m , а также некоторых других параметров. Чтобы иметь
возможность контролировать число обусловленности матрицы cond  A , её вектора–строки
формировались специальным образом. Вектора a s выбирались так, что их концы находились
на сфере единичного радиуса. Это соответствовало тому, что в каждом уравнении (4) вектор
a s нормировался на единицу путем деления соответствующего уравнения на a s . Для
упорядочения по обусловленности концы этих векторов располагались на окружности,
получаемой при пересечении сферы с плоскостью x  c в декартовой системе координат
Oxyz  ,
начало которой помещалось в центре сферы. Пересечение было, когда 0  c  1 .
Тогда c  0 и c  1 соответствовало вырожденному случаю с числом обусловленности
равным бесконечности. На каждом таком контуре выбиралась тройка векторов совпадающих
с
боковыми
ребрами
равнобедренной
треугольной
пирамиды.
При
этом
число
обусловленности квадратной системы (1) было минимальным, зависящим от величины с .
График этой зависимости показан на рис.1. По оси ординат откладывается число
обусловленности  Α  cond  Α c m  3 для указанного выше выбора тройки векторов a s .
6
Рис. 1
Минимальное
значение
 1
достигается
при
с 3
3
,
что
соответствует
ортонормированному расположению векторов, т.е. пирамиде с прямыми углами в боковых
гранях при её вершине. Если зафиксировать с и добавить новые вектора, то число
обусловленности

с увеличением
т
будет сохраняться или слабо изменяться
(увеличиваться). Всякое иное добавление векторов a s может приводить только к более
существенному увеличению  . Например, если их расположить равномерно на эллипсе
вписанного в круговой контур или описанного вокруг него, число обусловленности будет
равно произведению отношения длин его полуосей (большой к меньшей) на число
обусловленности кругового контура.
Таким образом, описанная процедура позволяла контролировать и управлять числом
обусловленности при варьировании т . После формирования матрицы Α с контролируемым
числом
обусловленности
задавались
точные
значения
вектора
x
и
находился
соответствующий ему вектор b так, что переопределенная система (1) всегда оставалась
совместной.
Задавались значения 1 ,  2 , ,  m и генерировались случайные последовательности
 i , удовлетворяющие (3). При этом для каждого  i выбиралось два распределения их
вероятностей на интервалах (3): равномерное и, так называемое, «boundary visiting» (BV),
которые показаны на рис.2 кривыми 1 и 2, соответственно.
7
Рис. 2
Кривая 3 на рис.2 соответствует распределению с малой дисперсией. В предельном
случае BV соответствует бинарной случайной последовательности со значениями   i .
Выбранные
распределения
вероятностей
наиболее
подходят
для
гарантированного
оценивания. Следует заметить, что равномерное распределение было по отношению к
другим одним из наиболее неблагоприятных.
3.2. Результаты исследований
Прежде всего представляет интерес как соотносятся между собой доверительные
интервалы, получаемые описанными способами. При cond  Α  1 и одинаковой ошибке
 i  0,01 i  1, m на рис.3 показаны гарантированные интервалы, полученные разными
способами для m  5 . Результаты приведены для одной из компонент вектора x , которые
получены методом Монте-Карло для 30 испытаний. Случайные реализации с равномерным
распределением дали результат который показан на рис.3 (а), а с BV – на рис.3 (б).
Рис. 3 (а) и (б)
Оптимально взвешенный МНК (ОВМНК) (пунктирная прямая) дал естественно
лучший результат, чем обычный МНК (штрихпунктирная прямая). Как и ожидалось,
8
доверительные интервалы, полученные рандомизированным алгоритмом (сплошная кривая),
имели наилучшую оценку, которая стала зависимой от конкретной реализации погрешности
в испытаниях. Те же результаты, но для m  15 представлены на рис.4.
Рис. 4 (а) и (б)
Видно, что при использовании МНК оценка хоть и незначительно, но ухудшалась, а
ОВМНК и рандомизированный алгоритм показали лучший результат. Особенно заметное
улучшение было при использовании рандомизации для BV реализаций. Аналогичные
результаты получались и для других компонент вектора x .
Для сравнительной оценки доверительных интервалов, получаемых разными
способами, были проведены вычислительные эксперименты с числом испытаний 10 4 . Это
позволило для рандомизированного алгоритма получить среднее значение доверительного
интервала, т.е. его математическое ожидание. Зависимость от m всех доверительных
интервалов, полученных: МНК (штрихпунктирная прямая), ОВМНК (пунктирная кривая) и
рандомизированным алгоритмом с усреднением (сплошная кривая для равномерного и
штриховая для ВV) показаны на рис.5. Результаты приведены для одной из компонент x , а
для других они были аналогичными.
9
Рис. 5
При любом способе построения доверительных интервалов наиболее существенное
влияние на их оценку оказывало значение числа обусловленности системы (1). Методом
Монте-Карло с фиксированным m  20 и варьируемым  Α  cond  Α были построены
кривые средних значений отношений
i
i
в зависимости от  для разных способов
решения. Рисунок 6 (a) соответствует m  5 , а 6 (б) – m  20 , где штрихпунктирная кривая
соответствует МНК, пунктирная ОВМНК и сплошная рандомизированному алгоритму.
Рис. 6 (а) и (б)
Как следует из рис.6 ошибка оценивания растет при увеличении  практически с
одинаковой скоростью для всех рассмотренных способов. При разных m такое поведение
10
сохраняется. При этом, как и в предыдущих случаях рандомизированный алгоритм остается
наиболее эффективным способом оценивания.


Исследовалось также влияние разных значений ограничений  i i  1, m на ширину
доверительных интервалов. В случае МНК равномерному распределению  i между  max и
 min
соответствовало равномерное распределение
 i   max , i  1, m )
и
min
(получаемому
при
i
между
 max (получаемому при
 i   min , i  1, m ).
Для
ОВМНК
и
рандомизированного алгоритма равномерное распределение  i трансформировалось в
монотонно убывающее распределение  i между min и  max , сильно тяготеющее к min .
Методом численного моделирования исследовался также комбинированный способ
решения системы (1). Было показано, что доверительные интервалы, полученные
комбинированным способом, описанным в 2.3 и рандомизированным алгоритмом,
описанным в 2.2, практически совпали. Однако, если в рандомизированном алгоритме
просто отбросить квадратные системы, имеющие наихудшую обусловленность, так чтобы
систем осталось ровно столько, сколько их было в способе 2.3, то гарантированные оценки в
этом случае несколько ухудшаются. Таким образом способ 2.3 дает хорошую оценку при
меньшем переборе квадратных систем, что может оказаться важным при практической
реализации этого способа для решения задач в реальном времени.
4. Выводы и рекомендации
В работе было показано, что основным показателем качества измерительной системы
с непрямыми наблюдениями, является обусловленность системы уравнений, описывающих
её. Если число обусловленности очень большое или равно  (ненаблюдаемая система), то
наблюдение осуществляется неэффективно или вообще не дает результата. Когда же 
близко к единице имеем высокоэффективную измерительную систему. Таким образом,
целесообразно проверять по числу обусловленности эффективность измерительной системы.
При плохой обусловленности рекомендуется манипулируя параметрами датчиков или
конфигурацией измерений попытаться сделать его как можно близким к единице. После
окончательного выбора матрицы Α и её размерности рекомендуется из всех рассмотренных
способов оценивания использовать рандомизированный алгоритм, который как показали
исследования, проведенные численным моделированием, дал наилучший результат по всем
характеристикам.
Отметим
при
рандомизированным
этом,
что
алгоритмом,
оценка
никогда
доверительного
не
превышала
интервала,
значения
получаемая
доверительного
11
интервала, получаемого ОВМНК. Кроме того, хотя в рандомизированном алгоритме
учитывались случайные реализации  i , нигде не использовались априорные значения их
вероятностных характеристик. Они могли быть произвольными, белошумовыми с нулевым
или смещенным средним, одинаково или неодинаково распределенными для разных i .
Безусловно рандомизированный алгоритм в определенных случаях потребует
большего объема вычислений, но благодаря распараллеливанию и использованию
проблемно–ориентированных процессоров с современной элементной базой ПЛИС можно
обеспечить его реализацию в реальном времени.
Для этого, например, может быть использован следующий алгоритм. Предварительно
из (1) или (4) формируются Μ квадратных систем (10). При этом, если Μ достаточно
большое, то можно отбросить не только вырожденные системы, но и плохо обусловленные.
Для каждой оставшейся квадратной системы вычисляются:
 Aj

A2ji
Anij
вектора ai j   1i j ,
,

,
,
,
j
j
det
A
det
A
det
A


интервальные оценки  ij
j  1, M , i  1, n ;
j  1, M , i  1, n , определяемые (13), которые заносятся в память
вычислителя.
Из компонент вектора измерений b формируются Μ векторов b j , которые затем
независимо используются в параллельных вычислениях. Вектора ai j сортируются по
одинаковым i , что дает ещё одно распараллеливание вычислительного процесса. Таким
образом, компоненты вектора x i j j  1, M , i  1, n вычисляются параллельно как скалярное
произведение двух векторов xij  aij , b j , где a ij вычислен заранее, а b j поступает из
текущих измерений. После этого для каждого i независимо находятся

max xij   ij
j



и min xij   ij .
j
Текущая оценка x̂i определяется соотношением
xˆ i 




1
j
j
xij   ij  .
 max xi   i  min
j
j

2
12
Литература
1.
Губарев В.Ф. Математические проблемы в задачах интерпретации измерений //
Праці міжнародної конференції «50 років Інституту кібернетики імені В.М. Глушкова
НАН України». – Київ: НАН України Інститут кібернетики імені В.М. Глушкова. –
2008. – с.136-143
2.
Mzyk G. Combined parametric – nonparametric identification of Block–Oriented
Systems. Vol. 454. Springer Cham Heidelberg New-York Dordrecht London, 2014.
13