Статистическая теория ошибок

Глава 4
СТАТИСТИЧЕСКАЯ ТЕОРИЯ ОШИБОК
4.1. Статистические характеристики ошибок
Ошибку измерения мы определили как разность приближенной величины и точной x  x  X .
Это - непредсказуемая, неизвестная величина, которую нельзя определить. В противном случае мы
смогли бы внести поправку в приближенное число и получили бы точное. Практически сделать это невозможно. Однако практические потребности диктуют нам необходимость знать что-то об этих ошибках. Понятно, что с плохим инструментом мы получим больший разброс измеренных значений, чем с хорошим. Это
“что-то” есть характеристики ошибок. В частности, одной из характеристик ошибок является мера ее разброса - дисперсия, на определении которой остановимся чуть позже.
Раздел математики, изучающий закономерности по большому количеству наблюдательных данных
называют математической статистикой.
Предельная абсолютная погрешность (ПАП) и предельная относительная погрешность (ПОП), с которыми мы познакомились в главе 1, также являются характеристиками ошибок, дающими представление о
точности приближенного числа. Однако в астрономической практике эти характеристики почти не применяются, т.к. слишком мало шансов встретить предельную погрешность. Термин “шанс”, введенный французским экономистом Курно, одним из основателей теории вероятности, в настоящее время не употребляется. Его заменяет понятие вероятности.
Допустим, что число имеет один знак после запятой, но выписано без дробной части. Какова предельная абсолютная ошибка? Очевидно, что ошибкой может быть любое из приведенных ниже чисел: 0.0;
0.1; 0.2; 0.3; 0.4; 0.5; 0.6; 0.7; 0.8; 0.9. Наибольшее из них - 0.9 - есть ПАП. Шанс получить результат с максимальной погрешностью в этом случае соответствует 1:10.
Однако, если вы имеете дело с двумя приближенными числами, над которыми совершается арифметическое действие (сложение, вычитание, умножение, деление), то с каждой из десяти погрешностей первого
числа может сочетаться любая из десяти погрешностей второго числа. Таким образом, имеем 10х10=100
различных вариантов. Наибольшую погрешность даст только один из них. Следовательно, шанс (вероятность) получить ПАП составляет всего 1:100.
Рассуждая подобным образом, нетрудно убедиться, что вероятность столкнуться с предельной ошибкой в случае арифметических действий с n числами будет 1:10n, т.е. уже для n=3 практически вариант можно
считать невозможным.
Вероятность - это отношение числа результатов с заданными признаками к общему числу равновозможных результатов. Причем, оба эти числа, которые составляют отношение, могут быть и бесконечно.
Для построения какой-либо характеристики погрешности наблюдений мы будем пользоваться этим
статистическим определением вероятности.
Важнейшей характеристикой ошибки является среднее значение или в терминологии теории вероятности - математическое ожидание.
Допустим, что мы измеряем величину Х. В результате имеем ряд приближенных значений
x1 , x 2 ,..., x N . Возникает вопрос, как получить наиболее достоверное значение, как уменьшить влияние погрешности измерения? Если предположить, что ошибки могут быть как положительные, завышающие истинную величину, так и отрицательные, занижающие Х, то при суммировании x k часть одних погрешностей
будет компенсировать другие. Интуиция подсказывает, что среднее арифметическое будет менее всего подвержено влиянию погрешностей измерений. Кажется очевидным также, что чем больше наблюдательных
данных, тем более точный результат мы получим. Тогда
1 N
xk .
N  N
k 1
Приведенное выражение по сути дела есть статистическое определение математического ожидания (среднего
значения). Молчаливо предполагается, конечно, что все x k - равновозможны. В действительности это выполняется далеко не всегда. Поэтому строгое определение математического ожидания отличается от введенного
нами понятия среднего значения, как среднего арифметического по бесконечному ансамблю данных.
В дальнейшем среднее значение будем обозначать треугольными скобками
1 N
 x  lim
xk ,
N  N
k 1
арифметическое среднее будем записывать так
1 n
x
xk ,
n k 1
для того чтобы среднее значение было равно точному значению числа Х, т.е.,

X  lim


если
то
 x  Х ,
 x   x  Х    x  Х  0.
Отсюда следует, что среднее значение случайной ошибки равно нулю.
Это свойство случайной ошибки можно считать за ее определение: ошибку (погрешность) можно считать
случайной, если помимо ее непредсказуемости выполняется условие равенства нулю ее среднего значения.
Заметим, что округление числа путем отбрасывания “лишних” знаков приводит к погрешности, не
являющейся строго случайной, а содержит и систематическую часть (“систему”). В вышеприведенном примере округление приводило к погрешностям от 0.0 до 0.9 - всего 10 вариантов. Если мы располагаем большим массивом данных (N чисел), то приблизительно 10% из него будут иметь ошибку 0.0, другие 10% ошибку 0.1, ... и, наконец, 10% - ошибку 0.9.
Вычислим среднее значение ошибки округления
1
x  n0  0.0  n2  0.1  ...  n9  0.9,
N
где n0 , n1 ,..., n9 - число ошибок, равных соответственно 0.0, 0.1, ..., 0.9. При увеличении N до бесконечности
отношение nk , k=0,...,9 в силу равновозможности каждой из ошибок будет стремиться к 0.1 (10%), поэтому
N
x  0.1(0.0  0.1  ...  0.9)  0.45.
Итак, ошибка округления путем отбрасывания десятичного разряда равна 0.45 от удерживаемого последнего
знака.
Округление по методу Гаусса свободно от этого недостатка: среднее значение погрешности округления равно нулю. Предлагаем показать это самостоятельно.
Второй статистической характеристикой ошибки является дисперсия.
Определение. Дисперсией случайной погрешности числа Х называется среднее значение квадрата этой погрешности и обозначается через  x2 :
1 N
( xk  X ) 2 .
N  N
k 1
Квадратный корень из дисперсии, имеющий размерность числа Х, называется стандартным отклонением
(стандартом)  x .

 x2   x 2   lim
 x   x2 .
Стандарт всегда положителен, так же как и дисперсия.
Наконец, средней квадратической ошибкой (СКО) называют эмпирическое значение (полученное из
опытных данных) стандарта случайной погрешности. Например, СКО можно определить как
x 
1
n
n
 x
 X .
2
k
k 1
Очевидно, что при n   , будем иметь  x   x .
Ковариацией двух ошибок называют среднее значение их произведения. Даны x k и y k , k  1, N ошибки величин соответственно X и Y, тогда ковариация этих ошибок равна
1 N
 xy   x  y  lim
x k  y k .
N  N
k 1
Ковариация является мерой независимости ошибок величин X и Y. Если они независимы, то  xy  0 . Обрат-

ное утверждение - если ковариации x и y равна нулю, то они независимы - строго говоря, несправедливо.
Итак, если мы имеем дело с двумя приближенными числами, то в качестве характеристик ошибок
будем иметь три числа  x2 ,  y2 и  xy . Из них можно образовать матрицу
  2  xy 
,
где  xy =  yx .
C xy   x
 yx  y2 


Такая матрица называется ковариационной.
Ковариационная матрица может быть любого размера. Пусть X 1 , X 2 ,..., X m - числа, ошибками которых являются x1 , x2 ,..., xm . Вычислим дисперсии и ковариации
 12   x12 ,
 12   x1  x 2 ,
 22   x 22 ,
 13   x1  x3  ,
......
 n1,n  xm1  xm .
......
 m2   xm2 ,
Из них также можно построить ковариационную матрицу
  12  12  13


 22  23
C   21
( mxm )
...
...
 ...

 m1  m 2  m3
...  1m 

...  2 m 
.
... ... 
...  m2 
Эта матрица обладает свойством симметрии C T  C, где “Т” - знак транспонирования - замена строк матрицы столбцами или наоборот.
Из набора т чисел можно построить матрицу-столбец. В математике такую матрицу часто называют
вектором. В отличие от вектора - направленного отрезка, такой вектор может иметь сколько угодно “составляющих”. В приведенном выше случае вектор X можно записать так: X   X 1 , X 2 ,..., X m T . Мы использовали матрицу-строку вместо матрицы-столбца исключительно ради экономии места. Знак “Т” указывает на то, что в данном случае имеем дело с матрицей-столбцом.
Нетрудно убедиться, что ковариационную матрицу ошибки вектора X можно определить так
 x1 


 x 2 
T
C  x  x  
 x1 x 2 ... x m  
... 


 x 
 m
 x12
x1 x 2 ... x1 x m 
... x1 x m 


 x x
x 2 x 2 ... x 2 x m 
x 22
... x 2 x m 
2
1

.
=
...
...
... 
...
...
...
...



 x x

2
x m x 2 ... x m x m 

x

x
...

x
m
1
m
2
m


Ковариационная матрица ошибок вектора выполняет ту же функцию в математической обработке наблюдений, что и дисперсия ошибки скалярного числа.
 x1 x1

 x x
  2 1
...

 x x
 m 1
x1 x 2
4.2. Линейное преобразование ошибок
4.2.1. Линейное преобразование ошибок скалярных величин
Допустим, что величины X и Y связаны между собой линейной зависимостью
Y=aX+b.
Естественно, что для вычисления y по приближенному числу х мы будем пользоваться той же линейной зависимостью
y=ax+b.
Вычитая из второго равенства первое, получим
y=ax.
Если величина х содержит случайную погрешность, т.е. х=0, то отсюда немедленно следует, что и у=0.
Вычислим теперь дисперсии и стандартные отклонения. По определению
 xy   x  y .
 x2   x 2  ,
 y2   y 2  ,
Возводя в квадрат обе части уравнения ошибок, получим
y 2  a 2 x 2 ,
т.е.
 y2  a 2 x2 ,
Определим теперь ковариацию:
 xy  xax   a x 2  a   x2 .
 y  a  x .
В отличие от стандартного отклонения ковариация, в зависимости от знака а, может быть как положительной, так и отрицательной
Рассмотрим более сложный случай, когда одно число Z есть линейная комбинация двух других X и Y.
Z=aX+bY+c.
Отбрасывая несущественную аддитивную постоянную с, получим уравнение ошибок
z=ax+by.
Очевидно, что дисперсию ошибок приближенной величины z можно вычислить по формуле
z 2  a 2 x 2  2abxy  b 2 y 2
или
 z2  a 2 x2  2ab xy  b 2 y2 .

Заметим, что полученное выражение отличается от квадрата суммы a   x  b   y
2  a 2 x2  2ab x y  b 2 y2
тем, что в общем случае  xy   x y .
Если ошибки x и y независимы, то  z2  a 2 x2  b 2 y2 .
Полученный вывод очень важен: при независимых ошибках дисперсия суммы равна сумме дисперсий. Другими словами, складываются не ошибки, а их средние квадраты!
4.2.2. Линейное преобразование ошибок векторных величин
Т
Рассмотрим два вектора
X   X 1 , X 2 ,..., X m  ,
Т
Y  Y1 , Y2 ,...,Yn  .
Будем считать их линейно зависимыми
Y  AX  B ,
где А - прямоугольная матрица (nxm), В - матрица-столбец (nx1). Очевидно, что той же зависимости удовлетворяют и приближенные вектора y и x :
y  Ax  B .
Вычитая из последнего равенства точную формулу, получим векторное уравнение ошибок
y  A  x .
Матрица В исключается, ибо по предположению, ошибки содержат только составляющие векторов y и x .
Выполним осреднение по бесконечному “ансамблю реализаций”
y  A x .
Если x - случайная ошибка, т.е. x  0 , то легко видеть, что и ее линейная трансформация - также случайная ошибка: y  0 .
Вычислим теперь ковариационную матрицу ошибок вектора y по известной ковариационной матрице ошибок вектора x . По определению
но
y  A  x ,
Отсюда следует, что
C y  y  y
T
C x  x  x
T
,
y  x  AT ,
T
T
C y  A x  x
поэтому
T
AT .
C y  A  C x  AT .
Итак, для того, чтобы получить ковариационную матрицу погрешности линейного преобразования y  Ax ,
нужно ковариационную матрицу погрешности исходной векторной величины x умножить слева на матрицу
А, а справа - на матрицу АТ.
 y  y 2  x1
Пример. В качестве примера рассмотрим систему  1
, где предполагается, что ковари2 y1  y 2  x2
 1 0
 . Вычислим ковариациационная матрица ошибок вектора x  x1 , x2 T нам известна и равна C x   x2 
 0 1
онную матрицу погрешностей y .
3 y1  x1  x 2 ,
1 способ. Решим приведенные выше уравнения
y1  13 x1  x2  ,
y 2  x1  y1  13 2 x1  x2  .
Вычислим дисперсии, при условии, что ковариации ошибок x1 и x2 равны нулю

4


 y21  19  2 x   2 x  92  2 x ,
 y22  19
2
x
 2x
5
9
 2x .


Ковариация ошибок y1 и y 2 отлична от нуля: y1 y 2  19 x1  x 2 2x1  x 2   19 2 2 x   2 x  19  2 x .
Таким образом, ковариационная матрица ошибок y имеет вид
1  2 2 x
C y   2
9  x
2 способ. (матричный)
Запишем уравнение в матричной форме
 1 1   y1   x1 

       ,
 2  1  y 2   x2 
 2x   2x

9
5 2 x 
 2 1

 .
 1 5
 y1  1  1 1   x1 
   
    .
 y 2  3  2  1  x2 
Ковариационную матрицу y вычислим по ранее выведенной нами формуле

1  1 1  2  1 0  1 1 2   2 x
 x 
  
 
C y  
3  2  1
9
 0 1  3 1  1
Видим, что матричный способ много экономичнее.
 2 1

 .
 1 5
4.3. Перенос ошибки. Прямая задача теории ошибок.
В предыдущем разделе мы познакомились с линейными преобразованиями - частным случаем функций с приближенными аргументами. Схематически это преобразование можно изобразить так
x
алгоритм
 u
“входные данные”
y
обработки
 v
“выходные данные”
z
наблюдений  w
Прямая задача теории ошибок решает вопрос переноса ошибок исходных данных в результаты вычислений
при их произвольном преобразовании.
Рассмотрим сначала простейший случай преобразования одной скалярной величины Х в другую скалярную величину Y, зависящей от первой следующим образом
Y=f(X).
Вместо точного значения аргумента Х мы располагаем лишь приближенным х, поэтому в результате вычисления получим приближенное значение y
y=f(x).
Ошибкой этого значения будет
y  y  Y  f ( x)  f ( X ) .
Как и в случае определения предельной абсолютной погрешности, ограничимся линейным приближением
y  f ( X  x)  f ( X )  x  f ( x) .
Отсюда следует, что
 y2   x2   f (x)2 ,
Например: y  sin x , y  cos x  x ,
 y   x  f (x) .
или
 y  cos x   x .
Однако, мы можем столкнуться и с особым случаем. Например, при x   2 ,  y  0. Следовательно,
ошибка аргумента не вносит ошибку в результат. В действительности это не так, ибо здравый смысл подсказывает, что ошибочные исходные данные обязаны внести погрешность в результат. Все дело в том, что процедуру линеаризации - замены нелинейной функции линейной - нельзя применить к функции вблизи ее экстремума. В данном случае в точке x   2 функция y  sin x имеет максимум. Очевидно, при разложении х в
ряд по степеням приращения x нужно брать и квадрат этой величины
x 2
y  sin x  sin( X  x)  sin X  x cos X 
sin X  ...,
2
x 2
y  x  cos x 
sin x  ...
2
2
x 2
1
При x   2 имеем y  
, т.е. среднее значение погрешности y  y    x 2    x  0 . Ошибка в
2
2
2
этом случае имеет систематический характер, ее среднее значение равно половине дисперсии аргумента с
обратным значением.
z    x, y  .
Рассмотрим теперь случай, когда функция имеет два аргумента
 x, y 
 x, y 
z 
x 
y .
Линеаризация этой функции дает
x
y
 x, y    x, y 
В данном случае производные
и
суть числа, полученные после подстановки значений x и y
y
x
в выражение для производных. Уравнение ошибок, следовательно, можно записать так
 x, y 
 x, y 
где
, b
.
z  a  x  b  y,
a
y
x
Следуя рассуждениям, приведенным в предыдущем разделе, легко получить дисперсию и стандартное отклонение функции двух аргументов
 z2   x 2  x2  2 x   y  xy   y 2  y2 ,
 
z 
 x 2  x2  2 x y xy
В случае независимости ошибок x и y , будем иметь
 
    
z 
2
y
2
y
.
 x 2  x2   y 2  y2
.
Определение дисперсии или стандартного отклонения функции по заданным дисперсиям (и ковариациям)
погрешности аргумента называется прямой задачей теории ошибок.
Пример. Период колебания маятника Т зависит от приведенной длины l и ускорения свободного па1
1
l
 2  l 2 g 2 . С какой точностью по этой формуле можно вычисдения g следующим образом: T  2
g
лить g, если  l  1 10 6 м,  T  1 10 6 с, а l  0.25 м, g  9.8 мс-2, Т=1с?
В данном случае удобнее поступить следующим образом. Прологарифмируем обе части равенства
ln T 
Дифференцируя, получим уравнение ошибок
1
1
ln l  ln g  ln 2 .
2
2
T 1 l 1 g


.
T
2 l
2 g
В данном случае g - функция, а l и Т - аргументы. поэтому, разделив их знаком равенства, получим
 l 2T 
g  g  
.
T 
 l
  2 4 2 
Предполагая, что ошибки  l и T независимы, получим дисперсию ошибки g :  g2  g 2  2l  2T  .
T 
l
Подставив численные значения, получим
4  10 12
 4.5  10 6 g.
12
0.252
В случае, когда решается прямая задача для вектор-функции приближенных аргументов, искомую
дисперсию погрешности заменяет ковариационная матрица
где  (x) - вектор-функция
y   (x) ,
 g  9.8
1  10 12

размера (n x 1), а x - вектор размера (m x 1):
y1  1 x1 , x2 ,..., xm  ,
y 2   2 x1 , x2 ,..., xm  ,
.................
y n   n x1 , x2 ,..., xm  .
Допустим, что ковариационная матрица ошибок вектора x известна и равна Cx (см. 4.2.2). Попробуем определить ковариационную матрицу ошибок вектора y . Запишем уравнения ошибок, используя описанный
выше способ линеаризации:
1


x1  1 x 2  ...  1 x m ,
x1
x 2
x m



y2  2 x1  2 x2  ...  2 xm ,
x1
x2
xm
y1 
........... .........
yn 
n


x1  n x2  ...  n1 xm .
x1
x2
xm
Полученную систему запишем в матричном виде
 y1 


 y 2 
,
y  
... 


 y 
 n
 x1 


 x 2 
,
x  
... 


 x 
 m
 1

 x1
J   ...
  n
 x
 1
1
x 2
...
...
...
 n
x 2
1 

x m 
...  ,
 n 
...
x m 
y  J x .
Матрица J имеет элементами значения производных функций i x1 ,..., xm , i  1, n по координатам
x j , j  1, m , полученных после подстановки приближенных значений аргументов. Эта матрица носит назва-
ние матрицы Якоби и обозначается как отдельной буквой J, так и в виде производной вектор-функции по


 x ,
векторному аргументу J 
. Применяя это обозначение, уравнение ошибок примет вид y 
x
x
ничем не отличающийся от подобного уравнения в случае скалярной функции и скалярного аргумента (см.

4.2.2). Однако, при всех выкладках следует помнить, что y и x - вектора, а
- матрица размера (n x m).
x
Ковариационная матрица ошибок вектора y по определению равна
C y   y  y    (
T
Таким образом,



 T


T
T
 x)  (
 x)T   
 x  x  (
) 
  x  x   ( )T .
x
x
x
x
x
x

 
Cy 
 Cx  
 ,
x
x
T
где

- матрица Якоби заданной вектор-функции.
x
4.4. Обратная задача теории ошибок
Обратной задачей теории ошибок назовем задачу определения дисперсии погрешностей аргументов
по заданной допустимой дисперсии ошибки функции.
y   x  ,
В простейшем случае
   2
 x .
 x 
2
 y2  
1

y.
x
Поэтому, если предельное допустимое значение стандартного отклонения  y не должно превосходить  0 ,
Следовательно,
т.е.
 y   0 . Тогда
x 
x 

x
1
0.
Пример. С какой точностью нужно задать угол   60 0 для того, чтобы обеспечить вычисление
функции y  sin  с шестью верными знаками?
 sin 
Имеем
 0  1  10 6 ,
   0.51  1  10 6  2  10 6  0.4.
 cos   600  0.5,

Ответ: аргумент нужно задать до десятых долей секунды.
Рассмотрим теперь функцию с двумя аргументами
z   ( x, y) .
 z2   x x, y 2  x2   y x, y 2  y2 .
Если x и y определяются с независимыми погрешностями, то
Зададим допустимое значение дисперсии ошибки функции  02 такое, что  z2   02 . Следовательно,
 x x, y 2  x2   y x, y 2  y2   02 .
 x2
Перепишем полученное неравенство так:
 02

 x 2
 y2
 02
1
  
2
y
Если взять  x и  y в качестве координат плоскости, то область допустимых значений  x доп и  y доп будет
лежать внутри эллипса с полуосями
a
0
b
0
 x
,
 y
.
Таким образом, решение обратной задачи неоднозначное. Можно определить лишь область допустимых
значений для стандартных отклонений погрешностей, а не сами значения. Для двух переменных эта область
- эллипс, для трех - эллипсоид, для большего числа - гиперэллипсоид.
Чтобы получить хотя бы одно решение, иногда прибегают к методу или принципу равных влияний,
который можно распространить на любое количество переменных. Пусть
y   x1 , x 2 ,..., x m  .
Тогда, предполагая, что ошибки всех переменных независимы, получим
 y2   x1 2  12   x2 2  22  ...   xm 2  m2 .
Принцип равных влияний заключается в принятии гипотезы равного вклада погрешностей всех (или части)
аргументов в суммарную дисперсию ошибки функции. Будем иметь еще m-1 недостающее уравнение
 x1 2  12   xm 2  m2 ,
   
2
x2
2
2
 
    
2
xm
2
m,
..................
 xm1 2  m2 1   xm 2  m2 .


 
Решая эти уравнения совместно с уравнением для  y2 , получим
 x2j 
 
1
 x j 2  y2 , j  1,..., m .
n
1
1
 x j  y .
n
Полученное равенство решает обратную задачу. Следует подчеркнуть отсутствие физического обоснования для
принципа равных влияний, поэтому его следует применять лишь в случае, когда больше ничего не остается.
Пример. Допустим, что наблюдается свободное падение тела в вакууме. Требуется определить точность измерения времени и отрезков пути для того, чтобы обеспечить определение ускорения свободного
падения g с точностью, не хуже 5 мкГал ( 5  10 9 g ).
Для простоты будем считать, что начальная скорость тела равна нулю, а вертикальная координата
тела определяется формулой
t2
zg .
2
Пусть весь путь падающего тела равен l=1м, а время, затраченное на это падение, Т=0.45 с. Отсюда следует
g  2l 2 .
T
Прологарифмируем это равенство:
ln g  ln 2  ln l  2 ln T .
Дифференцируя, получим уравнение ошибок: g  l  2T .
g
l
T
 xj 
Окончательно
Полагая  l и T независимыми, будем иметь:  g2  g 2 (
 l2
g
l2
4
 T2
T2
).
 5 10 9 , следовательно,  l2  0.81 T2  5  10 9 .
g
Стандартные отклонения  l и  T допустимых погрешностей l и Т должны лежать внутри эллипса
По условию задачи
 l2

 T2
 1.
25 10 18 31 10 8
Зафиксируем какое-нибудь значение для  l . Получим допустимую границу погрешности для измерения
времени
 T  5.6  10 9 1 
Результат можно свести в таблицу
1
 l , нм
5.5
 T , нс
Принцип равных влияний дает
2
5.1
 l2
25  10 18
3
4.5
.
4
3.4
2
2
18

 l  0.81 T  25  10
,
 2
2



0
.
81

1
 l
 l2  12.5  10 18 ,
 T2  12.5  10 18 / 0.81  15.4  10 18 ,
 T  3.9 нс .
 l  3.5  10 9 м  3.5нм ,
5
0.0