Методы обработки наблюдений

Методы обработки
наблюдений
А.С.Цветков
СПбГУ
1
Измерение
x1 , x2 ,
x  1 , x  2 ,
, xn
, x  n
2
Математическое ожидание
1 n
x   xi
n i 1
Mxx
M  X1  X 2   M X 1  M X 2
M  aX   aM X
M  X1  X 2   M X1  M X 2
3
Закон распределения случайной величины
4
Нормальное распределение
5
Начальные и центральные моменты
1 n k
 k   xi
n i 1
– начальный момент k-го порядка
n
1
k
 k    xi  1 
n i 1
– центральный момент k-го порядка
6
Вычисление центральных моментов
1  0
2  2  
2
1
3  3  31 2  2
3
1
 4   4  413  6  2  3
2
1
4
1
7
Смысл моментов
1  M x
Математическое ожидание
2  
Дисперсия
2
3
1  3

4
2  4  3

Коэффициент асимметрии
Коэффициент эксцесса
8
Дисперсия – центральный момент 2-го порядка
n
1
2
Dn x    xi  x 
n i 1
– выборочная или смещенная дисперсия
1 n
2
Dx 
 xi  x  – несмещенная (исправленная) дисперсия

n  1 i 1

 x
x 
n
n
n
Dx 
Dn x
n 1
D

i 1
2
i 1 i
2
i
n
n 1
9
Среднеквадратическое отклонение
(среднеквадратичное отклонение)
1 n
2
n  Dn x 
 xi  x 

n i 1
n 2
1 n
2
  Dx 
n 
 xi  x 

n 1
n  1 i 1
Стандартное отклонение
10
Правило 3-х сигм
x  x 
2 
4
3
4
x  x 
x   x  3; x  3
– с вероятностью 99.73%
11
Асимметрия и эксцесс
3
As  3

4
Ex  4  3

12
Коэффициент корреляции
X i , Yi
RXY 
Пусть задано две случайных последовательности
  X  X Y  Y   cov
 
X

X
Y

Y






XY
2
2
X
Y
Коэффициент корреляции меняется в диапазоне от –1 до +1
13
Линейная алгебра
Справка
14
Векторы и матрицы
 t1 
 
t
2 

t
 
 
 tN 
Вектор в N-мерном
пространстве
 a11

a
21

ˆ
A


 aN 1
a12
a21
aN 2
a1N 

a2 N 


aNN 
Матрица N×N
15
Скалярное произведение векторов
 x1 
 
x2 

x
 
 
 xN 
x  y  x1 y1  x2 y2 
 y1 
 
y2 

y
 
 
 yN 
N
xN y N   xi yi
i 1
16
Произведение матрицы на вектор
 a11

a21

ˆ
A


 aN 1
a12
a21
aN 2
 x1 
 
x2 

x
 
 
 xN 
a1N 

a2 N 


aNN 
y  Aˆ  x
N
yi   aij x j
j 1
17
Произведение матрицы на матрицу
 a11

a21

A


 aN 1
a12
a21
aN 2
C  AB
a1N 

a2 N 


aNN 
 b11 b12

b21 b21

B


 bN 1 bN 2
b1N 

b2 N 


bNN 
N
cij   aik bkj
k 1
18
Единичная и обратная матрицы
 a11

A
a
 N1
a1N 


aNN 
1

1
AA  E  
0

0


1 
19
Метод Гаусса нахождения обратной матрицы
 a11

A|E
a
 N1
1

-1
E|A 
0

a1N
1
aNN
0
0


1 
1
11
0 a
1 a
1
N1
a 


1 
aNN 
1
1N
20
Метод наименьших
квадратов
К.Ф. Гаусс (1795)
А.М. Лежандр (1805)
21
Метод наименьших квадратов
В процессе обработки экспериментальных
данных исследователи сталкиваются с
задачей решения избыточной системы
линейных уравнений, т.е. такой системы,
в которой число неизвестных меньше
числа уравнений.
Эта задача возникает в случае
согласования параметров модели
наблюдениям, что может быть показано
графически: следует провести кривую
известной формы так, чтобы сумма
квадратов отклонений ее от
наблюдательных точек была минимальна.
22
Постановка задачи
y  f (t )
Неизвестная функция
ti  yi
i  1,
,M
N
 x  t 
j 1
j
j
Модель в виде базисных функций
j  1, , N
M N
M – число наблюдений
23
N – число неизвестных параметров модели
Матрица системы избыточных уравнений
M
N
 x  t   y
j 1
j
j
i
aij   j  ti 
M
N
i
i 1
 x  t   y  
j 1
j
j
i
i
i 1
M
N
a x
j 1
i
ij
Ax  y  
j
 yi  i
i 1
24
Матрица нормальной системы
M

2
i
M

 min
i 1
i1
f  x1 , x2 ,
xk
, xN 
 f  x   f  x1 , x2 ,
N
i  yi   aij x j
j 1
k 1
2
, xN 
N
0
N


   yi   aij x j 
i 1 
j 1
 0
xk
M
2
i
N
N
N


 yi   aij x j  aik  0

i 1 
j 1

k 1
M
25
k 1
Матрица нормальной системы
M
N
 a a
i 1 j 1
M
ij ik
bkj   aij aik
i 1
N
M
x j   aik yi
i 1
k 1
M
c j   aij yi
i 1
Bx  c
1
xB c
26
Ошибки найденных параметров


  aij x j  yi 
  
i 1  j

M
N
2
2



M N
 j   b
1
jj
2
Сумма квадратов «невязок»
Ошибка «единицы веса»
Среднеквадратичные ошибки
искомых параметров
xj   j
27
Коэффициенты корреляции
между параметрами
rij 
1
ij
b
1 1
ii
jj
b b
Диагональные элементы этой симметрично матрицы равны 1, а не
диагональные показывают взаимную корреляцию i-го и j-го параметров
28
Примерная реализация МНК на языке FORTRAN
Subroutine LSQM(a,y,w, x,d, s, r)
!
!
!
!
!
!
!
m - количество уравнений
n - количество неизвестных
a(m,n) - матрица плана
y(m) - столбец правых частей, w(m) - столбец весов;
x(n) - ответ, d(n) - среднеквадратичные ошибки x;
s - среднеквадратичная ошибка единицы веса;
r(n,n) - корреляционная матрица.
real(8), intent(in) :: a(:,:), y(:), w(:)
real(8), intent(out) :: x(:), d(:), s, r(:,:)
integer i,j,k
real(8) :: u
real(8) :: c(size(x))
integer :: m,n
m=size(a, dim=1)
n=size(a, dim=2)
29
do i=1,n
! Заполнение матрицы нормальной системы
do j=1,i
u=0.0
do k=1,m
u=u+a(k,i)*a(k,j)*w(k)
end do
r(i,j)=u; r(j,i)=u
end do
! Заполнение столбца нормальной системы
u=0.0
do k=1,m
u=u+a(k,i)*y(k)*w(k)
end do
c(i)=u
end do
30
! Решение системы
call Invert(r)
call Multiply(r,c,x)
! Сумма квадратов невязок
s=0.0
do k=1,m
u=0.0
do i=1,n
u=u+a(k,i)*x(i)
end do
s=s+(u-y(k))**2 * w(k)
end do
! Ошибка единицы веса
s=sqrt(s/(m-n))
! Ошибки параметров
do i=1,n
d(i)=s*sqrt(r(i,i))
end do
31
! Вычисление корреляционной матрицы
do i=1,n
do j=1,i-1
r(i,j)=r(i,j)/sqrt(r(i,i)*r(j,j))
r(j,i)=r(i,j)
end do
end do
do i=1,n
r(i,i)=1.0_8
end do
32