Выч. метода линейной алгебры (2010)

III семестр. ММФ НГУ
Вычислительные методы линейной алгебры
Конспект лекций
Мацокин А.М. – проф. кафедры вычислительной математики
2010 – 2011 учебный год
Предлагаем Вашему вниманию конспект лекций семестрового курса
«Вычислительные методы линейной алгебры», прочитанных профессором
кафедры А.М. Мацокиным для студентов второго курса механико–
математического факультета Новосибирского государственного университета.
Мы надеемся, что этот конспект будет полезен студентам ММФ НГУ для более
полного усвоения курса и применения методов вычислительной математики в
их дальнейшей учебной, научно–преподавательской и практической
деятельности.
Ограничений на использование и распространение конспекта – нет.
Любым замечаниям автор конспекта будет только рад и принимает их по
адресу
E-mail: matsokin@oapmg.sscc.ru
или
E-mail: mmf@nsu.ru
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Содержание
Лекция 1. .............................................................................................................................................5
Традиционные задачи линейной алгебры ....................................................................................5
Векторные и матричные нормы ....................................................................................................6
Число обусловленности .................................................................................................................9
Лекция 2. Прямые методы решения линейных уравнений ..........................................................10
Метод исключения Гаусса – схема единственного деления ....................................................10
Теорема об LU разложении .........................................................................................................11
Разложение Холесского ...............................................................................................................12
Метод квадратного корня ............................................................................................................12
Лекция 3. ...........................................................................................................................................14
Метод исключения с выбором главного элемента по столбцу ................................................14
Матрица перестановок .............................................................................................................14
Элементарная матрица перестановок .....................................................................................14
Выбор главного элемента по столбцу. ...................................................................................14
Метод вращений решения системы уравнений .........................................................................16
Элементарная матрица вращения ...........................................................................................16
k –ый шаг метода вращений ...................................................................................................16
Сведение системы уравнений к системе с двухдиагональной матрицей с помощью матриц
вращения .......................................................................................................................................17
1-ый шаг ....................................................................................................................................17
k -ый шаг...................................................................................................................................17
Система с двухдиагональной матрицей .................................................................................18
Лекция 4. ...........................................................................................................................................19
Метод отражений решения системы уравнений .......................................................................19
Матрица отражения..................................................................................................................19
k –ый шаг метода отражений..................................................................................................19
Решение системы с вырожденной матрицей .............................................................................20
HR –разложение с перестановками столбцов матрицы A ................................................20
Совместность системы с вырожденной матрицей ................................................................21
Применение HR –разложения с перестановками столбцов для решения совместной
системы .....................................................................................................................................21
Метод прогонки решения систем с трехдиагональной матрицей ...........................................22
Лемма Гершгорина (о локализации собственных значений). ..................................................25
Лекция 5. Итерационные методы решения линейных уравнений...............................................27
Пример и основные определения ...............................................................................................27
Пример: .....................................................................................................................................27
Одношаговый (двухслойный) итерационный метод решения Ax  b : ............................27
Стационарный одношаговый итерационный метод решения Ax  b : .............................27
Условия сходимости стационарного итерационного метода ..................................................28
Достаточные условия: ..............................................................................................................28
Необходимое и достаточное условие сходимости стационарного итерационного метода
....................................................................................................................................................28
Стационарный итерационный метод......................................................................................28
Асимптотическая скорость сходимости ................................................................................29
Лекция 6. ...........................................................................................................................................32
Метод Якоби .................................................................................................................................32
Сходимость в случае диагонального преобладания по строкам .........................................32
Сходимость в случае диагонального преобладания по столбцам .......................................32
3
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Необходимое и достаточное условие сходимости метода Якоби в случае симметричной
матрицы с положительной главной диагональю ..................................................................33
Метод Зейделя (Гаусса–Зейделя, Некрасова) ............................................................................34
Лекция 7. ...........................................................................................................................................37
Функционал ошибки ....................................................................................................................37
Метод полной релаксации ...........................................................................................................38
Метод неполной релаксации .......................................................................................................40
Оценка сходимости методов релаксации ...................................................................................42
Предварительные замечания ...................................................................................................42
Пример...........................................................................................................................................44
Лекция 8. ...........................................................................................................................................47
Градиент, метод наискорейшего спуска ....................................................................................47
Градиент функции
f (z) : R n  R .....................................................................................47
Градиент функции
f (z)  || z || С2 : R n  R ..................................................................47
Выбор матрицы C ...................................................................................................................48
Метод наискорейшего спуска .................................................................................................48
Метод минимальных невязок ......................................................................................................48
Метод простой итерации .............................................................................................................49
Предварительные замечания ...................................................................................................49
Метод простой итерации .........................................................................................................50
Оптимальный выбор параметра  метода Ричардсона ........................................................50
Оценки сходимости МНС и ММН .............................................................................................51
Лекция 9. Метод Ричардсона с чебышевскими параметрами ......................................................53
Предварительные замечания .......................................................................................................53
Построение полинома S  (), S  (0)  1 , наименее уклоняющегося от нуля на
m, 
m, 
интервале [, ] ..........................................................................................................................56
Полином Чебышева..................................................................................................................56
Полином S  () ..................................................................................................................57
m, 
Норма полинома S
m, 
() .....................................................................................................58
Формулы m -циклического метода Ричардсона с чебышевскими параметрами ..................59
Численная неустойчивость двучленных формул метода Ричардсона ................................59
Трехчленные формулы реализации метода Ричардсона ......................................................60
Лекция 10. .........................................................................................................................................62
Метод сопряженных градиентов ................................................................................................62
Предварительные замечания ...................................................................................................62
Минимизация функционала ....................................................................................................63
Построение A –ортогонального базиса .................................................................................64
Метод сопряженных градиентов ............................................................................................65
Трехслойные формулы метода сопряженных градиентов ...................................................66
Лекция 10 (продолжение). ...............................................................................................................67
Переобусловливатель ...................................................................................................................67
Метод простой итерации с переобусловливателем ..............................................................67
Метод наискорейшего спуска с переобусловливателем ......................................................69
Метод сопряженных градиентов с переобусловливателем..................................................70
Положительно определенные матрицы .....................................................................................72
Лекция 11. Проблема собственных значений ................................................................................73
Корректность задачи на собственные значения ........................................................................73
3
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Степенной метод вычисления максимального собственного значения матрицы
A  A  0 ..................................................................................................................................74

Степенной метод вычисления минимального собственного значения матрицы A  A  0
........................................................................................................................................................75
Применение ортогонализации и степенного метода для вычисления очередного
собственного значения.................................................................................................................75
1

Степенной метод вычисления границ спектра матрицы B A в случае A  A  0 и
B  B  0 ...................................................................................................................................76
Лекция 12. Метод деления пополам (бисекций) ...........................................................................78
Идея метода бисекций вычисления  j  Sp (A) ..................................................................78
Приведение самосопряженной матрицы к трехдиагональному виду ортогональным
преобразованием подобия с помощью матриц вращения ........................................................79
Якобиевы матрицы .......................................................................................................................80
О вычислении ЧПЗ .......................................................................................................................82
О вычислении собственного вектора .........................................................................................82
Лекция 13. Метод вращений (Якоби) .............................................................................................83
Выбор вращения ...........................................................................................................................84
Сходимость собственных значений ...........................................................................................85
Сходимость собственных векторов ............................................................................................85
Элементарная матрица унитарного вращения ..........................................................................87
Литература ........................................................................................................................................89
3
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 1.
Традиционные задачи линейной алгебры
 a11 a12
a
a 22
n
A  (a ij )i, j1   21


a n1 a n 2
a1n 
 x1 
x 
a 2n 
  матрица , x   2   вектор
 

 

a nn 
 xn 
Задачи:
Методы (теория определителей):
решение системы уравнений
метод Крамера:
xi 
Ax  b
вычисление обратной матрицы:
  det A
Ax    x
( j)
матрицы X :
Ax ( j)  e j , x ij 
по определению


(i1 ,
спектральная задача:
 i  det {A i , b}
определение столбца x
AX  XA  E
вычисление определителя
i
,

 ji

(1) r  a1i1  ...  a n in
,i n )
собственные значения – корни полинома
Pn ()  det (A    E)
собственные векторы – решения систем
(A    E)x  0
r линейно независимых решений, где
r  dim {Ker (A    E)}
Непригодность этих методов:
количество
умножений
при ошибки округления:
вычислении
одного a  a   | a |,   106
определителя:
если n  6 , | a i j |  10 ,   1,
(n  1)  n!
если производительность ЭВМ
109 оп/сек, то
n
время
вычисления
10
104 сек.
20
> 17 мин.
30
> 400 тыс. лет
a i  a1i1  ...  a n in , то a i  a i  O(1)
    n!  O(1)  O(1)
т.е. определитель вычисляется с большой
ошибкой и, следовательно, решения
поставленных задач вычисляются с такой же
ошибкой.
5
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 1.
Векторные и матричные нормы
Векторные
Матричные
 x  R n (Cn )
 A  R nn (Cnn )
|| x ||  0,
|| x ||  0,
аксиомы 1. – 3.
x0
x 0
согласованная с
векторной, если
|| Ax ||  || A ||  || x ||
– аддитивная
подчиненная
векторной, если
4. || AB ||  || A ||  || B ||
||   x || |  |  || x ||
–мультипликативная
|| A ||  sup
|| x  y ||  || x ||  || y ||
Примеры:
|| Ax ||
|| x ||
Примеры подчиненных матричных норм:
|| x ||  max | x i |
– кубическая или равномерная
|| x ||1 | x1 | ... | x n |
n
|| Ax ||
|| A ||  sup
 max  | a i j |
i
|| x ||
j1
n
|| Ax ||1
|| A ||1  sup
 max  | a i j |
j
|| x ||1
i 1
– октаэдрическая
|| x ||2  | x1 |2 ... | x n |2
|| A ||2  sup
–сферическая или евклидова
|| Ax ||2
 (AA)
|| x ||2
Вывод формул для некоторых матричных норм, подчиненных векторным нормам.
 j1| ai j | .
1i n
1) Векторной норме || x ||   max | x i | подчинена матричная норма || A ||   max
1i n
n
Действительно:
во-первых; || A ||  max
n
| ai j | :
1i  n j1
max |  j1 a i j  x j |
|| Ax || 
|| A ||  sup
 sup 1i n

max | x i |
x 0 || x || 
x 0
n
 sup
1i  n
n
max( j1| a i j |  max | x j |
1i  n
1 j n

1i  n
n
j1
 max  | a i j |;
n
| ai j |  | ai
1i  n
во-вторых; || A ||  max
n
1i  n j1
max | x i |
x 0
)
j1
n
(i )
(i )
имеем || Ax 0 ||   | (Ax 0 )i0 |  |
0
j |,
 a i0 j
j1
так как для вектора x
ai0 j
| a i0 j |
6
n
(i0 )
(i )
 (x j 0 
ai0 j
| a i0 j |
) nj1
|   | a i0 j | и, поскольку || x (i0 ) ||   1 ,
j1
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 1.
|| A || 
|| Ax ||  || Ax (i0 ) ||  n
 sup

  | a i0 j |  || A ||  ,
|| x (i0 ) || 
x 0 || x || 
j1
что завершает доказательство формулы.
2) Векторной норме || x || 1 
 i1| xi | подчинена матричная норма || A ||1  1max
i1| ai j | .
 j n
n
n
Действительно:
во-первых; || A || 1  max
n
| ai j | :
1 j n i 1
 i1|  j1ai j  x j |
 i1( j1| ai j |  | x j | )
|| Ax || 1
|| A || 1  sup
 sup

sup

n
n
x 0 || x || 1
x 0
x

0
 |x |
 |x |
n
n
n
i 1 i
n
n
( i 1| a i j |
j1
n
|x |
i 1 i
n
 
 sup
x 0

n
| ai j |  | ai j
1 j n
во-вторых; || A || 1  max
имеем || Ax( j0 ) || 1 
i 1
n
| a i j
i 1
0
0
i 1
n
i 1
) | x j |
i
n
 max  | a i j |;
1 j n i 1
(j )
| , так как для вектора x ( j0 )  (x j 0   j0 , j ) nj1
| и, поскольку || x ( j0 ) || 1  1 ,
|| Ax || 1 || Ax ( j0 ) || 1 n
|| A || 1  sup

  | a i j0 |  || A || 1 ,
|| x ( j0 ) || 1
x 0 || x || 1
i 1
что завершает доказательство формулы.
3) Векторной норме || x || 2 
i1| xi | 2
n
подчинена матричная норма || A || 2  (A A) .
Прежде всего, напомним определения скалярного произведения и спектрального радиуса.
а) Отображение (x, y) : C n (R n )  C n (R n )  R  называется скалярным произведением в
векторном пространстве C n (или R n ), если
1. (x, x)  0  x  C n (R n ), (x, x)  0  x  0;
2. (x, y)  (y, x)  x, y  C n (R n );
3. (  x, y)    (x, y)    C(R), x, y  C n (R n ),
4. (x  y, z)  (x, z)  (y, z) x, y, z  C n (R n )
Скалярное произведение определяет векторную норму || x ||  (x, x) и имеет место
неравенство Коши: | (x, y) |  || x ||  || y || .
Классическое (евклидово) скалярное произведение (x, y) 
евклидову норму вектора || x || 2  (x, x) 
i1 xi  yi
n
определяет
i1| xi | 2 .
n
б) Обозначим через Sp(A) множество собственных значений матрицы A . Тогда число
(A)  max |  |
Sp(A)
называется спектральным радиусом матрицы A .
7
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 1.
Матрица A , сопряженная матрице A относительно скалярного произведения (x, y) ,
определяется тождеством Лагранжа:
(Ax, y)  (x, A y)  x, y  C n (R n ) .
Напомним, что матрица A  ( (A )i j  a ji )i,n j1 сопряжена матрице A относительно
евклидова скалярного произведения.
Далее, матрица A A самосопряжена (эрмитова), все её собственные значения  i
вещественны и неотрицательны, а из её собственных векторов x (i)  0 : A Ax (i)   i x (i)
можно образовать ортонормированный базис в Cn (R n ) : (x(i) , x( j) )  i, j , i, j  1, ..., n .
Теперь докажем равенство || A || 2  (A A) .
во-первых; || A || 2  (A A) , так как
|| A || 22
 sup
x 0
|| Ax || 22
|| x || 22

(A Ax, x)
 sup

(x, x)
x 0
sup
1 | 1 | 2 ...   n  |  n | 2
x 0,
x 1x ... n x (n)
(1)
| 1 | ... |  n |
2
2
 max i  (A A);
1i  n
во-вторых; || A || 2  (A A) , так как (пусть  n  (A A) ) для вектора x (n) имеем
(A Ax, x) (A Ax(n) , x(n) )

  n  (A A) ,
(n)
(n)
(x, x)
(x , x )
x 0
|| A || 22  sup
что завершает доказательство формулы.
Теорема.
Любые две нормы || x || и || x || в Примеры:  x  R n (Cn )
конечномерном
пространстве || x ||  || x ||1  n || x ||
эквивалентны:
|| x ||  || x ||2  n || x ||
 , :  x  || x ||  || x ||   || x || || x ||2  || x ||1  n || x ||2
!!! Константы эквивалентности зависят от размерности пространства !!!
При решении системы линейных уравнений Ax  b могут быть неточно заданы
либо правая часть b  b  b либо матрица A  A  A , где компоненты вектора
b и элементы матрицы A малы по сравнению с соответствующими
элементами исходных вектора и матрицы. Тогда вместо решения x мы
получим его приближение x  x  x , причем компоненты вектора–ошибки x
могут быть большими.
Оценим норму ошибки через нормы возмущений правой части и матрицы
системы, считая, что матричная норма подчинена векторной норме.
8
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Число обусловленности
Определение. cond A || A ||  || A 1 ||
1. cond A  1 т.к.
1
1
|| x ||  || AA x ||  || A ||  || A ||  || x ||
Теорема.
Док–во.
2. cond(AB)  cond A  cond B т.к.
|| AB ||  || (AB)1 ||  || A ||  || B ||  || B1 ||  || A 1 ||
Ax  b, det A  0

A(x  x)  b  b
|| x ||  || A 1b ||  || A 1 ||  || b ||

|| A ||  || x ||  || Ax ||  || b ||
|| x ||
|| b ||
 cond A 
|| x ||
|| b ||
|| x ||
|| b ||
.
 cond A 
|| x ||
|| b ||
Теорема. Ax  b, det A  0, (A  A)(x  x)  b  b, || A 1 ||  || A || 1
|| x ||
cond A
|| b || || A ||


(

)
|| x || 1  cond A  || A || || b || || A ||
|| A ||
Док–во.
|| A 1 ||
1
1
1.  (A  A) и || (A  A) || 
, т.к. (A  A)  A(E  A 1  A)
1
1 || A ||  || A ||
и
|| (E  A1A)z ||  || z ||  || A 1  A  z ||  (1 || A 1 ||  || A ||) || z ||  0 , то
|| (E  A 1  A) 1 x ||
1
1
1
1

 (E  A  A) и || (E  A  A) ||  sup
|| x ||
|| z ||
1
 sup

|| (E  A 1  A)z || 1 || A 1 ||  || A ||
Замечание. E  X  X2  X3  ...  (E  X)1 и || (E  X)1 ||  (1 || X ||) 1 , если
|| X ||  1. При X  A1A получаем еще одно доказательство  (E  A 1  A)1 .)
2. Т.к. x  (A  A)1[b  b  (A  A)x]  (A  A) 1[b  A  x] , то
|| x ||
|| b ||
|| x ||  || (A  A)1 || (|| b ||  || A ||  || x ||) 
 || (A  A) 1 || (
 || A ||)
|| x ||
|| x ||
т.к. || x ||  || b || / || A || , то
|| x ||
|| b ||
 || (A  A)1 || ( || A || 
 || A ||) 
|| x ||
|| b ||
|| A 1 ||
|| b ||
|| A 1 ||  || A ||
|| b || || A ||


(
||
A
||


||

A
||)


(

).
|| A ||
1 || A 1 ||  || A ||
|| b ||
||
b
||
||
A
||
1
1 || A ||  || A ||
|| A ||
9
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 2. Прямые методы решения линейных уравнений
Метод исключения Гаусса – схема единственного деления
 a11

Ax  b, det A k  det 
a k1

a1k 

  0, k  1,...,n
a k k 

A  LU
Ly  b
Ux  y
Схема единственного деления на примере системы третьего порядка:
Прямой ход:
Матричная формулировка:
Ax  b,
a11x1  a12 x 2  a13 x 3  b1
 1/ a11
0 0
a 21x1  a 2 2 x 2  a 23 x 3  b 2


det A1  a11  0, L1   a 21 / a11 1 0 
a 31x1  a 32 x 2  a 33x 3  b3
 a 31 / a11 0 1 


x1  u12 x 2  u13 x 3  y1
A(1) x  b(1) , A(1)  L1A, b(1)  L1b
(1)
(1)
a (1)
1
0
0
2 2 x 2  a 23 x 3  b 2
(1)
(1)


a 32
x 2  a 33
x 3  b3(1)
L 2  0
1/ a (1)
0
det A(1)
22
2  0,
(1)
0 a 32
/ a (1)
1 
22

x1  u12 x 2  u13 x 3  y1 A(2) x  b(2) , A(2)  L2A(1) , b(2)  L2b(1)
x 2  u 23 x 3  y 2
1 0
0 
(2)


a 33
x 3  b3(2)
0 
det A3(2)  0, L3  0 1
(2)
0 0 1/ a 33



x1  u12 x 2  u13 x 3  y1
Ux  A(3) x  b(3)  y, A(3)  L3A(2) , b(3)  L3b(2)
x 2  u 23 x 3  y 2
1 u12 u13 
x 3  y3
U  0 1 u 23  , A  (L11  L21  L31 )  U  L  U


0 0
1 
Обратный ход:
Матричная формулировка:
x 3  y3 , x 2  y2  u 23x 3 , x 3  y1  u12 x 2  u13x 3
x  U1y
Формулы схемы единственного деления (доказать):
k–ый шаг прямого хода:
0
0
1

1
0
0
A (k 1) x  b(k 1)  A (k ) x  b(k ) ,
1)

0
1/ a (k
kk
Lk  0
(k )
(k 1)
(k )
(k 1)
A  Lk A , b  Lk b
0
(k 1)
(k 1)
0

a
/
a
k

1k
kk


1)
A(n)  U – верхняя треуг. матрица
0 a (kn k1) / a (k
kk
0
10
0
0
0
1
0
0

0
0
0 

1 
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 2.
Теорема об LU разложении
Если  k det A k  0 , то  L  U: A  LU , где L – нижняя, U – верхняя
треугольные матрицы.
Доказательство.
Если A  LU , то A k  Lk U k , det A k  det L k  det U k  l11  ...  l kk  u11  ...  u kk  0 ,
Bk, n k   Lk
Ok, n k   U k
U k, n k 
 Ak


т.к. 
 L
 O
.
'
'
'
C
A
L
U
n

k,
k
n

k
n

k,
k
n

k
n

k,
k
n

k

 
 

Предположим, что разложение A k  Lk U k найдено ( A1  a11  L1U1  l11  u11  0 ).
Вычислим A k 1  L k 1U k 1
(т.е. последние строку матрицы L k 1 и столбец матрицы U k 1 ):
0  
a1, k 1  
u1, k 1 

  U

 

Lk
Ak
k






т.к.



0  
a k, k 1  
u k, k 1 
 

 

a
a
a
0
0
u
l
l
l
 
  k 1,1

k 1, k
k 1, k 1 
k 1, k 1 
k 1, k
k 1, k 1 
 k 1,1
 u1, k 1   a1, k 1 

 

lk 1,1

lk 1, k  U k  a k 1,1
то L k 
 
,
 u k, k 1  a k, k 1 

 

треугольными неособенными матрицами (решения  ! ), и
a k 1, k  – системы с
 u1, k 1 


lk 1, k 1  u k 1, k 1  a k 1, k 1  lk 1,1
lk 1, k   
,
 u k, k 1 


очевидно, что решение этого уравнения существует, но не единственно.
(так как 0  det A k 1  det L k 1  det U k 1 , то det L k 1  0, det U k 1  0 .)
И, наконец, A  A n  L n U n  LU .
Объем вычислений.
Так как для решения системы уравнений с треугольной матрицей порядка k
достаточно выполнить k(k  1) / 2 умножений и делений, то полагая на каждом
шаге u k 1, k 1  1 , получим, что число таких операций для вычисления последних
строки и столбца матриц L k 1 и U k 1 равно k(k  2) , а для вычисления матриц
L и U достаточно

n 1
1
k(k  2)  n 3 / 3 умножений или делений.
Замечание.
Если построено LU –разложение матрицы A , то ее определитель вычисляется
за 2(n  1) умножений (перемножаются диагональные (ведущие) элементы).
11
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 2.
Теорема (об LDU – разложении).
Если det A k  0  k ,
то разложение A  LDU , где
lkk  u kk  1  k , единственно.
Док–во.
Пусть A  L(1) D(1) U(1)  L(2) D(2) U(2) , тогда
[L(2) ]1 L(1)  D(2) U(2)[D(1) U(1) ]1  diag  E ,
(т.к. [L(2) ]1 L(1) – нижняя треуг. м–ца с
единицами на диагонали)
 L(1)  L(2)
 [D(2) ]1 D(1)  U(2) [U(1) ]1  diag  E
 U(1)  U(2) & D(1)  D(2) .
Разложение Холесского
Теорема. Если A  A  0 (т.е. (Ax, x)  0  x  0 ),
то A  L  D  L , lk k  1, d k  0  k .
Док–во.
 xk 
Т.к. 0  (Ax, x)  (A k x , x )  x     0 , то det A k  0  k
0
k
k
 A  LDU  A  UDL  LDL .
Т.к.  y(k)  [L ]1 ek  0 & A  0 , то
(Ayk , yk )  (LDL yk , yk )  (DL y k ,L y k )  d k  0  k .
Следствием теоремы о разложении Холлеского является критерий
положительной определенности самосопряженной (относительно евклидова
скалярного произведения) матрицы A :
Самосопряженная (относительно евклидова скалярного произведения)
матрица A положительно определена тогда и только тогда, когда все
её главные миноры положительны.
Докажите, что для любой самосопряженной (относительно евклидова
скалярного произведения) матрицы A выполняются неравенства:
min (A)  (x, x)  (Ax, x)  max (A)  (x, x)  x .
Очевидно, что следствием левого неравенства является утверждение:
Самосопряженная (относительно евклидова скалярного произведения)
матрица A положительно определена тогда и только тогда, когда все
её собственные значения положительны.
Суммируя эти утверждения, получаем «критерий Сильвестра»:
Все собственные значения самосопряженной (относительно евклидова
скалярного произведения) матрицы A положительны тогда и только
тогда, когда все её главные миноры положительны.
Метод квадратного корня
Теорема. Если A  A  0 , то A  BB , где B – нижняя треугольная м–ца, и
cond 2 B  cond 2 B  cond 2 A .
Док–во.
Из теоремы о разложении Холесского имеем
12
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 2.
A  LDL  L(D1/ 2D1/ 2 )L  (LD1/ 2 )(LD1/ 2 )  B  LD1/ 2 .
Т.к. Sp(BB)  Sp(BB )  Sp(A) , то || B || 2  || B || 2  (A)  || A || 2 .
Аналогично || B1 || 2  || (B ) 1 || 2  (A 1 )  || A 1 || 2 .
 cond 2 B  cond 2 B  cond 2 A .
Решение системы уравнений Ax  b с помощью разложения A  BB
называется методом квадратного корня. Так как
2
b11
 a11 , b 21b11  a 21 , b 31b11  a 31
 b11 0 0   b11 b21 b31   a11 a 21 a31 

 

 
2
 b 21 b 22 0    0 b 22 b32   a 21 a 22 a32   b 22  a 22  b 21b21 , b32b 22  a 32  b 21b31
2
 b31 b32 b33   0 0 b33  a 31 a 32 a 33 
b33
 a 33  b31b31  b32 b32
 

 

то элементы матрицы B вычисляются по следующим формулам:
b
 a kk   j1 | b k j | , b k i,k  (a k i,k   j1 b k i, j bk, j ) / b k k , i  1,...,n  k
k 1
kk
k 1
2
13

n
k 1
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 3.
Метод исключения с выбором главного элемента по столбцу
Напомним 1–ый шаг схемы единственного деления для решения Ax  b :
(1)
(1)
a1n   x1   b1 
1 a12
  x1   b1(1) 
a1n
 a11 a12

    (1) 
a
(1)
a22
a 2 n   x 2   b2 
a (1)
b
2n   x2 
 21
        0 a 2 2

  2 ,

   


    




    


(1)
 b(1) 
a n n   x n   b n 
aa (1)
x
0 a n 2
nn 

n

 n 
a n1 a n 2

где a1(1)j  a1 j / a11 , b1(1)  b1 / a11 , a i(1)j  a i j  a i1  a1 j / a11 (i, j  2, ..., n) .
Эти операции выполнимы, если (главный элемент шага) a11  0 .
Ошибки округления будут меньше, если | a11 |  | a1 j | или | a11 |  | a i1 | .
Матрица перестановок
1, j  k i
P  (pi j )i,n j1 , pi j  
, где (k1 ,k 2 , ..., k n ) – перестановка (1, 2, ..., n) .
0,
j

k

i


Доказать, что PP  P P  E , т.е. P – ортогональная матрица.
Доказать, что cond 2 (P)  1.
Элементарная матрица перестановок
Pk l – матрица перестановок k и l элементов в n –ке (1, 2, ..., n) .

1
Доказать, что Pk,l  Pk,l
.
 Pk,l
Доказать, что умножение на матрицу Pk, l матрицы A слева ( Pk, l A ) – это
перестановка k и l строк, справа ( A Pk, l ) –перестановка k и l столбцов
матрицы A .
Выбор главного элемента по столбцу.
1–й шаг:
находим i1 : | a i1 1 |  max | a i1 | (  0 , если det A  0 );
i 1,...,n
меняем местами 1 и i1 строки: A(1/ 2)  P1,i1 A, b(1/ 2)  P1,i1 b ;
обнуляем в 1–ом столбце элементы: A(1)  L1 A(1/ 2) , b(1)  L1 b(1/ 2) ,
0
0
 1
 (1/ 2)

(1/ 2)
(1/ 2)
a11(1/ 2) a12

a1n
 b1(1/ 2) 
  a 21

1
0


 (1) 
 a11(1/ 2)

0
a (1)
a (1)
b
22
2n 
(1)
(1)

, A 
L1  
, b  2 








 (1) 
 (1/ 2)

0
a (1)
a (1)
a


n
2
n
n
 bn 
n1




0
1
 a11(1/ 2)



(1)
det A  0  det A  0 .
14
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 3.
После k шагов имеем A(k) x  b(k) , где det A(k)  0 , если det A  0
U k, n k
 y (k ) 
Uk

 (k ) 

(k )
(k ) 
a
a
k

1,k

1
k

1,n
 b k 1 


(k )
A (k )  
,
b




0




(k )
(k )
(k )
a
a
b
n,k

1
n,n
 n 


( k  1)–й шаг:
находим i k 1 : | a i(k)
|  max | a i k 1 | ;
k 1 k 1
i k 1,...,n
меняем местами k  1 и i k 1 строки:
0 
Ek
Pk 1,ik 1  
A(k1/ 2)  Pk1,ik 1 A(k) , b(k 1/ 2)  Pk1,ik 1 b(k) ;
(n  k)  ,
 0 P1,ik 1 k 
обнуляем в ( k  1)–ом столбце элементы:
1
0

 (k 1/ 2)
  a k  2, k 1 1
1/ 2)
 a (k
0 
Ek
k 1, k 1
(n  k )
L k 1  
, L1  
(n  k ) 
0
L


1

 (k 1/ 2)
  a n, k 1
0
1/ 2)
 a (k
 k 1, k 1
(k 1)
(k 1/ 2)
(k 1)
A
 Lk 1 A
, b
 Lk 1 b(k 1/ 2) :
U k, n k
Uk

1/ 2)
1/ 2)
a (k
a (k
k 1,k 1
k 1,k  2

1)
0
a (k
A (k 1)  
k  2,k  2
0

1)

0
a (k
n,k  2

det A(k)  0  det A(k 1)  0 .

1/ 2) 
a (k
k 1, n 
1) 
a (k
k  2,n ,


(k 1) 
a n,n

0

0

,


1


b(k 1)
 y(k) 
 (k 1/ 2) 
 b k 1 
(k 1)
  bk2  .




 (k 1) 
 b n 
Очевидно, что, если det A  0 , то выполнив n  1 шаг, получим систему с
верхней треугольной матрицей: A(n 1) x  Ux  b(n 1)  y .
Теорема. Если det A  0 , то PA  LU , где P  Pn 1,i  ...  P1,i , L1  Ln 1  ...  L1 ,
n 1
1
Lk  Pn 1,i n 1  ...  Pk 1,i k 1  Lk  Pk 1,i k 1  ...  Pn 1,i n 1
Доказать эту теорему в качестве упражнения, проверив, что матрицы L k и L k
имеют одинаковую структуру.
15
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Метод вращений решения системы уравнений
Элементарная матрица вращения
E
0
0 
k 1


ck, l
0
 s k, l

  k  я строка

Qk, l   0
0 E lk 1
0
0 
(k  l).
ck, l  ck, l  s k, l  s k, l  1,

  l  я строка
s k, l
0
ck, l


0
0
E

n l 

Доказать, что Q k, l – унитарная матрица, т.е. Qk,l (Qk,l )*  (Qk,l )* Qk,l  E .
Доказать, что det Qk,l  1.
Доказать, что при умножении на матрицу Q k, l матрицы A слева ( Qk,l A )
изменяются только k и l строки матрицы A .
k –ый шаг метода вращений
Предположим, что после k  1 шага система Ax  b с помощью умножения
слева на ортогональную матрицу приведена к виду A(k 1) x  b(k 1) , где
R k 1, n k 1
 R k 1

 y(k 1) 

 (k 1) 
(k 1)
(k 1) 
a
a
k,
k
k,
n


 b k  (A (0)  A, b(0)  b) .
(k 1)
A (k 1)  
,
b




0




(k 1)
(k 1)
(k 1)
a
a
b
n,
k
n,
n


 n 
Тогда k –ый шаг состоит из умножения системы A(k 1) x  b(k 1) слева на
элементарные матрицы вращений Qk, k 1 , ..., Qk, n :
0 
 E k 1
(k 1,i)
Qk, k i  
 Qk, k i A (k 1,i1) , b(k 1,i)  Qk, k i b(k 1,i 1) , где
(n k 1)  , A
 0 Q1,1i 
1,i 1)
1,i 1)
a (k
a (k
k, k
k i, k
1,i 1) 2
1,i 1) 2
|  | a (k
|  0,
, если rk, k i  | a (k
ck, k i 
, s k, k i  
k, k
k i, k
rk, k i
rk, k i
Qk, k i  E , если rk, k i  0 .
В результате получим A(k)  Qk A(k 1) , b(k)  Qk b(k 1) , где Qk  Qk, n ...Qk, k 2Qk, k 1 .
Выполнив n  1 шаг, получим систему с верхней треугольной матрицей:
A(n 1) x  Rx  b(n 1)  y (заметим, что, если det A  0 , то и det R  0 ).
Если определить унитарную матрицу Q*  Qn 1  ...  Q1 , то справедлива
Теорема.  A  A  Q  R .
Доказать, что cond 2 A  cond 2 Q  cond 2 R  cond 2 R .
16
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Сведение системы уравнений к системе с двухдиагональной
матрицей с помощью матриц вращения
1-ый шаг
Сначала, умножая последовательно слева систему Ax  b на
элементарные матрицы вращений Q1,2 , ..., Q1, n , исключим первое
неизвестное из всех уравнений, начиная со второго:
Q1, n  ... Q1,2  Ax  A(1/2) x  b(1)  Q1, n  ... Q1,2  b ,
(это первый шаг метода вращений для системы Ax  b ).
Затем матрицу полученной системы умножим последовательно справа на
элементарные матрицы вращений T2,3 , ..., T2, n , определяя угол вращения
из
условия
равенства
нулю
элементов
первой
строки
(A(2,3)  A(1/2)T 2,3 )1,3 , …, (A(2,n)  A(2,n 1) T 2,n )1,n :
(...(A
(1/2)
 T 2,3 )  ...  T 2, n 1 )  T 2, n  A
(1)
(1/2)
a1,1

 0



 0
(1)
a1,2
0
a (1)
2,2
a (1)
2,3
a (1)
n,2
a (1)
n,3
0 

(1) 
a 2,2
.


a (1)
n, n 

И, наконец, перепишем систему A(1/2) x  b(1) в виде
A(1)  (T2,n T2,n 1...T2,3 )x  b(1)
x(1)
относительно неизвестного вектора x(1) и x  T 2,3 ...T 2, n 1T 2, n  x (1) , т.е.
необходимо сохранить косинусы и синусы углов вращения матриц T 2, j .
k -ый шаг
Предположим, что после k  1 шага система Ax  b с помощью матриц
вращения приведена к виду A(k 1) x(k 1)  b(k 1) , где
( k 1)
a1,1

a1,( k21)




( k 1)
( k 1)


a k 1, k 1 a k 1, k 0
0


0
a (k,k k1) a (k,k k1)1
a (k,k n1)  .
A ( k 1)  

0
a (kk1,1)k a (kk1,1)k 1
a (kk1,1)n 




(
k

1)
(
k

1)
(
k

1)

0
a n, k
a n, k 1
a n, n 

Тогда k –ый шаг состоит:
17
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
из последовательного умножения системы A(k 1) x(k 1)  b(k 1) слева на
элементарные матрицы вращений Qk, k 1 , ..., Qk, n с тем, чтобы обнулить
элементы k -го столбца ниже диагонального:
Qk, n  ... Qk, k 1  A(k 1) x(k 1)  A(k 1/2) x(k 1)  b(k)  Qk, n  ... Qk, k 1  b(k 1) ,
затем матрицу полученной системы умножим последовательно справа на
элементарные матрицы вращений T k 1,k 2 , ..., T k 1,n , определяя угол
вращения из условия равенства нулю элементов k -ой строки
(A(k 1,k 2)  A(k 1/2) T k 1,k 2 )k,k 2 , …, (A(k 1,n)  A(k 1,n 1) T k 1,n )k,n :
(...(A (k 1/2)  T k 1,k  2 )  ...  T k 1,n 1 )  T k 1,n  A (k) 
(k 1)
a1,1












a1,(k21)
1)
(k 1)
a (k
k 1, k 1 a k 1, k




0

.
0


a (k)
k 1, n 



a (k)
n, n 

0
0
1/2)
a (k
k, k
a (k)
k, k 1
0
0
(k)
a (k)
k 1, k 1 a k 1, k  2
0
0
a (k)
n, k 1
0
a (k)
n, k  2
И, наконец, перепишем систему A(k 1/2) x(k 1)  b(k 1) в виде
A(k)  (Tk 1,n Tk 1,n 1...Tk 1,k 2 )x (k 1)  b(k)
x(k )
относительно неизвестного вектора x(k) и
x(k 1)  T k 1,k 2 ...T k 1, n 1T k 1, n  x(k)
т.е. нужно сохранить косинусы и синусы углов вращения матриц T k 1, j .
Система с двухдиагональной матрицей
Выполнив n шагов, мы получим систему с двухдиагональной матрицей:
A (n) x (n)  b(n) ,
A (n)
(n)
a1,1






a1,(n)2
a (n)
n 1, n 1



.
a (n)
n 1, n 

a (n)
n, n 

Решив ее, восстановим решение исходной системы по формулам
x(k 1)  T k 1,k 2 ...T k 1, n 1T k 1, n  x(k) , k  n, n  1, ..., 1; x  x (0) .
18
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 4.
Метод отражений решения системы уравнений
Матрица отражения
H a  a  2(a, w)  w  (E  2  w  w  )a
если заданы векторы a и H a , то
a  Ha
w
|| a  H a || 2
Доказать, что H  H*  H1 , det H  1.
k –ый шаг метода отражений
Предположим, что после k  1 шага система Ax  b с помощью умножения
слева на ортогональную матрицу приведена к виду A(k 1) x  b(k 1) , где
R k 1, n k 1
 R k 1

 y(k 1) 

 (k 1) 
1)
1) 
a (k
a (k
k, k
k, n 

 b k  (A (0)  A, b(0)  b) .
(k 1)
(k 1)
A

,
b




0

 (k 1) 
1)
1) 
a (k
a (k
n, k
n, n 

 b n 

Тогда k –ый шаг состоит из умножения системы A(k 1) x  b(k 1) слева на
ортогональную матрицу вращения H k :
0
 E k 1

(k)
Hk  
 H k A (k 1) , b(k)  H k b(k 1) ,
(n  k 1)
(n  k 1)   , A
0
E

2
w

[w
]
n  k 1
1
1


где
(n  k 1)
1
w
w
(n k 1)
1
0
a1(k 1)  rk  e1(k 1)
 (k 1)
|| a1  rk  e1(k 1) || 2
1) 2
(k 1) 2
если rk  | a (k
k, k |  ...  | a n, k |  0
1)
(k 1)
или a (k
k 1, k  ...  a n, k  0 ,
1)
если rk  0 & a (k
k, k  0
(здесь a1(k 1)
1)
a (k

k, k


(k 1)

– первый орт),
 , e1
1)
a (k

 n, k 
1)
если rk  0 & a (k
k, k  0
(n k 1)
1
w
1)
a1(k 1)  k rk  e1(k 1)
a (k
 (k 1)
k, k
(k 1)
|| a1  k rk  e1 || 2 (здесь k   (k 1) ).
| a k, k |
Выполнив n  1 шаг, получим систему с верхней треугольной матрицей:
A(n 1) x  Rx  b(n 1)  y (заметим, что, если det A  0 , то и det R  0 ).
19
Мацокин А.М. “Вычислительные методы линейной алгебры.”. Лекция 4
Решение системы с вырожденной матрицей
HR –разложение с перестановками столбцов матрицы A
1– ый шаг. Определим номер столбца j1 матрицы A  [a1 , ..., a n ] из условия
|| a j1 || 2  max || a j || 2 и матрицу перестановок P1, j1 .
Для матрицы A(1/ 2)  AP1, j1 определим матрицу отражения H1 :
 R1

R1, n 1

(1)
(1) 
a
a

2, 2
2, n 
A (1)  H1A (1/ 2)  H1AP1, j1  
 , r11  R1 .
0


(1)
(1)
a
a

n, 2
n, n 


Доказать: | r11 |  || a j ||  | a i(1)j |  i, j
k –ый шаг. После k  1 шага имеем
1)
 R k 1

R k 1, n k 1
a (k
k 1, j

(k 1)
(k 1) 
1)
a
a
a (k

k, k
k, n 
k, j
(k 1)
A

, | rk 1,k 1 | 
 max | a i,(kj1) | .

k 1i, j n
0


1)
1)
1)
a (k
a (k
a (k

n, k
n, n 
n, j
2


1)
a (k
k, j k
a (k 1)
k, j
 max
Определяем номер столбца j k из условия
a
(k 1)
n, j k
k  j n
2
1)
a (k
n, j
и для A(k 1/ 2)  A(k 1) Pk, j k определяем матрицу отражения H k :
A
(k)
 HkA
(k 1/ 2)
 HkA
Доказать: | rk,k |  max
(k 1)
Pk, j k
)
a (k
k, j
)
a (k
k 1, j
R k, n k
a (k)
k 1, k 1
a (k)
n, k 1


a (k)
k 1, n 
.

a (k)
n, n 

 max | a i,(kj) | .
k  j n
k i, j n
)
a (k
n, j
Ответ:
R k



0



2
Если t  dim(ker A) , то после n  t шагов имеем
R n  t,t 
R
(H n  t  ...  H1 )A(P1, j1  ...  Pn t, j n  t )  HAP  R   n  t
,
0 
 0
где H и P – ортогональные матрицы.
20
2
Мацокин А.М. “Вычислительные методы линейной алгебры.”. Лекция 4
Совместность системы с вырожденной матрицей
Система Ax  b называется совместной, если она имеет решение.
Следовательно, система совместна  b  ImA .
{x *  y  y  k er A} – общее решение системы, где x *– любое ее решение.
Теорема. Если система Ax  b совместна ( b  ImA ),
то  B: det B  0 совместна система (BA)x  (Bb) и множества
решений этих систем совпадают.
Система Ax  b несовместна, если b  ImA .
В этом случае ее обобщенным решением (относительно векторной нормы ||  || )
называют вектор x: || Ax  b ||  min || Ay  b || .
y
Доказать: общее решение совместной системы совпадает с множеством ее
обобщенных решений.
Доказать: множество обобщенных решений {x: || Ax  b || 2  min || Ay  b || 2}
совпадает с общим решением системы AA x  A b .
Применение HR –разложения с перестановками столбцов для решения
совместной системы
Выполним эквивалентное преобразование совместной системы Ax  b :
Ry  g : R  HAP, y  Px, g  Hb .
Из–за ошибок округления эта система будет иметь вид:
(n  t)
  g (n t) 
 R n t R n t,t   y


,
 0
 t   y(t)   (t) 

где матрица  t и вектор ( t ) должны иметь малые по модулю элементы.
Заменяем их на нулевые матрицу и вектор (диагональные элементы матрицы R
по модулю мажорируют все левее и ниже лежащие элементы, как только
очередной диагональный элемент стал “намного” меньше предыдущего, то и
остальные элементы почти нулевые):
(n  t)
  g (n t) 
 R n t R n t,t   y
,
 0
  (t)   
0

 y

 0
очевидно, что общее решение этой системы определяется формулой
 y(n t)   R n1t (g (n t)  R n t,t y(t) ) 
(t)
t
  y  R ,
 (t)    (t)
y
 y

а решение исходной системы x  Py .
21
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Метод прогонки решения систем с трехдиагональной матрицей
Для решения системы линейных алгебраических уравнений
a1
c
 2



0
b1
a2
  x1   f1 
 x   f 
 2   2 

,

 


b n 1   x n 1   f n 1 
a n   x n   f n 
0
b2
cn 1 a n 1
0
cn
где диагональные блоки a i либо числа (метод прогонки), либо квадратные
матрицы порядка n i (метод матричной прогонки), и все ”главные миноры” не
равны нулю:
a1
c
 2
Ai  


0
b1
a2



 , det A i  0, i  1, ..., n ,

bi1 
a i 
0
b2
ci1 a i1
0
ci
применим следующую схему метода Гаусса – метод (матричной) прогонки.
Прямой ход:
1-й шаг: вычисляем матрицу 1  a11b1 и вектор z1  a11f1, т.е. получаем
систему
 E1 1
c a
2
 2



0
  x1   z1 
 x   f 
b2
 2   2 

,





c n 1 a n 1 b n 1   x n 1   f n 1 
0
cn
a n   x n   f n 
где E1 – единичная матрица порядка n1 ;
0
2-й шаг: сначала из второго уравнения вычитаем первое, умноженное на c2 :
0   x1   z1 
 E1 1
0 a  c  b
 x  f  c z 
2
2
1
2

 2   2 2 1

,


 



c
a
b
x
f
n

1
n

1
n

1
n

1
n

1










0
0
cn
a n   x n   f n 
затем вычисляем матрицу  2  (a 2  c21 )1 b2 и
z2  (a 2  c21 )1(f2  c2z1 ) , т.е. получаем систему
22
вектор
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
0   x1   z1 
 E1 1
0 E 
 x   z 
2
2

 2   2 
c3 a 3 b 3

  x 3   f3 

,


 




c n 1 a n 1 b n 1   x n 1   f n 1 
 



cn
a n   x n   fn 
0
где E2 – единичная матрица порядка n 2 ;
…
k -й шаг: предыдущие шаги преобразовали исходную систему к системе
 E1 1
0 E 
2
2



0






0
 E1
0









0
  x1   z1 
 x   z 
 2   2 

 


 

E k 1  k 1
x
z
k

1
k

1
,





 xk
ck
ak
bk
fk 

 


 




c n 1 a n 1 b n 1  x n 1
f n 1 

 

cn
a n   x n   f n 
сначала из k -го уравнения вычитаем (k  1) -ое, умноженное на c k :
1
0 
z1

  x1  
E2 2





 


  x k 1   z k 1 
0 E k 1  k 1
 x   f  c z ,
k k 1 
 k   k
0
a k  c k k 1 b k
 



 x  
f
n

1
n

1
 

c n 1 a n 1 b n 1  



fn
 x

cn
an   n  
затем вычисляем матрицу  k  (a k  ck k 1 )1 bk и вектор
0
z k  (a k  ck k 1 )1(f k  ck z k 1 ) , т.е. получаем систему
23
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
 E1 1
0 E 
2
2



0 Ek k


0
a k 1 b k 1



c n 1 a n 1

cn
0
где E k – единичная матрица порядка
  x1   z1 
 x   z 
 2   2 
 


 


x
z
k
k

,

  x k 1   f k 1 
 


 


b n 1   x n 1   f n 1 
 


a n   x n   fn 
nk ;
0
…
n -й шаг: предыдущие шаги преобразовали исходную систему к системе
0   x1   z1 
 E1 1
0 E 
 x   z 
2
2

 2   2 

,


 



0
E

x
z
n

1
n

1
n

1
n

1
 







0
cn
a n   x n   f n 
сначала из n -го уравнения вычитаем (n  1) -ое, умноженное на c n :
0
z1

 E1 1
  x1  
 




,


0 E n 1  n 1

  x n 1   z n 1 
 



0
a n  c n n 1   x n   f n  c n z n 1 
0
затем вычисляем вектор z n  (a n  cn n1 )1(f n  cn z n 1 ) , т.е.
получаем систему
 E1 1
0 E 
2
2



0

0
  x1   z1 
 x   z 
 2   2 

,

 


E n 1  n 1   x n 1   z n 1 
0
E n   x n   z n 
где E n – единичная матрица порядка n n .
0
Таким образом, на прямом ходе метода прогонки вычисляются матрицы
1  a11b1,
 k  (a k  c k k 1 )1 b k , k  2, ..., n  1;
и векторы
24
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
z1  a11f1,
z k  (a k  c k k 1 )1(f k  c k z k 1 ), k  2, ..., n.
Обратный ход метода прогонки элементарен:
решение системы, полученной в результате прямого хода:
 E1 1
0 E 
2
2



0

0
вычисляем по формулам:
  x1   z1 
 x   z 
 2   2 

,

 


 n 1   x n 1   z n 1 
E n   x n   z n 
0
E n 1
0
x n  zn ,
x n 1   n 1x n  z n 1,
...
x i  i x i1  zi ,
...
x1  1x 2  z1.
Метод прогонки применим для системы, матрица которой имеет строгое
диагональное преобладание по всем строкам.
Теорема. Если  i | a i |  | ci |  | bi | (c1  b n  0) , то det A k  0  k
(т.е. LU –разложение существует и метод прогонки применим).
Док–во. (от противного) Пусть  k : det A k  0 ,
тогда  x (k)  0: A k x (k)  0 и  i: | x i(k ) |  max| x (kj ) |  0 .
1 j k
(k)
(k )
Разделим равенство ci x(k)
и оценим a i :
 bi x(k)
i 1  a i x i
i 1  0 на x i
| x (k)
| x (k)
i 1 |
i 1 |
| a i |  | ci |  (k)  | bi |  (k)
 | ci |  | bi | – противоречие условию.
| xi |
| xi |
Справедливость этой теоремы следует из более общего утверждения.
Лемма Гершгорина (о локализации собственных значений).
Множество всех собственных значений произвольной квадратной матрицы A
принадлежит объединению кругов Гершгорина:
Sp(A) 
n
i 1
Si , Si  {  C : |   a i i |  R i 
n

j1, ji
| a i j |} .
Доказательство. Пусть  k – произвольное собственное число матрицы A , а
x(k)  0 – соответствующий ему собственный вектор, т.е. Ax(k)   k  x(k) .
25
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Найдем круг Гершгорина, содержащий точку  k на комплексной плоскости.
Определим номер i максимальной по модулю компоненты x (k)
вектора x(k) и
i
i -ое уравнение системы Ax(k)   k  x(k) перепишем в виде
(k)
(k)
(k)
(k)
( k  a i i )  x(k)
i  a i1  x1  ...  a i,i1  x i1  a i,i 1  x i1  ...  a i n  x n .
(k)
 0 и, учитывая, что | x (k)
Разделив это равенство x (k)
i
j / x i |  1  j , после
применения неравенства треугольника получим
(k)
(k)
|  k  a i i |  | a i1 |  | x1(k) / x (k)
i | ... | a i,i 1 |  | x i 1 / x i | 
(k)
(k)
(k)
 | a i,i1 |  | x (k)
i1 / x i | ... | a i n |  | x n / x i | 
 | a i1 | ... | a i,i1 |  | a i,i1 | ... | a i n |  R i ,
т.е.  k принадлежит i -ому кругу Гершгорина.
Итак, для каждого собственного числа матрицы A существует круг
Гершгорина, которому оно принадлежит.
Лемма доказана.
Для матрицы A со строгим диагональным преобладанием по всем строкам:
| ai i |  R i 
n

j1, ji
| a i j |, i  1, 2, ..., n ,
все круги Гершгорина не содержат начало координат комплексной плоскости
Im 
Ri
ai i
Re 
0
и, следовательно,   0 не является её собственным значением, т.е. матрица A
– неособенная матрица и её определитель не равен 0.
26
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 5. Итерационные методы решения линейных уравнений
Мы будем рассматривать только вещественные системы линейных
алгебраических уравнений, так как система уравнений Ax  b над полем
комплексных чисел сводится (доказать) к системе
 Re A  Im A   Re x   Re b 
 Im A
  Im x    Im b 
Re
A


 

с вещественными коэффициентами.
Пример и основные определения
Пример:
пусть для матрицы системы Ax  b построена обратная A 1  (LU)1 . Из–за
ошибок округления мы получим не обратную матрицу, а к ней близкую: A 1 .
Тогда x  A1x  x , а для разности x  x имеем уравнение A(x  x)  Ax  b ,
приближенное решение которого (x  x)  A 1 (Ax  b)  x  x  A 1 (Ax  b)
или итерационное уточнение
x k 1  x k  A1 (Ax k  b), k  0, 1, ... .
Одношаговый (двухслойный) итерационный метод решения Ax  b :
x k 1  x k  H k (A x k  b)
x 0  задан, k  0, 1, 2, ... ; H k  заданные матрицы.
x k – k -тое приближение (к решению системы),
z k 1  z k  Hk A z k  (E  H k A)z k
zk  x k  x
– ошибка k -той итерации
– процесс для ошибки,
Sk  E  H k A – матрица шага для ошибки;
r k  A x k  b  Az k
r k 1  r k  H k A r k  (E  A H k )r k
– невязка k -той итерации
– процесс для невязки,
Tk  E  A H k – матрица шага для невязки;
Метод называется сходящимся, если lim || z k ||  0  x 0  R n .
k 
(Так как в R все нормы эквивалентны, то определение сходимости от нормы
не зависит.)
Стационарный одношаговый итерационный метод решения Ax  b :
x k 1  x k  H (A x k  b)
n
x 0  задан, k  0, 1, 2, ... ; H  заданная матрица.
Впредь мы будем предполагать, что det A  0 и det H  0 .
27
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Условия сходимости стационарного итерационного метода
x k 1  x k  H(A x k  b), x 0  задан, k  0, 1, 2, ... ; H  заданная матрица.
Достаточные условия:
Теорема. Если || S ||  || E  HA ||  1, то || z k ||  0 , т.е. x k  x  x 0  R n .
|| x k  x ||  || z k ||  || Sz k 1 ||  || S ||  || z k 1 ||  || S ||  || Sz k 2 || 
Док–во.
 || S || 2  || z k 2 ||  || S || k  || z 0 ||  0.
Теорема.
Док–во.
Если || T ||  || E  AH ||  1 , то || z k ||  0 , т.е. x k  x  x 0  R n .
|| Ax k  b ||  || r k ||  || T r k 1 ||  || T ||  || r k 1 ||  || T ||  || T r k 2 || 
 || T || 2  || r k 2 ||  || T || k  || r 0 ||  0.
 || x k  x ||  || z k ||  || A1r k ||  || A 1 ||  || r k ||  0 .
Необходимое и достаточное условие сходимости стационарного
итерационного метода
x k 1  x k  H(A x k  b)
x0  задан, k  0, 1, 2, ... ; H  заданная матрица, det H  0,
для решения системы линейных алгебраических уравнений Ax  b, det A  0 ,
сформулировано в следующей теореме.
Теорема.
Стационарный итерационный метод
x k 1  x k  H(A x k  b)
x0  задан, k  0, 1, 2, ... ; H  заданная матрица, det H  0,
для решения системы линейных алгебраических уравнений Ax  b, det A  0 ,
сходится тогда и только тогда, когда (S)  1 , где S  E  HA – матрица шага
для ошибки zk  x k  x стационарного итерационного метода: z k  Sz k 1 .
Док–во.
Необходимость.
Пусть стационарный итерационный процесс сходится, т.е.  z0  0
z  Sz
k
k 1
S z
k 0
k 
 0.
Выберем начальное приближение x 0 стационарного итерационного процесса
таким, чтобы вектор начальной ошибки z0  x0  x  0 был собственным
вектором матрицы шага S , соответствующим некоторому (любому) ее
собственному значению   Sp(S) , т.е. Sz0    z0 , z0  0 .
Тогда
z k  Sz k 1  Sk z0   k z0
28
k 
 0
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
только при |  |  1 .
Следовательно, все собственные значения матрицы шага S стационарного
итерационного процесса по модулю меньше единицы, т.е.
(S)  1
– необходимое условие сходимости стационарного итерационного метода.
Достаточность.
Заметим, что для любого   0 существует матрица Q , преобразующая
матрицу S к жордановой форме:
Q1SQ  J   diag{J1, , ..., J m,} ,
где
 i

J i,  


0
Тогда
0

 ,   sP(s) .
i


i
i

z k  Sz k 1  Q J Q1z k 1  Q (J  ) k Q1z0 ,
|| z
k
||   || Q ||   || Q1 || 
k 
(|| J  ||  )  || z ||   0,
k
0
если || J  ||   max {|  | }  (S)    1 .
Sp(S)
Так как (S)  1 , то || J  ||   1 для любого 0    1  (S) .
Асимптотическая скорость сходимости
Для отношения нормы ошибки z k к норме начальной ошибки
z0
стационарного итерационного метода x k 1  x k  H(Ax k  b) справедлива
оценка
|| z k ||
|| z 0 ||
 || Sk || , где S  E  HA – матрица шага для ошибки.
Отсюда можно сделать вывод, что за каждую из k итераций ошибка в
“среднем” убывает в 1 / d k , d k  k || Sk || , раз. Тогда для уменьшения начальной
ошибки в 1 /  раз ( || z k || / || z 0 ||  (d k ) k   ) достаточно выполнить
k() 
 ln 
 ln 
итераций.

 ln d k  ln k || Sk ||
Эту формулу можно проинтерпретировать следующим образом:
 ln k || Sk ||  k()   ln  .
скорость
время
29
растояние
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Величина R k   ln k || Sk || называется средней скоростью сходимости
итерационного метода за k итераций. Очевидно, что средняя скорость
сходимости R k зависит от выбора матричной нормы.
Теорема.
Если || S ||  || E  HA ||  1, то для уменьшения начальной ошибки
Док–во.
  ln  
в 1 /  раз достаточно выполнить k()  
  1 итераций.
  ln|| S || 
При k  k() имеем
|| z k ||  || Sk z 0 ||  || S || k  || z 0 || 
 || S || k()  || z 0 ||  e k( )ln||S||  || z0 || 
 eln   || z 0 ||    || z 0 ||.
Доказать: R k   ln || S || .
Величина R   lim R k   ln { lim k || Sk ||} называется асимптотической
k
k
скоростью сходимости стационарного итерационного метода.
Теорема. Если (S)  (E  HA)  1, то R    ln (S) .
Доказательство. Достаточно доказать, что  lim k || Sk ||  (S) .
k
1. lim k || Sk ||  (S) .
k
Действительно, так как || S ||  (S) для любой матричной нормы || S || ,
подчиненной векторной
Следовательно,
k
норме
|| z || ,
|| Sk ||  (S)  lim
k
k
то
|| Sk ||  (Sk )  [(S)]k .
|| Sk ||  (S) .
2. lim k || Sk ||   (S) .
k
Действительно, при доказательстве теоремы о необходимом и достаточном
условии сходимости стационарного итерационного метода для любого
достаточно малого   (0, 0 ) мы установили неравенство
|| Sk z0 ||   || Q ||   || Q1 ||   [(S)  ]k  || z0 ||  .
c
Следствием этого неравенства является оценка
|| Sk ||   c  [(S)  ]k 
k
Из последнего неравенства следует, что
30
|| Sk ||   k c  [(S)  ] .
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
lim
k 
k
|| Sk ||   lim k c  [(S)  ]  (S)      (0, 0 ) .
k 
1
Переходя в этом неравенстве к пределу при   0 и учитывая, что левая
часть неравенства от  не зависит, получим lim k || Sk ||   (S) .
k
3. lim k || Sk ||  (S) .
k
Действительно, так как все нормы в конечномерном пространстве
эквивалентны, то   : || Sk ||   || Sk ||  и
lim
k 
k
|| Sk ||  lim
k 
k
 || Sk ||   lim k   lim
k 
k
k 
|| S k ||   (S) .
1
4. Из полученных неравенств lim k || Sk ||  (S) и lim k || Sk ||  (S)
k
k
следует, что lim k || Sk ||  lim k || Sk ||  (S)  lim k || Sk || .
k
k
k
Замечание.
Асимптотическая
скорость
сходимости
стационарного
итерационного метода в отличие от средних скоростей сходимости не зависит
от выбора матричной нормы. Обычно полагают, что метод с большей
асимптотической скоростью “лучше” метода с меньшей асимптотической
скоростью сходимости. Но такое мнение не всегда оправдано, поскольку
определить количество итераций, необходимое для уменьшения начальной
ошибки в 1 /  раз в конкретной норме, зная только R   (S) невозможно.
31
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 6.
Один из способов построения итерационного метода решения системы
линейных алгебраических уравнений Ax  b состоит из представления
матрицы в виде A  B  C , переписи системы в виде Bx  Cx  b и определении
очередного приближения x k 1 по известному приближению x k из решения
системы Bx k 1  Cx k  b .
Доказать: Bx k 1  Cx k  b  x k 1  x k  B1 (Ax k  b) .
Метод Якоби
Если D  diag A  diag{a11, a 22 , ..., a nn } , то итерационный процесс
x k 1  x k  D1 (Ax k  b)
называется методом Якоби для решения системы Ax  b .
Сходимость в случае диагонального преобладания по строкам
Теорема.
Док–во.
Если | a ii | 
n
 |a
j1, ji
ij
|  i , то метод Якоби сходится.
a
a
a
a 
i–тая строка матрицы S  E  D1A :  i1 , ..., i,i1 , 0, i,i1 , ..., i n  .
a ii
a ii
a ii 
 a ii
a i1
a
a
a
Из условия теоремы 
 ...  i,i1  i,i1  ...  i n  1 
a ii
a ii
a ii
a ii
|| S||   1 , т.е. выполняется достаточное условие сходимости.
Сходимость в случае диагонального преобладания по столбцам
Теорема.
Док–во.
Если | a j j | 
n
 |a
i 1, i  j
ij
|  j , то метод Якоби сходится.
a
a
a
a 
j–ый столбец матрицы T  E  AD1 :  1 j , ..., j1, j , 0, j1, j , ..., n j  .
ajj
ajj
a j j 
 a j j
a1 j
a
a
a
Из условия теоремы 
 ...  j1, j  j1, j  ...  n j  1 
a jj
ajj
ajj
ajj
(S)  (E  D1A)  (DTD1 )  (T)  || T || 1 1,
необходимое условие сходимости.
32
т.е.
выполняется
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 6.
Необходимое и достаточное условие сходимости метода Якоби в случае
симметричной матрицы с положительной главной диагональю
Теорема.
Если матрица A системы Ax  b самосопряжена: A  A , а ее диагональ
D  D  diag A  diag{a11 , a 22 , ..., a nn } положительно определена: D  0 ,
то метод Якоби:
 x 0  задан,
 k 1
k
1
k
 x  x  D (Ax  b),
 k  0, 1, ...,

сходится к решению x системы Ax  b тогда и только тогда, когда
положительно определены матрицы A и 2D  A .
Доказательство. Прежде всего, отметим, что
 для самосопряженной, положительно определенной матрицы D можно
построить ее квадратный корень:
D1/2  (D1/2 )  0 : D1/2 D1/2  D ,
 собственные
совпадают
значения
с
(S)  1  (D1A)
собственными
значениями
матрицы
S  E  D1A
(S)  1  (D1/2 AD1/2 )
матрицы
D1/2SD1/2  E  D1/2 AD1/2 , которая самосопряжена
( A  A ) и, следовательно, ее собственные значения вещественны:
(S)  1  (D1/2 AD1/2 )  (S) ,
 так как необходимым и достаточным условием сходимости метода Якоби
является условие (S)  (E  D1A)  1 , то нам нужно найти
необходимые и достаточные условия выполнения неравенств:
2  (D1/2 AD1/2 )  0  0  (D1/2 AD1/2 )  2 .
Необходимость: метод Якоби сходится, т.е. (S)  1 и, следовательно,
0  (D1/2 AD1/2 )  2 ,
т.е. самосопряженные матрицы
положительно определены:
D1/2 AD1/2
и
2E  D1/2 AD1/2
(D1/2 AD1/2 y, y)   min (D1/2 AD1/2 )  (y, y)  0  y  0  R n ,
([2E  D1/2 AD1/2 ]y, y)  [2   min (D1/2 AD1/2 )]  (y, y)  0  y  0  R n .
Тогда A  0 , так как
 z  0 (Az, z)  (A D1/2 y, D1/2 y)  (D1/2AD1/2y, y)  0 .
Тогда 2D  A  0 , так как
z
z
 z  0 ([2D  A]z, z)  ([2E  D1/2 AD1/2 ]D1/2z, D1/2z)  0 .
y
33
y
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 6.
Достаточность: самосопряженные матрицы A и 2D  A положительно
определены, следовательно:
min (A)  0, min (2D  A)  0 .
Тогда
положительно определена матрица D1/2 AD1/2 , так как
 z  0 (D1/2 AD1/2 z, z)  (A D1/2 z, D1/2 z)  0 ,
y
y
и, следовательно,  (D1/2 AD1/2 )  0 ;
положительно определена матрица 2E  D1/2 AD1/2 , так как
 z  0 ([2E  D1/2 AD1/2 ]z, z)  ([2D  A]D 1/2z, D 1/2z)  0 ,
y
y
и, следовательно,  (2E  D1/2 AD1/2 )  2  (D1/2 AD1/2 )  0 .
Таким образом, 0  (D1/2 AD1/2 )  2 и, следовательно, любое собственное
значение матрицы шага для ошибки метода Якоби меньше 1:
| (S) |  |1  (D1/2 AD1/2 ) |  1,
т.е. выполняется условие сходимости метода: (S)  1.
Пример матрицы A  D  L  L  0 & D  0 , но матрица 2D  A
положительно определена, т.е. метод Якоби не будет сходиться:
не
 1 0.5 0.5
A  0.5 1 0.5 , 1(A)  2,  2 (A)  3 (A)  0.5  A  0 ,


0.5 0.5 1 
0.5 0.5
 1
2D  A   0.5
1
0.5 , 1(2D  A)  0  2D  A  0 .


 0.5 0.5
1 
Метод Зейделя (Гаусса–Зейделя, Некрасова)
Если матрицу системы Ax  b представить в виде суммы A  L  D  R , где
D  diag A  diag{a11, a 22 , ..., a nn },
 0
a
 21
L  


a
 n1
0
0
0
a n,n 1



,


0 
0 a12

 0
R  

 0


то итерационный процесс
x k 1  x k  (D  L)1 (Ax k  b)
34





a n 1,n 

0

a1n
0
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 6.
называется методом Зейделя для решения системы Ax  b .
Доказать: S  E  (D  L)1 A  E  (A  R)1 A  (A  R)1 R .
Теорема (о необходимом и достаточном условии сходимости метода Зейделя
в случае симметричной матрицы с положительной главной
диагональю)
Если A  A & D  0 ,
то (S)  (E  (D  L)1 A)  1 (т.е. метод Зейделя сходится)
тогда и только тогда, когда A  0 .
Доказательство.
Необходимость:
Пусть метод Зейделя сходится, т.е. (S)  (E  (D  L)1 A)  1.
Предположим, что A  0 (доказать, что  min (A)  0 ).
Тогда   : (A , )  0 (например,  : A  min (A)   ).
Зададим z0   и оценим (Az k 1 , z k 1 ) :
(Az k 1 , z k 1 )  (A (E  [A  R]1 A)z k , (E  [A  R]1 A)z k ) 
z k 1
z k 1
 (Az k  A[A  R]1 Az k , z k  [A  R]1 Az k ) 
yk  0
yk
 (Az k , z k )  (Az k , y k )  (Ay k , z k )  (Ay k , y k ) 
 (Az k , z k )  ([A  R]y k , y k )  (y k ,[A  R]y k )  (Ay k , y k ) 
 (Az k , z k )  ([A  R]y k , y k )  ([A  L]y k , y k )  (Ay k , y k ) 
 (Az k , z k )  (Dy k , y k )  (Az k , z k )  ...  (Az 0 , z 0 )  const  0.
0
 lim|| z k 1 ||  const  0 , метод не сходится, что противоречит (S)  1 ,
следовательно, предположение, что A  0 , неверно и A  0 .
Необходимость утверждения теоремы доказана.
Отметим на будущее, что
(Az k 1, z k 1 )  (Az k , z k ), если zk  0 .
Достаточность.
Нужно доказать, что из условия A  A  0  (S)  ([A  R]1 R)  1.
Во-первых, заметим, что из условия A  A  0 
1. min (A)  0, (A, )  min (A)  (, )   ;
35
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 6.
2. d min  min a i,i   min (A) , т.к.
1 i  n
dmin  (Demin , emin )  (Aemin , emin )  min (A)  0 , т.е. D  0 .
Теперь, пусть   Sp(S) – собственное значение, а  – собственный вектор:
S  [A  R]1 R  (S)    R  (S)  [A  R]  , ||  || 2  1 .
Умножим последнее равенство скалярно на собственный вектор:
(R , )  (S)  [ (A , )  (R , )]
r  i 
a  min (A)  0
r  i 
тогда
r 2  2
| (S) | 
r 2  2

 1,
(a  r) 2   2 a(a  2r)  r 2   2
если a  2r  (A , )  2  Re[(R , )]  0 .
2
Действительно,
a  2r  (A , )  2  Re[(R , )] 

(A , )
 2  Re[(R , )] 
(D , )  (R   , )  (R , )
 (D , )  d min   min (A)  0
Следовательно,
| (S) | 
r 2  2
2
a(a  2r)  r  
2
2

r 2  2
 2min (A)  r 2

2
 1, т.к. min (A)  0 .
Теорема доказана, но в дополнение можно вывести оценку (S) :
(S)  max | (S) | .
Т.к. 0  r 2  2  | (R, ) |2 
| (S) | 
2
x
 2min (A)  x

 (S)Sp(S)
|| R ||22  ||  ||22 
max
|| R ||22  (R   R) , то
x
2
0 x(R R)  min (A)  x

(S) 


(R R)
 2min (A)  (R R)
(R R)
 2min (A)  (R R)
36
 1.
, т.е.
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 7.
Функционал ошибки
Второй из способов построения итерационного метода решения системы
линейных алгебраических уравнений Ax  b ( det A  0 ) состоит из построения
k 1
последовательности приближений {x k }
||  || z k || , т.е.
k 0 такой, что || z
строгого убывания на каждом шаге функционала ошибки f (x k  x)  || z k || ,
где zk  x k  x .
Теорема. Если || z k 1 ||  || z k ||  z k  0
и
отображение
S : Rn  Rn
(оператор шага для ошибки: z k 1  S(z k ) ) непрерывно при z  0 , то
|| z k ||  0 , т.е. x k  x .
Доказательство.
Так как последовательность чисел { || z k || }
k 0 ограничена снизу 0 и
монотонно убывает, то она имеет предел: lim || z k ||    0 .
Если   0 , то теорема доказана.
Предположим, что   0 .
k
Так как последовательность векторов { z k }
k 0 лежит в шаре
{ z : || z ||  || z0 || } конечномерного пространства R n , то из нее
можно извлечь сходящуюся подпоследовательность {z k m } :
z k m  z, || z ||    0 .
z k m  0 и z  0 , то к этим векторам применимо
отображение S :  z k m 1  S(z k m ) ,  S(z) : || S(z) ||  || z ||    0 .
Так как
Тогда, выполнив предельный переход в соотношениях
|| z k m 1 ||  || S(z k m ) ||  || z k m ||




 || S(z) ||  || z ||,
и, учитывая, что || S(z) ||  || z ||   , получим противоречие:    .
Следовательно, предположение lim || z k ||    0 неверно и, стало
k
быть, lim || z ||  0 . Теорема доказана.
k
k
37
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Метод полной релаксации
Вспомним, что в стационарном итерационном методе Зейделя для решения
системы Ax  b компоненты x k+1
приближения
i
последовательно ( i  1, 2, ..., n ) как решения уравнений
x k 1
определялись
a i1  x1k 1  ...  a i,i1  xik11  ai i  xk+1
 ai,i1  xik1  ...ai n  xikn  bi ,
i
т.е. xk+1
 (a i i )1{[a i1  x1k 1  ...  a i,i1  xik11  ai,i 1  xik1  ...ai n  xikn ]  bi } .
i
Если через x ki/n обозначить вектор
k
k T
x k i/n  (x1k 1, ..., x ik11, xk+1
i , x i1, ..., x n ) ,
то очередное приближение x k 1 стационарного итерационного метода Зейделя
для решения системы Ax  b вычисляется по формулам
 x k i/n  x k (i1)/n   k,i  e ,

i

k (i1)/n
 (a i i )1{[a i1  x1k 1  ...  a i,i1  xik11  a i,i1  xik1  ...a i n  xikn ]  bi }
 k,i  x
i  1, 2, ..., n,
где ei – i -ый орт.
Но в формуле x ki/n  x k (i1)/n  k,i  ei параметр  k,i можно выбирать из
условия минимизации функционала ошибки f (x k i/n  x)  || z k i/n || .
Предположим, что матрица системы Ax  b симметрична и положительно
определена: A  A  0 . Определим (энергетические) скалярное произведение
и норму в R n :
(x, y)A  (Ax, y), || x || A  (x, x) A ,
и параметр  k,i будем выбирать из условия минимума || z k i/n || A .
Теорема. Если матрица системы Ax  b симметрична и положительно
определена: A  A  0 , а параметры  k,i итерационного метода
(метод полной релаксации)
x 0  R n  задан,
 x k i/n  x k (i1)/n   k,i  e ,
i


k i/n
|| A  inf || z k (i1)/n    ei || A , i  1, 2, ..., n,
 k,i : || z

k  0, 1, ...,
то
1)  k,i  (a i i )1[r k (i1)/n ] i ,
38
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
2) || z k 1 || A  || z k || A , если z k  0 ,
3) метод полной релаксации можно записать в виде
x0  R n  задан,
 xik 1  xik  (a i i )1[a i,1x1k 1  ...  a i,i1x ik11  a i,i x ik  ...  a i,n x nk  bi ],

 i  1, 2, ..., n,
k  0, 1, ...,
или ( A  D  L  R )
x 0  R n  задан,
x k 1  x k  D1[ Lx k 1  (D  R)x k  b] 
 x k  (D  L)1[Ax k  b],
k  0, 1, ...,
(т.е. метод полной релаксации совпадает с методом Зейделя!),
4) отображение S  E  (D  L)1 A : R n  R n (оператор шага для
ошибки: z k 1  S(z k ) ) непрерывно и из теоремы о строгом убывании
функционала ошибки следует сходимость метода полной релаксации.
Доказательство.
1) Решим задачу k,i : || z k i/n || A  inf || z k (i1)/n    ei || A .

Так как
|| z k (i1)/n    ei || 2A  (A[z k (i1)/n    ei ], [z k (i 1)/n    ei ]) 
 || z k (i1)/n || 2A 2  (Az k (i1)/n , ei )   2  (Aei , ei ) 
 a i i 0
[r k (i 1)/n ] i
 || z
k (i 1)/n
|| 2A

([r k (i1)/n ] i )2  (  a i,i  [r k (i1)/n ] i )2
a i,i
,
то, очевидно, что при   a i,i  [r k (i1)/n ] i  0 будет максимальное
уменьшение ошибки (полная релаксация):
|| z k i/n || 2A

|| z k (i1)/n || 2A

(r ik (i1)/n )2
a i,i
,
т.е.  k,i  (a i i )1[r k (i1)/n ] i .
2) Теперь докажем, что || z k 1 || A  || z k || A , если z k  0 .
Действительно, так как
39
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
|| z k 1 || 2A
 || z
k
|| 2A

(r1k )2
a1,1

(r k21/n )2
a 2,2
 ... 
(r kn(n 1)/n )2
a n,n
и хотя бы одна из компонент r ik (i1)/n  0 (в противном случае
x k i/n  x k (i1)/n  x k , r k i/n  r k ,
т.е.
r k  0  z k  0 ),
то
функционал ошибки строго убывает.
3) Выпишем формулы реализации метода полной релаксации. Так
как
k
k T
x k i/n  (x1k 1, ..., x ik11, x k+1
i , x i1, ..., x n ) 
 x k (i1)/n   k,i  e i ,  k,i  (a i i )1[r k (i1)/n ] i ,
[r k (i1)/n ] i  [Ax k (i1)/n  b] i  [ Lx k 1  Dx k  Rx k  b] i ,
то
xik 1
 xik i/n  xik (i1)/n  (a i i )1[r k (i1)/n ] i 
 xik (i1)/n  (a i i )1[a i,1x1k 1  ...  a i,i1x ik11  a i,i x ik  ...  a i,n x nk  bi ],
или
x k 1  x k  D1[ Lx k 1  Dx k  Rx k  b] 
 D1{Dx k  Lx k 1  (A  L)x k  b]} 
 D1{Lx k 1  (D  L)x k  Ax k  b]}

x k 1  x k  (D  L)1[Ax k  b].
4) Очевидно, что мы получили стационарный итерационный метод с
матрицей шага для ошибки S  E  (D  L)1 A , которая является
непрерывным отображением из R n в R n , и из теоремы о строгом
убывании функционала ошибки следует сходимость метода полной
релаксации.
Метод неполной релаксации
Изменим метод полной релаксации решения системы Ax  b с матрицей
A  A  0 , введя вещественный параметр  :
40
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
x 0  R n  задан,
 x k i/n  x k (i1)/n     k,i  e ,
i


1 k (i1)/n
] i : || z k i/n || A  inf || z k (i1)/n    ei || A , i  1, 2, ..., n,
  k,i  (a i i ) [r

k  0, 1, ...,
т.е. на каждом дробном шаге энергетическая норма ошибки уменьшается
меньше, чем в методе полной релаксации (   1 ):
|| z
k i/n
|| 2A 
|| z
 || z
k (i 1)/n
k (i 1)/n
(r ik (i1)/n )2  (   k,i  a i,i  r ki (i1)/n )2
|| 2A

|| 2A
 [1  (  1) ]
a i,i
2
(r ik (i1)/n )2
ai i

.
Очевидно, что норма ошибки строго уменьшится, если r ik (i1)/n  0 и
0  1  (  1)2 , т.е.   (0, 2) .
Расчетные формулы вычисления компонент очередного приближения x k 1 по
заданному приближению x k имеют вид:
x ik 1

x ik
  k,i 
x ik

a i,1x1k 1  ...  a i,i1x ik11  a i,i x ik  ...  a i,n x nk  bi
ai i
i  1, 2, ..., n,
а матричная запись метода неполной релаксации имеет вид:
x k 1  x k  D1(  Lx k 1  (D  R)x k  b)
 (D  L)x k 1  Dx k  Dx k  (Rx k  b) 
 Dx k  Lx k  Lx k  Dx k  (Rx k  b) 
 (D  L)x k  (Ax k  b)
 x k 1  x k  (D  L)1(Ax k  b),
с матрицей шага для ошибки S  E  (D  L)1 A , которая является
непрерывным отображением из R n в R n .
Из теоремы о строгом убывании функционала ошибки следует сходимость
метода неполной релаксации.
Теорема. Если матрица системы Ax  b симметрична и положительно
определена: A  A  0 , то для любого   (0, 2) метод неполной
релаксации:
41
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
x 0  R n  задан,
x k 1  x k  (D  L)1(Ax k  b),
k  0, 1, ...,
сходится, а энергетическая норма его ошибки убывает:
|| z k 1 || A  || z k || A , если z k  0 .
Оценка сходимости методов релаксации
Предварительные замечания
Итак, ошибка zk  x k  x метода релаксации
x 0  R n задан,
x k 1  x k  (D  L) 1 (Ax k  b)
k  0, 1, ...
строго монотонно убывает в норме || z || A  (Az , z) .
Т.к. A  L  D  R  (L  0.5  D)  (0.5  D  R)  R1  R1 и R1  0 в R n ,
то “переобусловливатель” D  L метода релаксации целесообразно
представить в виде суммы положительно определьных матриц:
D  L  (1  0.5)D  (0.5  D  L)  (1  0.5)D  R1 
 (1  0.5)(D 
где  



R1 )  (D    R1 )  B  0
(1  0.5)



 (0, ) при   (0, 2) .
1  0.5
Тогда метод релаксации может быть переписан в виде
x 0  R n задан,
x k 1  x k    B1 (Ax k  b), B  D    R1  0    0,
k  0, 1, ...
и он сходится при любом   0 .
Очевидно, что
zk 1  [E   B1A]zk  Szk
Замечание. Мы знаем, что для любого вектора z  0
|| Sz ||A  || z ||A  || S ||A  sup || Sz ||A  || Sz sup ||A  1 .
||z||A 1
42
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Здесь мы воспользовались теоремой о достижении максимального
значения непрерывной функции на сфере конечномерного
пространства.
Это замечание является еще одним доказательством сходимости
метода релаксации, следовательно || S ||A  1 , а параметр  нужно
выбирать из условия минимальности || S ||A  || E    B1A ||A или
верхней оценки для этой нормы.
(ASz ,Sz)
, где S  E   B1A .
z  0 (Az , z)
1
1

(B1Az , Az)
2
2 (AB Az , B Az) 
 || S || A  max 1  2

.
z0 
(Az
,
z)
(Az
,
z)


Т.к.  (Ay, y)   ([R1  R1 ]y, y)  2( R1y, y)  2([B  D]y, y) , то
Оценим || S || A  max
2
2 (A[B1Az],[B1Az])  2 (B[B1Az],[B1Az])  2(D[B1Az],[B1Az])
 2 (B1Az, Az)  2(D B1Az, B1Az)

(DB1Az , B1Az) 
(DB1Az , B1Az)
2
 || S || A  max 1  2

  1  2  min
z0
z0 
(Az
,
z)
(Az
,
z)



 1  2  min
([A1/ 2 (B1 ) DB1A1/ 2 ]A1/ 2 z , A1/ 2 z)
z0
1/ 2
(A
1/ 2
z,A
z)
 1  2  ,
где    min (A1/ 2 (B1 ) DB1A1/ 2 ) .
Пусть A1/ 2 (B1 ) DB1A1/ 2 y    y
Av    BD1Bv,

v  A 1/ 2 y .
Т.к. BD1B  (D   R1 )D1 (D   R1 )  D   A  2R1D1R1 ,
то


(Av, v)
(Dv, v)   (Av, v)  2 (R1D1R1v, v)

1
(R1D1R1 v, v)
(Dv, v)
2
max
    max
v 0 (Av, v)
v 0
(Av, v)

1
(A 1D)    2(A 1R1D1R1 )
(A 1D)  (A 1D),

, где 
1
1 
1
1 
(A 1D)    2(A 1R1D1R1 )
(A R1D R1 )  (A R1D R1 ).
1
Теорема.
43
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
1

1/   (A D)
Если известны оценки 
,
1
1 

   (A R1D R1 )
то
|| S || 2A  1  2 
 1  2
1
1/      
2

1    2
1     
2
1    0.
Док–во очевидно.
Замечание. Обычно постоянные   0 и   0 определяют из неравенств
  (Dv, v)  (Av, v), (R1D1R1v, v)    (Av, v)  v
( D  A,    min (D1A) , R1D 1R1    A,
Задача. Найти минимум функции
g() 
Ответ. min g()  g(* ) 
 0
1    2
1     
2
1   /(4)
1   /(4)
,
   max (A 1R1D 1R1 ) ).
 || S || 2A
* 
1
.

Задача. Найти оптимальный параметр  , если *  1/ 
Ответ. * 
2
.
1  2 
Пример
0 1 0
 2 1
 1 2 1
  1 1

 

A

 
1 2 1 

 0
1 2   0
0  1 1
 0 1 1
0
 

 
1 1 0  
0 1
1 1  0
0
Собственные значения матрицы A известны:  k  4  sin 2
0


  R1  R1

1
1 
k
, k  1, ..., n ,
2(n  1)

2
2
2 n
 min (A)  4  sin

4
,  max (A)  4  sin
.
2(n  1) (n  1) 2
2(n  1)
(n  1) 2
2
Оценим постоянные   D  A , R1D1R1    A :
1
   min (D A)  0.5   min (A) 
2
2(n  1) 2
1,
т.к. A  2  R1D1R1  diag{1, 0, ..., 0} , а diag{1, 0, ..., 0}  0 , то
A  2  R1D1R1 и   0.5 .
44
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.

 2 ):
1  0.5
x k 1  x k  (D  L)1 (Ax k  b)
Для метода полной релаксации (   1,  
|| z k 1 || A  || S || A  || z k || A 
1  2   4
 || z k || A
1  2   4
1
2
k
k

 || z || A  (1  2)  || z || A  (1 
)  || z k || A
2
1  4
(n  1)
Для метода неполной релаксации с “оптимальным” параметром * 
2
,
1  2 
*  * /(1  0.5* )  1/  :
|| z
k 1
|| A  || S || A  || z || A 
k

1  *   2 
1  *   2 
 || z k || A 
1   /(4)
1   /(4)
 || z k || A
1  / 2

 || z k || A  (1   / 2) || z k || A  (1 
)  || z k || A
2(n  1)
1  / 2
Для метода Якоби
x k 1  x k  D 1 (Ax k  b)
|| z k 1 || A  || S || A  || z k || A 
 max |1  0.5  (A) |  || z k || A 
 (1  0.5 
так как
(A(E  D
|| S ||A2  sup
2
(n  1)
2
) || z k || A 
1
A)z,(E  D1A)z)
|| (E  A1/2D 1A1/2 )A1/2z || 2
 sup

1/2
1/2
(Az, z)
(A z, A z)
2 (E  A1/2 D1A1/2 )  2 (E  D1A)   2 (E  0.5  A)
Тогда
верхняя
релаксация
1
2
 2(n  1) /  , * 
 1,
1   /(n  1)




,
g(* )  1 
, || S ||A  1 
1
n 1
n 1
2(n  1)
2(n  1)
1
k() 
 ln


* 
45
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
полная
релаксация
g(2)  1 
k() 
метод
Якоби
22
(n  1) 2
(n  1) 2
2
 ln
, || S ||A  g(2)  1 
k() 
2
(n  1) 2
1

|| S ||A  max |1  0, 5  (A) |  1 
2(n  1) 2
2
 ln
1

46
2
2(n  1) 2
,
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 8.
Градиент, метод наискорейшего спуска
Как
выбирать
вектор
при
y
построении
итерационного
метода
x k 1  x k    y из условия минимизации ошибки:
|| zk 1 || 2  min || zk    y || 2 ?

Градиент функции f (z) : R n  R
f (z    y)  f (z) 
d f (z    y)
   O( 2 ) 
d
 0
 f (z)
f (z) 
 f (z)  
y1  ... 
y n     O( 2 ) 
z n
 z1

 f (z)  (f , y)    O( 2 )  f (z)  (f , y)  .
Так как (f , y)  cos(f , y) || f ||  || y || принимает минимальное или
максимальное значения, когда вектора f , y параллельны, то очевидно, что
 y  f – направление максимального возрастания f (z) ,
 y  f – направление максимального убывания f (z) .
z2
f (z)  const
f (z)
z
z1
f
Пример спуска по антиградиенту.
Градиент функции f (z)  || z || С : R n  R
2
Если f (z)  || z || С  (Сz, z), С  С  0 , то
2


  f (z)  2Cz
2
 f (z)  (Cz, y)  2    (Cy, y) 

Следовательно, итерационный процесс имеет вид ( y  0.5  Cz )
f (z    y)  f (z)  (f , y)    O( 2 ) 
47
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
x k 1  x k   k  Cz k , z k 1  z k   k  Cz k ,
 k : || z k 1 || C2  min[|| z k || C2 2  (Cz k , Cz k )   2  (CCz k , Cz k )],

Так как
(z )   k 
k
(Cz k , z k )
k
 || z
k
k 1
|| C2
 || z
k
|| C2

(Cz k , Cz k ) 2
k
k
 || z k || C2
(CCz , Cz )
(CCz , Cz )
и отображение S(z)  z  (z)  Cz непрерывно при z  0 , то по теореме о
строгом убывании функционала итерационный процесс сходится.
Выбор матрицы C
Очевидно, что условием реализуемости метода является вычислимость вектора
Cz k  Cx k  Cx . Если C  HA  C  0 ( H – заданная матрица), то вектор
Cz k  H(Ax k  b)  Hr k вычислим.
Метод наискорейшего спуска
Если матрица системы Ax  b симметрична и положительно определена, то,
выбирая C  A , получаем метод наискорейшего спуска
x 0  задан,
x
k 1
 x  k (Ax  b), k 
k
k
(r k , r k )
k
k
(Ar , r )
,
k  0, 1, ...
энергетическая норма || z k || A ошибки которого строго убывает.
Метод минимальных невязок
В итерационном процессе x k 1  x k  k (Ax k  b) параметр k
выбирать из условия минимизации невязки:
будем
(r k 1, r k 1 )  min (r k  Ar k , r k  Ar k ) .

Теорема. Если матрица вещественной системы Ax  b
определена, то метод минимальных невязок
положительно
x 0  задан,
x
k 1
 x  k (Ax  b), k 
k
k
(Ar k , r k )
(Ar k , Ar k )
,
k  0, 1, ...
сходится, а норма || r k || 2  (r k , r k ) его невязок строго убывает.
48
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Док-во.
Во-первых; min (r k  Ar k , r k  Ar k ) 

 min [(r , r )    (r k , Ar k )    (Ar k , r k )  2  (Ar k , Ar k )]
k
k

 min [(r k , r k )  2  (r k , Ar k )  2  (Ar k , Ar k )]

достигается при k  (Ar k , r k ) /(Ar k , A r k ) и
|| r
k 1
|| 22
 || r
k
|| 22

| (Ar k , r k ) | 2
k
k
(Ar , A r )
если r k  0 & (Ar k , r k )  0 ,
A  0.
 || r k || 22 ,
то. невязка строго убывает при
Во-вторых; из строгого убывания нормы невязки r k  Azk следует
|| zk 1 || 2   (r k 1, r k 1 )  (r k , r k )  || z k || 2  ,
A A
A A
т.е. AA -норма ошибки строго убывает.
Кроме того, очевидно, что оператор S :
z k 1  S(z k )  zk  k (z k )  Az k
непрерывен всюду за (исключением, быть может, 0) и по теореме о
строгом убывании функционала итерационный процесс сходится.
Метод простой итерации
В методах наискорейшего спуска и минимальных невязок для определения
параметра k на каждом шаге нужно вычислять два скалярных произведения (с
умножением невязки на матрицу системы). Использование постоянного
параметра k   существенно уменьшает объем вычислений на каждом шаге.
Предварительные замечания
Выясним, при каких условиях стационарный итерационный метод
x 0  задан,
x k 1  x k    (Ax k  b),
k  0, 1, ...
сходится к решению системы Ax  b .
Мы знаем, что необходимым и достаточным условием сходимости
стационарного итерационного метода является условие (S)  (E    A)  1 .
Если (A) – собственное значение матрицы A , то (S)  1    (A) и
| (S) | 2  [1    Re (A)]2  2  [Im (A)]2 
 1  2  Re (A)  2  | (A) | 2
Очевидно, что, если   Re  (A)  0 , то |  (S) |  1 и метод не сходится.
Следовательно, необходимым условием сходимости метода является условие
49
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
  Re (A)  0    Sp A
или знакоопределенность Re  (A)    Sp A .
Пусть Re (A)  0    Sp A . Тогда
max | (S) | 2 
 (S)SpS
max
 (A)Sp A
0
|1    (A) | 2  1, если
2  Re (A)
min
 (A)Sp A
| (A) | 2
.
Метод простой итерации
Теорема. Если матрица системы Ax  b симметрична и положительно
определена, то метод простой итерации (Ричардсона)
x 0  задан,
x k 1  x k    (Ax k  b),
k  0, 1, ...
2
).
сходится при    (0,
(A)
Док-во.
Так как A  A  0 , то (A)  Re (A)  0 и (как следует из
предварительных замечаний) метод сходится, если
0
min
2  Re (A)

2
2

.
 (A)Sp A | (A) |
(A)
min
| (A) | 2
Оптимальный выбор параметра  метода Ричардсона
Пусть границы спектра матрицы A  A  0 известны:
0   min (A)  (A)   max (A)  (A)
Определим опт :
 (A)Sp A
(Sопт )  min (S ) |  min


max
 (A)Sp A
|1    (A) |  min

max
 min  max
|1     | 
 min max{|1     min (A) |, |1     max (A) |} 

 |1  опт   min (A) |  |1  опт   max (A) |
 max   min
 1.
 max   min
 min
Теорема. Если матрица системы Ax  b симметрична и положительно

опт 
2
,
  max
(Sопт ) 
определена, то для ошибки метода простой итерации (Ричардсона) с
опт  2 /[ max (A)   min (A)]
оптимальным
параметром
справедливы оценки
50
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
|| z k || 2  k (Sопт ) || z 0 || 2 ,
|| z k || A  k (Sопт ) || z 0 || A , где (Sопт ) 
Док-во.
 max (A)   min (A)
 1.
 max (A)   min (A)
Так как A  A , то S  S и, следовательно, || S || 2  (S ) .
Далее,
|| S ||2A 
(AS z,S z)
(S [A1/ 2 z],S[A1/ 2z])
2
2
max
 max

||
S
||


(S ) ,

2
z0
z0
(Az, z)
([A1/ 2 z],[A1/ 2 z])
а из неравенств || z k ||  || S ||  || z k 1 || и вышеизложенного следуют
оценки теоремы.
Оценки сходимости МНС и ММН
Теорема. Если A  A  0 , то для ошибки z k метода наискорейшего спуска:
x
k 1
 x  k (Ax  b) ,
k
k
k 
(r k , r k )
(Ar k , r k )
k  0, 1, ...,
,
справедливы оценки:
k
|| z k || A
Док-во.

  min 
0
k
  max
 || z || A , || z || 2 
  max   min 
 max
 min
k
  max   min 
0

 || z || 2
  max   min 
Так как
|| z k 1 || A  inf || z k   Az k || A  || Sопт z k || A 

 || Sопт || A  || z k || A  (Sопт ) || z k || A
то || z k || A  опт  || z0 || A , где
k
 max (A)   min (A)
.
 max (A)   min (A)
Так как  min (z, z)  (Az, z)   max (z, z) и, следовательно,
опт  (Sопт ) 
min || z || 2  || z || A  max || z || 2 ,
то || zk || 2 
max / min
опт  k || z0 || A .
Теорема. Если A  A  0 , то для ошибки z k метода минимальных невязок:
x
k 1
 x  k (Ax  b) ,
k
k
k 
справедливы оценки:
51
(Ar k , r k )
k
k
(Ar , Ar )
,
k  0, 1, ...,
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
k

  min 
 max
0
k
|| r || 2   max
 || r || 2 , || z || 2 
 min
  max   min 
k
Док-во.
k
  max   min 
0

 || z || 2
  max   min 
Так как
|| r k 1 || 2  inf || r k   Ar k || 2  || r k  опт Ar k || 2 

 || Sопт || 2  || r k || 2  (Sопт ) || z k || 2
то || r k || 2  опт  || r 0 || 2 , где
k
опт  (Sопт ) 
 max (A)   min (A)
.
 max (A)   min (A)
Так как || r k || 2  || Az k || 2 и
|  min | 2 (z, z)  (Az, Az)  |  max | 2 (z, z) ,
то из неравенств  min || z k || 2  || r k || 2   max || z k || 2 следует оценка
|| z k || 2 
 max k
опт || z 0 || 2 .
 min
52
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 9. Метод Ричардсона с чебышевскими параметрами
Предварительные замечания
В предыдущем разделе для решения системы Ax  b с матрицей A  A  0 мы
рассмотрели стационарный метод Ричардсона (простой итерации)
x 0  задан,
x k 1  x k    (Ax k  b),
k  0, 1, ...
и определили оптимальный параметр   опт  2 /( min   max ) такой, что
(Sопт )  inf (S )  (max  min ) /(max  min )

где S  E    A , 0   min   max – минимальное и максимальное собственные
значения матрицы A .
Если вместо собственных значений 0   min   max известны их оценки
0     min   max   ,
то оптимальным параметром   опт метода простой итерации называют
параметр, при котором минимизируется оценка для (S ) :
inf (S )  inf [ max |1     |]  inf [ max |1     |]  inf || S1,  ( ) ||C[,] 


Sp(A)



 inf [max{|1     |, |1     |}]  (  ) /(  )  1,

опт  2 /(  ).
Решение этой минимаксной задачи иллюстрируется на следующем графике:
S1, опт ()
1
1
0


(A)
1
Теперь сделаем две итерации метода Ричардсона (2-циклический метод
Ричардсона), но с разными параметрами:
x 2k 1  x 2k  1  (Ax 2k  b),
x 2k  2  x 2k 1  2  (Ax 2k 1  b).
Будем выбирать параметры 1 и  2 из условия минимизации оценки для
спектрального радиуса матрицы S2, [ 1 , 2 ]  (E  2 A)(E  1A) :
53
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
inf
 ( 1 , 2 )
(S2,  )  inf [ max | (1  1   |)  (1  2   |)] 

Sp(A)
 inf [ max (1  1   |)  (1  2   |)]  inf || S2,  () ||C[,]  2 .



Можно доказать (докажите!), что оптимальные значения параметров
  (1 , 2 ) определяются из условий, показанных на следующем графике:
S2,  ()
1
2
2

0
2

(A)
Практически очевидно, что 2  1 , т.е. 2-циклический метод Ричаздсона
сходится “быстрее” метода простой итерации.
Тогда, очевидно, что оптимальные параметры   {i  i }im1 m -циклического
метода Ричардсона:
 x mk 1  x mk  1  (Ax mk  b),

...
 mk  m
 x mk  m 1  m  (Ax mk  m 1  b),
x
k  0, 1, ...
следует выбирать из условия минимизации оценки для спектрального радиуса
матрицы Sm, [ 1 , ,..., m ]  (E  m A)...(E  1A)
inf
 ( 1 , ..., m )
(Sm,  )  inf [ max | (1  1   |)  ...  (1  m   |)] 

Sp(A)
 inf [ max | (1  1  )  ...  (1  m  ) |]  inf || Sm,  () ||C[,]  m .



а решение этой задачи (предположительно) изображено на следующем графике
Sm,  ()
1
m
0
m
k


̂ k
54
(A)
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
где изображен “чебышевский альтернанс”: на интервале [, ] полином
Sm,  ()  (1  1  )  ...  (1  m   ) в точках   ˆ 0  ...  ˆ k  ...  ˆ m   имеет
m  1 чередующихся экстремумов Sm,  (ˆ k )  (1) k m .
Тогда
Sm,  ()
имеет
попарно различных положительных корней
m
0    ˆ k 1   k  ˆ k   , и k  (k )1 .
Предположим, что существует полином Sm,  (), Sm,  (0)  1 , имеющий
“чебышевский альтернанс” на интервале [, ] .
Покажем, что этот полином наименее уклоняется от нуля на интервале [, ]
среди всех полиномов Sm (), Sm (0)  1 .
Теорема. Если   0 , то || Sm,  () ||C[,] 
Док-во.
Пусть || Sm,  () ||C[,] 
тогда  Sm () :
inf
Sm (), Sm (0) 1
inf
Sm (), Sm (0) 1
|| Sm () ||C[,] .
|| Sm () ||C[,] ,
|| Sm,  () ||C[,]  || Sm () ||C[,] .
|| Sm ||C[,]
Sm (  )
1
m
0

ˆ k 1
 || Sm ||C[,]
m
Т.к.


̂ k
Sm,  ()
{Sm,  (ˆ k )}km 0
последовательность
знакопеременна
и
m  | Sm,  (ˆ k ) |  | Sm (ˆ k ) | ,
то послед-ность {R m (ˆ k )  Sm,  (ˆ k )  Sm (ˆ k )}km 0 знакопеременна,
т.е.
полином
R m ()  Sm,  ()  Sm ()
в
каждом
интервале
(0  ˆ k 1 , ˆ k ) имеет положительный корень.
Т.к имеем m таких интервалов, то полином R m () [, ] имеет m
попарно различных положительных корней.
Но R m (0)  Sm,  (0)  Sm (0)  1  1  0 – (m  1) -й корень:
у полинома R m () степени m разных корней больше, чем его
R m ( )  0
степень, т.е.
– противоречие предположению
|| Sm,  () ||C[,]  || Sm () ||C[,] .
55
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Построение полинома Sm,  (), Sm,  (0)  1 , наименее
уклоняющегося от нуля на интервале [, ]
Полином Чебышева
На интервале [0, 1] рассмотрим функцию Tm (x)  cos(m  arccos(x)) .
Очевидно, что
 || Tm (x) ||C[ 1, 1]  1 ,
ˆ  1, если m  arccos (x)
ˆ  2k , т.е. xˆ  xˆ 2k  cos(2k / m) ,
 Tm (x)
(2k  1)
ˆ  1 , если m  arccos (x)
ˆ  (2k  1)  , т.е. xˆ  xˆ 2k 1  cos(
 Tm (x)
)
m
 k  0,  1, ... ,
 1  xˆ m  xˆ m 1  ...  xˆ 1  xˆ 0  1 ,
Tm (xˆ k )  (1)k ,
 Tm (x)  0 , если m  arccos (x)  k   / 2 , т.е. x  x k  cos(
1  xˆ k  x k  xˆ k 1  1 , k  1, 2, ..., m .
1
x4
1  xˆ 4
T4 (x)
x3
x̂ 3
(2k  1)
)
2m
x2
0  xˆ 2
x1
x̂1
x
x̂ 0  1
1
Лемма. Функция Tm (x)  cos(m  arccos(x)) – полином (Чебышева) степени m .
Док-во. T0 (x)  1, T1 (x)  x – полиномы.
Т.к. cos((k  1))  cos((k  1))  2cos()  cos(k) ,
то при   arccos x имеем
Tk 1 (x)  2  T1 (x)  Tk (x)  Tk 1 (x) – полином степени k  1  k  1 .
Следствие. Tm (x)  0  x  [1, 1] .
Замечание. Очевидно, что полином Чебышева Tm (x) имеет на интервале
[1, 1] альтернанс: в (m  1) -й точке 1  xˆ m  xˆ m 1  ...  xˆ 1  xˆ 0  1
принимает чередующиеся экстремальные значения Tm (xˆ k )  (1)k ,
равные по модулю.
56
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Полином Sm,  ()
Построим полином Sm,  (), Sm,  (0)  1 с чебышевским альтернансом на [, ] ,
  0 . Т.к. полином Чебышева Tm (x) имеет на интервале [1, 1] альтернанс, то
поступим следующим образом:
 
1. интервал [1, 1] длины 2 отмасштабируем до интервала [
,
]
2
2
длины    : график полинома Tm (x) сожмется по горизонтали в график

полинома Tm (x(y)) , где y 
x;
2
 

2. интервал [
,
] сдвинем на 
  в интервал [, ] : сжатый
2
2
2
по горизонтали график полинома Tm (x) сдвинется и будет графиком
 

Tm (x( )) ,
полинома
где
и
(x)  y   

x
2
2
2
2  (  )
, но, это очевидно, альтернанс у полинома Tm (x( )) на
x() 

интервале [, ] сохранится;
T (x(0)) T4 (x())
4
1
(x1 )
(x 4 )
(xˆ 4 )  
 (x 3 )
(x 2 )

  (xˆ 0 )
1
1
Tm (x()) , т.е.
Tm (x(0))
Sm,  (0)  1, и, снова заметим, что у полученного полинома есть
3. отнормируем
полином
Tm (x( )) :
Sm,  () 
чебышевский альтернанс на интервале [, ].
Следовательно, мы построили нужный нам полином (наименее уклоняющийся
от 0 на интервале [0  , ] и равный 1 при   0 ):
1
Sm,  () 
Tm (x()),  [, ]
Tm (x(0))
с корнями (занумерованными в порядке убывания)


(2k  1)
k  (x k ) 
xk 
, x k  cos(
), k  1, 2, ..., m .
2
2
2m
57
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Замечание. Очевидно, что m  || Sm,  () ||C[,]  | Tm (x(0)) |1 .
Норма полинома Sm,  ()
Осталось вычислить m  || Sm,  () || C[,] .
Теорема.
Если   0 , то
m  || Sm,  () || C[,] 
2 m
1   2m
 1 , где  
 
 
.
Док-во.
Очевидно, m  || Sm,  () || C[,]  | Tm ( x(0)) | 1,
x(0)  


 1.
Для вычисления Tm ( x(0)) воспользуемся формулой
Заметим, что
(x  x 2  1)m  (x  x 2  1) m
Tm (x) 
при | x |  1 .
2
x(0)  x (0)  1 
2
(  ) 2  2    (  ) 2
(   )  (   )
1
1
x(0)  x 2 (0)  1 
 .

x(0)  x 2 (0)  1

2m
()m  ( 1 )m
m 1 
Тогда Tm ( x(0)) 
 (1)
2
2 m
 
 
  ,
 m 
2 m
1   2m
1.
Док-во формулы Tk (x)  0.5[(x  x 2  1)k  (x  x 2  1) k ] при | x |  1 .
Действительно, T0 (x)  1 и T1 (x)  x .
Осталось проверить, что Tk 1 (x)  2  T1 (x)  Tk (x)  Tk 1 (x) или
(x  x 2  1)k 1  (x  x 2  1)k 1 
 2x[(x  x 2  1)k  (x  x 2  1)k ]  [(x  x 2  1)k 1  (x  x 2  1)k 1] .
Пусть y  x 2  1 , тогда
(x  y)k 1  (x  y)k 1  x  [(x  y)k  (x  y) k ]  y  [(x  y) k  (x  y) k ] 
 x  [(x  y)k  (x  y) k ] 
 y  [x  {(x  y) k 1  (x  y) k 1}  y  {(x  y) k 1  (x  y) k 1}] 
58
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
 x  [(x  y) k  (x  y) k ] 
 y  x  {(x  y) k 1  (x  y) k 1}  (x 2  1)  {(x  y) k 1  (x  y) k 1} 
 2x  [(x  y) k  (x  y) k ]  {(x  y) k 1  (x  y) k 1} 
( x 2  xy  yx  x 2 )  (x  y) k 1  (  x 2  xy  yx  x 2 )  (x  y) k 1 
 2x  [(x  y)k  (x  y)k ]  {(x  y) k 1  (x  y) k 1} , что и тр. док.
Формулы m -циклического метода Ричардсона с чебышевскими
параметрами
Из вышеизложенного следует, что для решения системы Ax  b , A  A  0 ,
Sp(A)  [ , ] ,   0 , двучленные формулы m -циклического метода
Ричардсона с чебышевскими параметрами имеют вид
 x k 1  x k  k 1 (Ax k  b),

 k  0, 1, ... ,
 , ...,  , 
m
m 1  1 , ..., 2m  m , ... ( m  j   j ),
 1
(2 j  1)
 j  j  2 /[(  )  (   )  cos
], j  1, 2, ..., m,
2m
а матрица перехода для его ошибки за полный цикл ( z (t 1)m  Sm,   z t m )
Sm,  (A)  (E  m A)  ...  (E  1A) симметрична, и, следовательно,
|| Sm,  (A) ||2  || Sm,  (A) ||A  m .
Численная неустойчивость двучленных формул метода Ричардсона
Из–за ошибок округления реализация формул x k 1  x k  k 1 (Ax k  b)
неустойчива, т.к. норма оператора шага || E  k 1A || 2 для ошибки может быть
значительно больше 1 (в методе простой итерации эта норма меньше 1), в то
время как || (E  1A)  ...  (E  m A) || 2  m  1 . Поэтому, если несколько первых
итераций выполняется с параметрами  k 1 , для которых нормы операторов
шага || E  k 1A || 2  1 , то процесс вычислений прервется из-за
“переполнения”.
Выходом из такого положения является специальная нумерация параметров
 k 1 , при которой перемешиваются операторы шага с большими и малыми
нормами. Но мы на этом остонавливаться не будем. а построим устойчивые
трехчленные формулы реализации метода Ричардсона.
59
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Трехчленные формулы реализации метода Ричардсона
Итак, наименее уклоняющийся от 0 на интервале [0  , ] и равный 1 при
  0 полином имеет вид:
2  (  )

,
Sm,  ()  t m1  Tm (x()), x() 
, t m  Tm (x(0)), x(0)  


а для полиномов Чебышева Tm (x) и констант t m имеем трехчленные формулы:
T0 (x)  1, T1 (x)  x,
t 0  1, t1  (  ) /(  ),


Tk 1 (x)  2  T1 (x)  Tk (x)  Tk 1 (x), t k 1  2  t1  t k  t k 1.
В последних формулах сделаем замену Tk (x)  t k  Sk,  () :
2

2

t

S
(

)

1,
t

S
(

)




  t1,


1 1, 
 0 0, 










 t k 1  S
()  2t1t k  S1,  ()  Sk,  ()  t k 1  Sk 1,  ().
k 1, 

Или, учитывая формулы для t k :
2
S0,  ()  1, S1,  ()  1 
  1  опт  ,

t t
t
Sk 1,  ()  k 1 k 1  (1  опт  )  Sk,  ()  k 1  Sk 1,  () 
t k 1
t k 1
t k 1
t
 [Sk,  ()  Sk 1,  ()]  опт  (1  k 1 )    Sk,  ().
t k 1
t k 1
В этих формулах  заменим на матрицу системы Ax  b :
S0,  (A)  E, S1,  (A)  E  опт  A,
 Sk,  () 
Sk 1,  (A)  Sk,  (A) 
t k 1
t
 [Sk,  (A)  Sk 1,  (A)]  опт  (1  k 1 )  A  Sk,  (A).
t k 1
t k 1
Тогда, если z k  x k  x  Sk,  (A)  z 0 – k -я ошибка итерационного метода, т.е.
z0  S0,  (A)  z 0  z 0 , z1  S1,  (A)  z 0  z 0  опт  Az 0 ,
z k 1  z k 
t k 1 k
t
 [z  z k 1 ]  опт  (1  k 1 )  A  z k ,
t k 1
t k 1
то для приближений x k справедливы формулы (проверьте!):
x 0  задан, x1  x 0  опт  (Ax 0  b),
x k 1  x k 
t k 1
t
 (x k  x k 1 )  опт  (1  k 1 )  (Ax 0  b).
t k 1
t k 1
60
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
t k 1
 k k 1, k  t k 1 / t k , из формулы
t k 1
t k 1  2t1t k  t k 1 получают рекуррентное соотношение
1

1
1
1   
, k 1 

, k  1, 2, ... .
t1

2t1  k 2(1 )1  k
Тогда
2
x k 1  x k  k k 1 (x k  x k 1 ) 
(1  k k 1 )  (Ax k  b), k  1, 2, ... ,

– двухшаговый (трехслойный) итерационный процесс.
Обычно
вводят
обозначение
61
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 10.
Метод сопряженных градиентов
Предварительные замечания
Циклический метод Ричардсона x k 1  x k  k 1 (Ax k  b) с чебышевскими
параметрами k  m  k (длина цикла равна m ) для решения системы Ax  b с
симметричной и положительно определенной матрицей: A  A  0 , спектр
которой лежит в интервале [, ] ,   0 , характеризуется тем, что за t  m
итераций ( t циклов) для ошибки z t m  S
m, 
(A)  z(t 1)m  [Sm,  (A)] t  z 0
справедливо неравенство
|| z t m || A  m  || z(t 1)m || A  [m ] t  || z0 || A
 z0 ,
где m  || S  () ||C[,]  2 m /(1   2m )  1,   (    ) /(    ) .
m, 
Подчеркнем, что эта оценка справедлива для всех z 0 , а для вычисления
k  m  k необходимы оценки 0     min (A) и  max (A)   .
Но,
если
параметры
(t 1)m 1 , ..., (t 1)m  m
заменить
на
параметры
(t)
(t 1)m
(t)
( ẑ0  z0 ), при которых
(t 1)m 1 , ..., (t 1)m  m , зависящие от ошибки ẑ
достигается минимум нормы ошибки zˆ t m  S
m, (t)
(A)  zˆ (t 1)m :
|| zˆ t m || A  || Sm, (t) (A)  zˆ (t 1)m || A  min|| Sm,  (A)  zˆ (t 1)m || A ,

то очевидно, что
min|| Sm,  (A)  zˆ (t 1)m || A  || Sm,  (A)  zˆ (t 1)m || A  m  || zˆ (t 1)m || A ,

т.е. имеем оценку сходимости нового итерационного метода вариационного
типа (его параметры выбираются из условия минимизации функционала):
|| zˆ t m || A  m  || zˆ (t 1)m || A  [m ] t  || zˆ 0 || A ,
совпадающую с оценкой сходимости m -циклического метода Ричардсона с
чебышевскими параметрами.
Для определения параметров k 1 m -циклического метода Ричардсона
x k 1  x k  k 1 (Ax k  b) для решения системы Ax  b необходимо
предварительное вычисление (точное или приближенное) границ спектра
матрицы A , чего не требуется в методах наискорейшего спуска и минимальных
невязок.
62
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Минимизация функционала
Итак, по вектору z (t 1)m нам нужно построить вектор z (t)m  Sm, (t ) (A)  z (t 1)m
такой, что
|| z t m || A  min|| Sm,  (A)  z(t 1)m || A .

Решим эту задачу при t  1 (т.к. при других t решение задачи будет таким же с
точностью до обозначений).
Т.к.
z m  (E  m A)...(E  1A)z 0  z 0  q1 ()Az 0  ...  q m ( )A m z 0 
 z0  1 ()g 1  ...   m ()g m  L m ,
где Lm  L{Az0 , ..., Am z0 }  L{g1, ..., g m } , а {g1 , ..., g m } – некоторая система
векторов (например, “ортогональный” базис в Lm ), то
|| z m || A  min || (E  m A)...(E  1A)z 0 || A  min || z 0  1g 1  ...   mg m || A .


Параметры 1 , ...,  m удовлетворяют системе уравнений
1  (Az m , z m )
z m m
 (A
, z )  (Ag i , z 0  1g 1  ...   mg m )  0, i  1, ..., m ,
2
i
i
или
0
... (Ag1,g m )   1   (Az ,g1 ) 


... (Ag 2 ,g m )    2   (Az0 ,g 2 ) 


.
 

...

 

0

... (Ag m ,g m )    m  (Az ,g ) 

m 
Матрица этой системы – матрица Грамма в скалярном произведении
(x, y) A  (Ax, y) базиса {gi }im1 в L m , ее определитель не равен нулю,
следовательно решение  существует и единственно.
Если базис {gi }im1 является A –ортогональным, т.е. (Agi ,g j )  0, i  j , то
 (Ag1,g1 ) (Ag1,g 2 )
 (Ag ,g ) (Ag ,g )
2 1
2 2



(Ag m ,g1 ) (Ag m ,g 2 )
(Az 0 ,g k )
(r 0 ,g k )
k 

,
(Ag k ,g k ) (Ag k ,g k )
m
0

z  z  1g1   2g 2  ...   mg m ,
 m
0

 x  x  1g1   2g 2  ...   mg m .
Важное замечание. В случае A –ортогонального базиса {gi }ik1 в L k , k  1, m ,
вектор zk  z0  1g1  ...  k gk является решением задачи
|| z k || A  min || (E  k A)...(E  1A)z 0 || A  min || Sk,  (A)z 0 || A


т.е., в отличие от метода Ричардсона, минимизация нормы ошибки
осуществляется на каждом внутреннем шаге цикла, и, следовательно,
|| z k || A  k  || z0 || A  k  1, ..., m .
63
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Построение A –ортогонального базиса
A –ортогонализуем систему векторов {Az0 , ..., Amz0} .
Зададим g1  Az0  r 0  L1 , тогда 1 
(r 0 , g1 )
, z1  z0  1g1.
(Ag1, g1 )
Вычислим вектор r1  Az1  Az0  1Ag1  Az0  1A2z0  L2 . Легко проверить,
что (r1,g1)  0 , т.е. r1  L1 относительно обычного скалярного произведения.
Далее применяем метод матиндукции.
Предположим, что мы построили A -ортогональный базис {gi }ik1
в
Lk  L{Az 0, ..., A kz 0} такой, что
1. {gi }ij1 – A -ортогональный базис в L j  L{Az 0 , ..., A jz 0 } , j  1, k ,
2. z j  z 0  1  g1  ...   j  g j , i 
(r 0 , g i )
,
(Ag i , g i )
3. r j  Az j  L j1 и r j  L j , т.е. (r j ,gi )  0  i  1, j .
Определим gk 1  r k  1g1  ...   k gk  Lk 1 из условий
(Ag k 1,gi )  (Ar k ,g i )  1  (Ag1,g i )  ...   k  (Ag k ,g i )  0,
i  1, ..., k.
 Так как (Ag j ,gi )  0, i  j , то i  (Ar k ,gi ) /(Agi ,gi ) ,
 так как r k  Lk и Agi  Li 1  Lk при i  1  k , то (Ar k ,gi )  (r k , Agi )  0 и
 i  0, i  1, k  1 .
Тогда
1. gk 1  r k   k gk ,  k  (Ar k ,g k ) /(Ag k ,g k ) , и
{gi }ik11 – A -ортогональный базис в Lk 1  L{Az0 , ..., Ak 1z0},
2. z
k 1
(r 0 ,g k 1 )
,
 z  1  g1  ...  k 1  gk 1  z  k 1  gk 1 ,  k 1 
(Ag k 1,g k 1 )
0
k
3. r k 1  Az k 1  r 0  1  Ag1  ...   k 1  Ag k 1  Lk 1 , т.к. легко
проверяются равенства (r k 1 , gi )  0, i  1, k  1;
r k 1  Lk 1, и, очевидно, что
r k 1  Az k 1  L{r 0 , L{A2 z0 , ..., A k  2 z0 } }  Lk  2 .
Таким образом построен очередной базисный вектор g k 1 и все
предположения метода матиндукции для него выполняются, из которых
следует, что
(r 0 ,g k 1 )
(r1  1Ag1 ,g k 1 )
(r1 ,g k 1 )
(r k ,g k 1 )
 k 1 


 ... 
.
(Ag k 1 ,g k 1 )
(Ag k 1 ,g k 1 )
(Ag k 1 ,g k 1 )
(Ag k 1 ,g k 1 )
64
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Метод сопряженных градиентов
Итак, для решения x системы Ax  b ( A  A  0 ) задано начальное
приближение x 0 и пусть z0  x 0  x – вектор начальной ошибки,
r 0  Az0  Ax 0  b – вектор (известный) начальной невязки.
Выпишем, построенные в предыдущем разделе, формулы A –ортогонального
базиса {gi }im1 в Lm  L{Az0 , ..., Amz0} и добавим к ним выражение для
очередного приближения x k  x 0  1g1  ...  k gk  x k 1  k gk :
1 шаг:
g1  r 0  Ax 0  b,
1  (r 0 , g1 ) /(Ag1, g1 ),
x1  x 0  1  g1 ,
r1  r 0  1  Ag1  Ax1  b;
2 шаг: если r1  0 , то
g 2  r1  1g1 , 1  (Ar1 , g1 ) /(Ag1, g1 )
 2  (r1 , g 2 ) /(Ag 2 , g 2 ),
x 2  x1   2  g 2 ,
r 2  r1   2  Ag 2  Ax 2  b;
...
(k  1) -й шаг: если r k  0 , то
g k 1  r k   k g k ,  k  (Ar k , g k ) /(Ag k , g k )
 k 1  (r k , g k 1 ) /(Ag k 1 , g k 1 ),
x k 1  x k   k 1  g k 1 ,
r k 1  r k   k 1  Ag k 1  Ax k 1  b.
Этот итерационный процесс решения системы Ax  b ( A  A  0 ) называется
методом сопряженных градиентов, если k  0, 1, ... .
Теорема.
Если A  A  0 , то метод сопряженных градиентов продолжается до
получения решения системы Ax  b за m  n итераций (пока r k  0 ) и
 max   min
2 k
0
.
|| z k ||A 
||
z
||
,


A
2k
 max   min
1 
Доказать теорему в качестве упражнения.
65
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Трехслойные формулы метода сопряженных градиентов
Напомним двухслойные формулы метода сопряженных градиентов для
решения x системы Ax  b ( A  A  0 ), A -ортогональность векторов {gi } ,
ортогональность невязок r k  Lk 1 подпространству L k :
x1  x 0  1  g1 ,
g1  r 0 ,
1  (r 0 , g1 ) /(Ag1 , g1 );
k  1:
x
k 1
 x   k 1  g k 1 ,
k
g k 1  r   k g k ,
k
 k  (Ar k , g k ) /(Ag k , g k ),
(Agi , g j )  0, i  j,
(r k , gi )  0, i  k,
(r k , r i )  0, i  k.
 k 1  (r k , g k 1 ) /(Ag k 1 , g k 1 )
Так как g k  (x k  x k 1 ) /  k , то эти формулы можно переписать в виде:
x1  x 0  1  r 0 , 1  (r 0 , r 0 ) /(Ar 0 , r 0 );
k  0:
x k 1  x k   k 1  (r k   k (x k  x k 1 ) /  k ) 
 x k  ( k 1 /  k   k )  (x k  x k 1 )   k 1  r k .
k 1
Параметры k 1 и k 1 можно определять из условий ортогональности
невязки r k 1 невязкам r k 1 и r k :
k 1 k 1
k k 1
k
k 1 k 1
k k 1

(r , r )  (r , r )  k 1  (r  r , r )   k 1  (Ar , r )  0,

k 1 k
k k
k
k 1 k
k k

 (r , r )  (r , r )  k 1  (r  r , r )   k 1  (Ar , r )  0,
или из условия (докажите!) минимизации A -нормы ошибки:
|| z k 1 ||2A  min (A[z k    (z k  z k 1 )    r k ],[z k    (z k  z k 1 )    r k ]) ,
 ,
что сводится (докажите!) к решению другой системы:
k
k 1 k
k 1
k
k 1 k
k k
k 1

k 1  (r  r , x  x )   k 1  (r  r , r )  (r , x  x ),

k
k 1 k
  k 1  (Ar k , r k )
 (r k , r k ).

k 1  (r  r , r )
Тогда трехслойные формулы метода сопряженных градиентов имеют вид
x1  x 0  1  r 0 , 1  (r 0 , r 0 ) /(Ar 0 , r 0 );
x k 1  x k  k 1  (x k  x k 1 )   k 1  r k , k  0,
где параметры k 1 и k 1 являются решением одной из выше
сформулированных систем, зависящие только от x k 1 и x k .
66
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 10 (продолжение).
Переобусловливатель
Если систему уравнений Ax  b преобразовать к системе уравнений
B1Ax  B1b , то обусловленность матрицы B1A новой системы может
оказаться значительно меньше обусловленности матрицы A исходной системы
и тогда влияние ошибок округления на решение системы уменьшится.
Матрица B называется переобусловливателем для матрицы A (для системы
уравнений Ax  b ).
Положительно определенные матрицы A и B называются эквивалентными по
спектру с постоянными 1   0  0 , если
0 (Bv,v)  (Av,v)  1 (Bv,v)  v  R n .
Теорема. Если матрицы A и B самосопряжены и положительно определены,
то все собственные значения матрицы B1A вещественны,
положительны и принадлежат интервалу [  0 , 1 ] .
Док–во. Так как B  B  0 , то существует B1/ 2  (B1/ 2 )  0 .
Матрицы B1A и B1/ 2 (B1A)B1/ 2 подобны, и, следовательно,
имеют одинаковые собственные значения.
Матрица
самосопряжена и
B1/ 2 (B1A)B1/ 2  B1/ 2 AB1/ 2
положительно определена, следовательно, ее собственные значения
(B1A) вещественны и положительны, а собственные векторы w
вещественны: [B1/ 2 AB1/ 2 ]w  (B1A)w .
Очевидно, что v  B1/ 2 w – собственный вектор матрицы B1A :
B1Av  (B1A)v , и (B1A)  (Av, v) /(Bv, v) .
Так как 0 (Bv,v)  (Av,v)  1 (Bv,v)  v  R n , то 0  (B1A)  1 .
Метод простой итерации с переобусловливателем
Теорема. Если A  A  0 & B  B  0 , то метод простой итерации
0

 x  задан,
 k 1
 x k    B1 (Ax k  b), k  0, 1, ...,

x
сходится при любом   (0, 2 / 1 ) , а для его ошибки
S  E   B1A , справедливы оценки
67
zk 1  S zk ,
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
|| z k 1 ||A  || S ||A  || z k ||A    || z k ||A ,
|| z k 1 ||B  || S ||B  || z k ||B    || z k ||B ,   max{|1     0 |, |1    1 |}  1,
  0
при оптимальном параметре   опт  2 /( 1   0 ) имеем опт  1
.
1   0
Док-во. Мы знаем, что, если все собственные значения матрицы B1A
вещественны и положительны, то условием сходимости метода простой
итерации является выбор параметра  из интервала (0, 2 / (S )) , а
(S )
спектральный
радиус
оценивается
сверху
величиной
  max{|1     0 |, |1    1 |} , где  0 и 1 оценки спектра матрицы B1A .
Следовательно,
метод
простой
итерации
сходится
при
любом
 (0, 2 /  )  (0, 2 / (S )) и  минимально, если   опт  2 /( 1   0 ) .
Для доказательства оценок для ошибки zk 1  S zk достаточно установить
равенство энергетических A - и B -норм матрицы перехода S  E   B1A ее
спектральному радиусу:
(A(E  B1A)z,(E  B1A)z)
2
|| S ||A  inf

z0
(Az, z)
((E  A1/ 2 B1A1/ 2 )v,(E  A1/ 2 B1A1/ 2 )v)
 inf

(v, v)
v  A1/ 2 z  0
 || E  A1/ 2 B1A1/ 2 || 22  2 (E  A1/ 2 B1A1/ 2 )  2 (A1/ 2SA 1/ 2 )  2 (S ),
так как матрица E  A1/ 2B1A1/ 2 симметрична.
Аналогично,
(B(E  B1A)z,(E  B1A)z)
2
|| S ||B  inf

z0
(Bz, z)
((E  B1/ 2 AB1/ 2 )v,(E  B1/ 2 AB1/ 2 )v)
 inf

(v, v)
v  B1/ 2 z  0
 || E  B1/ 2 AB1/ 2 || 22  2 (E  B1/ 2 AB1/ 2 )  2 (B1/ 2SB1/ 2 )  2 (S ),
так как матрица E  B1/ 2AB1/ 2 симметрична.
Теорема. Если A  A  0 & B  0.5  A (   0 ), то метод простой итерации
0

 x  задан,
 k 1
 x k    B1 (Ax k  b), k  0, 1, ...,

x
сходится.
68
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Док–во. Энергетическая норма ошибки zk 1  S zk метода простой итерации
строго убывает, если  ([B  0.5  A]w, w)  w  0 :
|| z k 1 ||A  (Az k 1, z k 1 )  (Az k , z k )  2(A B1Az k , z k )  2 (A B1Az k , B1Az k ) 
wk
wk
wk
 (Az k , z k )  2([B  0.5  A]w k , w k )  || z k ||A
и, т.к. оператор S непрерывен, то итерационный процесс сходится.
Метод наискорейшего спуска с переобусловливателем
На каждом шаге метода простой итерации параметр  можно выбирать из
условия минимизации энергетической нормы ошибки zk 1  S zk .
Теорема. Если A  A  0 & B  0 , то итерационный метод
 x 0  задан,

 k 1
(B1r k , r k )
k
1
k
 x  k 1  B (Ax  b), k 1 
,
x
1 k
1 k
(AB
r
,
B
r
)

 k  0, 1, ...,

сходится.
Если, кроме всего прочего, B  B и известны границы  0 и 1
спектра матрицы B1A , то
1   0
.
1   0
Док–во. Очевидно, что минимум энергетической нормы ошибки
|| z k 1 ||A2  inf [(Az k , z k )  2  (AB1Az k , z k )  2 (AB1Az k , B1Az k )] 
|| z k 1 ||A  опт  || z k ||A  (опт ) k 1 || z 0 ||A , опт 

 (Az , z ) 
k
k
(B1r k , r k )2
(AB1r k , B1r k )
при   k 1 
(B1r k , r k )
(AB1r k , B1r k )
и норма ошибки строго убывает, так как (B1r k , r k )  ([B1r k ], B[B1r k ])  0 .
Так как оператор Sk 1 zk  zk  k 1(z k )  B1Az k непрерывен всюду (кроме быть
может 0, то итерационный процесс сходится.
Оценка нормы ошибки при B  B  0 устанавливается элементарно:
|| z k 1 ||A  inf || Sz k ||A  || Sопт z k ||A  || Sопт ||A  || z k ||A  опт  || z k ||A ,

что и требовалось доказать.
Замечание. Очевидно, что при
наискорейшего спуска.
BE
69
мы получим формулы метода
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Метод сопряженных градиентов с переобусловливателем
Напомним, что метод сопряженных градиентов для решения системы Ax  b ,
A  A  0 , был построен из условия минимизации энергетической нормы
ошибки за m шагов. Проделаем аналогичную процедуру для решения системы
B1Ax  B1b с A  A  0 , B  B  0 , т.е. решим задачу построения ошибки
z m такой, что
|| z m || A  min || (E  m B1A)...(E  1B1A)z0 || A  min || z 0  1g 1  ...   mg m || A ,


1
1
где Lm  L{B Az , ..., (B A) z }  L{g1, ..., g m} , а систему векторов {gi }im1
предстоит построить.
Как и ранее, параметры 1 , ...,  m удовлетворяют системе уравнений
0
m 0
1  (Az m , z m )
z m m
 (A
, z )  (Ag i , z 0  1g 1  ...   mg m )  0, i  1, ..., m ,
2
i
i
или
0
... (Ag1,g m )   1   (Az ,g1 ) 


... (Ag 2 ,g m )    2   (Az0 ,g 2 ) 


.
 

...

 

... (Ag m ,g m )    m   (Az0 ,g ) 

m 
Матрица этой системы – матрица Грамма в скалярном произведении
(x, y) A  (Ax, y) базиса {gi }im1 в L m , ее определитель не равен нулю,
следовательно решение  существует и единственно.
Если базис {gi }im1 является A –ортогональным, т.е. (Agi ,g j )  0, i  j , то
 (Ag1,g1 ) (Ag1,g 2 )
 (Ag ,g ) (Ag ,g )
2 1
2 2



(Ag m ,g1 ) (Ag m ,g 2 )
(Az 0 ,g k )
(r 0 ,g k )
k 

,
(Ag k ,g k ) (Ag k ,g k )
m
0

z  z  1g1   2g 2  ...   mg m ,
 m
0

 x  x  1g1   2g 2  ...   mg m .
Построение A –ортогонального базиса
A –ортогонализуем систему векторов {B1Az0 , ..., (B1A)m z0 } .
(r 0 , g1 )
Зададим g1  B Az  B r  L1 , тогда 1 
, z1  z0  1g1 .
(Ag1, g1 )
1
0
1 0
Вычислим вектор r1  Az1  Az0  1Ag1  Az0  1A(B1Az0 ) .
Легко проверить, что B1r1  B1Az0  1 (B1A)2 z0  L 2 и (r1,g1 )  0 , т.е.
r1  L1 относительно обычного скалярного произведения.
Далее применяем метод матиндукции.
Предположим, что мы построили A -ортогональный базис {gi }ik1 в
Lk  L{(B1A)z 0, ..., (B 1A) kz 0} такой, что
70
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
1. {gi }ij1 – A -ортогональный базис в L j  L{(B1A)z 0 , ..., (B1A) j z 0 } , j  k ,
(r 0 , g i )
2. z  z  1  g1  ...   j  g j , i 
,
(Ag i , g i )
j
0
3. r j  Az j : B1r j  L j1 и r j  L j , т.е. (r j ,gi )  0  i  1, j .
Определим gk 1  B1r k  1g1  ...   k gk  Lk 1 из условий
(Ag k 1 ,gi )  (AB1r k ,g i )  1  (Ag1 ,g i )  ...   k  (Ag k ,g i )  0,
i  1, ..., k.
 Так как (Ag j ,gi )  0, i  j , то i  (AB1r k ,gi ) /(Agi ,gi ) ,
 так как r k  Lk и B1Agi  Li 1  Lk при i  1  k , то
(AB1r k ,gi )  (r k ,B1Agi )  0 и  i  0, i  1, k  1 ,
(здесь потребовалась симметричность матрицы B1 ).
Тогда
1. gk 1  B1r k   k gk ,  k  (B1r k ,Ag k ) /(Ag k ,g k ) , и
{gi }ik11 – A -ортогональный базис в Lk 1  L{(B1A)z0 , ..., (B1A)k 1 z0 } ,
2. z
k 1
(r 0 ,g k 1 )
,
 z  1  g1  ...  k 1  gk 1  z  k 1  gk 1 ,  k 1 
(Ag k 1,g k 1 )
0
k
3. r k 1  Az k 1  r 0  1  Ag1  ...   k 1  Ag k 1  Lk 1 , т.к. легко
проверяются равенства (r k 1 , gi )  0, i  1, k  1;
B1r k 1  Lk 1 , и, очевидно, что
B1r k 1  B1Az k 1  L{ B1r 0 , L{(B1A)2 z0 , ..., (B1A)k  2 z0 } }  L k  2 .
Таким образом построен очередной базисный вектор g k 1 и все
предположения метода матиндукции для него выполняются, из которых
следует, что
(r 0 ,g k 1 )
(r1  1Ag1 ,g k 1 )
(r1 ,g k 1 )
(r k ,g k 1 )
 k 1 


 ... 
.
(Ag k 1 ,g k 1 )
(Ag k 1 ,g k 1 )
(Ag k 1 ,g k 1 )
(Ag k 1 ,g k 1 )
Формулы метода сопряженных градиентов с переобусловливателем
1 шаг:
g1  B1r 0  Ax 0  b,
1  (r 0 , g1 ) /(Ag1 , g1 ),
x1  x 0  1  g1 , r1  r 0  1  Ag1  Ax1  b;
...
(k  1) -й шаг: если r k  0 , то
71
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
g k 1  B1r k   k g k ,  k  (B1r k , Ag k ) /(Ag k , g k )
 k 1  (r k , g k 1 ) /(Ag k 1 , g k 1 ),
x k 1  x k   k 1  g k 1 , r k 1  r k   k 1  Ag k 1  Ax k 1  b.
Положительно определенные матрицы
A  0 в Cn (или R n )

(Ax, x)  0  x  Cn (R n ), x  0
Теорема 1. (Ax, x)  Re(Ax, x)  x  C
n

A  A* .
Теорема 2. A  A 
*
A  0 в Cn (R n )   (A)  0,

n
n
 min (x, x)  (Ax, x)   max (x, x)  x  C (R ).
A  0
Теорема 3. A  A 
*
в Cn (R n )

 det (A k )  0
(т.к. A  LDL – разложение Холесского) – это критерий Сильвестра
положительной определенности или положительности всех собственных
значений симметричной (самосопряженной) матрицы.
*
Теорема 4. A  0 в R
n

A  A*  0 в R n .
n
Теорема 5. A   A – веществ. кососимметричная матрица  A  0 в R .
*
Теорема 6. A  0 в R
n
 Re (A)  0 .
Доказать эти утверждения в качестве упражнений.
Построить пример вещественной несимметричной,
n
определенной в R матрицы.
72
но
положительно
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 11. Проблема собственных значений
Для матрицы A  {a i j}i,n j1 нужно найти числа  и ненулевые векторы x такие,
что Ax  x :  – собственное значение, x – собственный вектор.
Корректность задачи на собственные значения
Известно, что все собственные значения матрицы A являются корнями
характеристического полинома
Pn ()  det (A  E)  (1)n n  pn 1n 1  ...  p1  p0 ,
а коэффициенты p0 , ..., p n 1 – непрерывные функции элементов матрицы A .
Пусть A – матрица с “малыми” по величине элементами, P,n () –
характеристический полином матрицы A  A . Следствием непрерывности
det (A  A) как функции элементов матрицы A  A является
Лемма 1. lim P,n ()  Pn ()   C .
A 0
Лемма 2. В любом круге на комплексной плоскости с центром в точке  c и
n
радиуса | Pn (c ) | лежит хотя бы один корень полинома Pn ( ) .
Док–во. Разложим Pn ( ) в ряд Тейлора в точке  c :
Pn ( c )
Pn(n) ( c )
Pn ()  Pn ( c ) 
(   c )  ... 
(   c ) n  Q(z) , где
1!
n!
z    c .
Пусть z1 , ..., z n – корни полинома Q(z) , среди которых корень с
минимальной абсолютной величиной имеет номер min .
Так как | Pn (c ) |  | Q(0) |  | z1  ...  z n |  | z min |n  | min  c |n , то
 min (корень полинома Pn ( ) ) лежит в круге радиуса
n
| Pn (c ) | .
Лемма 3. Если 1 , ...,  n – корни полинома Pn ( ) , то  нумерация корней
,1 , ..., ,n полинома P,n () : ,k   k  k при A  0 .
методом матиндукции по степени полинома.
Док–во
n  1  ,1  p,0  p0  1 .
Пусть лемма верна при n  k .
n
n  k : из леммы 2   ,1 : | ,1  1 |  | P,n (1 ) |  0 .
Т.к. Pn ()  (  1 )R n 1 (), P,n ()  (  ,1 )R ,n 1 ()
и R ,n 1 ()  R n 1 () , то ,2   2 , ..., ,n   n .
73
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 11.
Степенной метод вычисления максимального собственного
значения матрицы A  A  0
Идея метода: для заданного вектора x 0 рассмотрим его k –ю итерацию A k x 0 ,
если 0  1   2  ...   n 1   n  (A) – собственные значения,
q(1) , q(2) , ..., q(n) – соответствующие им собственные векторы, то


A k x 0  k [ n q (n)  ( 1 ) k 1q (1)  ...  ( n 1 ) k  n 1q (n 1) ]  k  n q (n) ,


0
|| A k 1x 0 ||
k 0
1
 ,
k 0
A k 1x 0    q (n) ,
|| A x ||
|| A x ||
где 1 ,  2 , ...,  n – коэффициенты (неизвестные!)
разложения вектора x 0 по базису q(1) , q(2) , ..., q(n) .
Итерационный процесс
xk
x 0  0, x k 1  A k ,
k  0, 1, ...,
|| x ||
называется степенным методом вычисления максимального собственного
значения матрицы A  A  0 :
|| x k ||  (A) , x k  x : Ax    x ,
если проекция начального вектора x 0 на линейную оболочку собственных
векторов, соответствующих (A) , не равна 0.
Док–во. Пусть 0  1  ...   r   r 1  ...   n   – собственные значения,
q(1) , ...,q(r) , q(r 1) , ..., q(n) – собственные векторы матрицы A , и
x 0  1q(1)  ...   r q (r)   r 1q(r 1)  ...   n q (n) 
 1q(1)  ...   r q (r)  y,
y  0.
Тогда Ak x0  k [x  (1 / )k 1q(1)  ...  (r / )k r q(r) ] и,
т.к. x 
k
Ax k 1
|| x k 1 ||
то || x ||  
k

A2 x k  2
|| Ax k  2 ||
 ... 
Ak x 0
|| A k 1x 0 ||
, 0
1

 ...  r  1 ,


|| y  (1 / )k 1q (1)  ...  ( r / )k  r q (r) ||
|| y  (1 / )k 1 1q (1)  ...  ( r / )k 1  r q (r) ||
y  (1 / )k 1q (1)  ...  ( r / ) k  r q (r)
,
y
.
|| y ||
|| y  (1 / )k 1 1q (1)  ...  ( r / )k 1  r q (r) ||
Замечание. Сходимость степенного метода не зависит от выбора в нем
векторной нормы, т.к. все нормы в R n эквивалентны.
x 
k
74
x 
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Степенной метод вычисления минимального собственного
значения матрицы A  A  0
Задача вычисления минимального собственного значения матрицы A  A  0
легко сводится к задаче вычисления максимального собственного значения
матрицы   E  A  0 , где   (A) , так как (  E  A)     min (A) .
Оценку для (A) легко найти:   || A ||  (A) . Тогда
итерационный процесс
xk
0
k 1
x  0, x
 (|| A || E  A) k ,
k  0, 1, ...,
|| x ||
называется степенным методом вычисления минимального собственного
значения матрицы A  A  0 : (|| A ||  || x k ||)  min (A) ,
если проекция начального вектора x 0 на линейную оболочку собственных
векторов, соответствующих  min (A) , не равна 0.
Справедливость этого утверждения является следствием сходимости
степенного
метода
вычисления
спектрального
радиуса
матрицы
B  || A || E  A .
Применение ортогонализации и степенного метода для
вычисления очередного собственного значения
Предположим, что собственное значение  n  (A) и соответствующий ему
собственный вектор (какой–то!) q(n) матрицы A  A  0 мы приближенно
(например степенным методом) вычислили:  n   n , q(n)  q(n) .
Построим симметричную положительно определенную матрицу An 1  Pn APn ,
где матрица Pn  E  q(n) [q(n) ]T – ортогональный проектор на подпространство
(L{q(n) }) , ортогональное вектору q(n) .
Докажите, что спектр матрицы A n 1 (т.е.  n   n , q(n)  q(n) ) состоит из
собственных значений 1  ...   n 1 матрицы A и нуля (вектор q(n)
принадлежит ее ядру).
Отсюда следует, что, если q(n)  q(n) (а степенной метод такую сходимость
гарантирует), то (An 1 )  (An 1 )   n 1 (A) .
Следовательно, применяя степенной метод для матрицы An 1 , мы получим
приближение к  n 1 (A) и q(n 1) – очередным собственным значению и вектору
матрицы A .
Эту процедуру можно продолжать до тех пор, пока мы не получим все
собственные значения.
75
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Степенной метод вычисления границ спектра матрицы B1A в
случае A  A  0 и B  B  0
Знание оценок спектра матрицы B1A в случае A  A  0 и B  B  0
необходимо для построения параметров циклического метода Ричардсона
(простой итерации) для решения системы уравнений
с
Ax  b
переобусловливателем B .
Лемма 4. Все собственные значения матрицы B1A в случае A  A  0 и
B  B  0 положительны, а соответствующие им собственные
векторы A -ортогональны.
Док-во. Задача на собственные значения B1A  x    x эквивалентна задаче
(A1/ 2B1A1/ 2 )[A1/ 2 x]    [A1/ 2x]
на собственные значения самосопряженной положительно определенной
матрицы C  A1/ 2B1A1/ 2  C  0 , имеющей положительные собственные
значения {i }in1 и систему собственных векторов {y(i)  A1/ 2 x (i)}in1 ,
образующую ортонормированный базис:
(y(i) , y( j) )  (A1/ 2 x (i) , A1/ 2 x ( j) )  i, j , i, j  1, 2, ..., n .
Очевидно, что {i }in1 и {x (i)  A1/ 2 y(i)}in1 являются системой собственных
значений и векторов матрицы B1A и собственные векторы A -ортогональны:
(Ax (i) , x ( j) )  (A1/ 2 x (i) , A1/ 2 x ( j) )  i, j , i, j  1, 2, ..., n .
Теорема 1. Если A  A  0 и B  B  0 , то степенной метод
xk
x 0  0  задан, x k 1  B1A k
, k  0, 1, ...
|| x || A
сходится к решению задачи B1A  x    x ,
где  
max
1
Sp(B A)
(B1A)  lim || x k || A – максимальное собственное
k 
значение, а x  lim x k – соответствующий ему собственный вектор,
k 
если (Ax , x)  0 .
Док-во. Пусть 0  1  ...   r   r 1  ...   n   – собственные значения,
0
{x (i) }in1 – A -ортонормальной система собственных векторов из леммы 4
матрицы B1A . Представим начальное приближение степенного метода в виде
разложения:
x 0  1  x (1)  ...   r  x (r)   r 1  x (r 1)  ...   n  x (n)
y0
0
и предположим, что y  0 . Очевидно, что B1A  y   y ,
76
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
(B1A)x k 1
x 
k

|| x k 1 || A
(B1A) 2 x k  2
|| (B1A)x k  2 || A
(B1A) k x 0  k  [1 (
 ... 
(B1A) k x 0
|| (B1A) k 1 x 0 || A
,
1 k (1)

)  x  ...   r ( r ) k  x (r)  y],


k  0
|| (B1A) k 1 x 0 || A  k 1  [1 (
1 k 1 2

) ]  ...  [ r ( r ) k 1 ]2  || y || 2A .


|| k 1 ||2A  0
Тогда x k   
0
 || x k || A

   || y || 2A  ||  k || 2A / || y || 2A  ||  k 1 || 2A



||  k 1 || 2A  ||  k || 2A

(

y
, а || x k || A   . Кроме того,
|| y || A
|| y || 2A
||  k 1 || 2A
2 || y || 2A
 || 
k 1
2
|| A

|| y || 2A
 || 
k
|| 2A ) 
|| y || 2A
 || 
k 1
|| 2A

0 2
[1 ]2  ...  [ r ]2  r 2(k 1) || x || A  r 2(k 1)

( )

( )

2 || y || 2A
2 || y || 2A 
что и требовалось доказать.
Теорема 2. Если A  A  0 , B  B  0 и известна постоянная 1  (B1A) , то
степенной метод
xk
0
k 1
1
x  0  задан, x
 ( 1  E  B A) k
, k  0, 1, ...
|| x || A
сходится к решению задачи B1A  x  (1  min )  x ,
где
 min 
min
Sp(B1A)
(B1A)  1  lim || x k || A
k 
x  lim x k
собственное значение, а
k 
–
минимальное
– соответствующий ему
собственный вектор, если (Ax 0 , x)  0 .
Док-во. Повторяя доказательство теоремы 1, получим, что сформулированный
метод определяет спектральный радиус и соответствующий собственный
вектор матрицы 1  E  B1A . Так как (1  E  B1A)  1  (B1A) и
(B1A)  0 , то   (1  E  B1A)  1  min (B1A) , т.е. min (B1A)  1  .
77
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 12. Метод деления пополам (бисекций)
n
Для самосопряженной матрицы A  {a i j }i, j1 имеет место закон инерции:
если матрицу A конгруэнтным преобразованием привести к диагональному
*
виду: D  T AT , где det T  0 , то от матрицы T (способа преобразования) не
зависит
   (A) – количество отрицательных элементов,
 0 (A) – количество нулевых элементов,
   (A) – количество положительных элементов на диагонали D .
Нам известно (из теоремы и алгоритма LDU –разложения), что если все
det A k  0 , то A  LDL* , D  diag{d1 , ..., d n }, det Ak  d1  ...  d k .
Следовательно, в этом случае за конечное число действий мы можем
определить (A)  {  (A), 0 (A),   (A)}, 0 (A)  0 .
Матрица A  A преобразованием подобия ортогональной матрицей Q
(конгруэнтным преобразованием) из собственных векторов приводится к
*
диагональному виду   diag{1 , ...,  n }  Q AQ . Следовательно,
*
   (A) = количеству отрицательных,
 0 (A) = количеству нулевых,
   (A) = количеству положительных собственных значений матрицы A ,
*
и, используя LDL –разложение, мы можем эти числа определить.
Подытожим эти рассуждения в виде следующей леммы.
*
Лемма 1. Если матрица A  A и det A k  0  k ,
то количество ее отрицательных собственных значений
 (A)  ЧПЗ{1, det A1 , det A2 , ..., det An }
Док–во
– число перемен знака.
леммы оставляется в виде упражнения.
Идея метода бисекций вычисления  j  Sp (A)
 j [a 0 , b0 ]  [ || A || , || A || ] , т.к. (A)  || A || , т.е. все собственные
значения 1   2  ...   n матрицы A  A лежат в этом интервале.
Определим в какой половине интервала [a 0 , b 0 ] лежит  j . Для этого вычислим
*
 (A  c0 E) – количество собственных значений меньших c0  (a 0  b0 ) / 2 .
Если   (A  c0 E)  j , то  j [a 0 ,c0 ]  [a1 , b1 ] , иначе  j [c0 , b0 ]  [a1 , b1 ] .
k 1
Через k таких шагов получим:  j  [a k , b k ], b k  a k  || A || / 2  0 , т.е.
мы можем получить оценку искомого собственного числа с любой точностью.
78
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 12.
Приведение самосопряженной матрицы к трехдиагональному
виду ортогональным преобразованием подобия с помощью
матриц вращения
Как и раньше, через Qi,ik будем обозначать элементарную матрицу вращения,
отличающуюся от единичной матрицы
двумя диагональными элементами: (Qi,ik )i,i  ci,ik , (Qi,ik )ik,i k  ci,i k , и
двумя внедиагональными элементами: (Qi,ik )i,ik   si,ik , (Qi,ik )ik,i  si,ik ,
| ci,ik | 2  | si,ik | 2  1.
Выполним и
1–й шаг. Исключение элементов 1–го столбца матрицы A , начиная с 3–его,
с помощью последовательного умножения на унитарные матрицы
Q2,3 , ..., Q2,n : A1  (Q 2,n  ...  Q 2,3 )A(Q 2,n  ...  Q 2,3 )  Q1AQ1 .
2–й шаг. Исключение элементов 2–го столбца матрицы A1 , начиная с 4–ого,
с помощью последовательного умножения на унитарные матрицы
Q3,4 , ..., Q3,n : A 2  (Q3,n  ...  Q3,4 )A1 (Q3,n  ...  Q3,4 )  Q 2 A1Q2 .
…
…………………..
k–й шаг. Исключение элементов k–го столбца матрицы A k 1 , начиная с
(k+2)–ого, с помощью последовательного умножения на матрицы
Qk1,k2 , ..., Qk1,n :
A k  (Q k 1,n  ...  Q k 1,k 2 )A k 1 (Q k 1,n  ...  Q k 1,k 2 )  Qk A k 1Qk .
…
(n–2)–й
шаг.
…………………..
Исключение последнего элемента (n-2)–го столбца матрицы A n 3 с
помощью умножения на матрицу Qn1,n :
A n 2  (Qn 1,n )A n 3 (Q n 1,n )  Q n 2 A n 3Qn 2 .
1 1

 

2
1
2



,
T  A n 2  (Q n 2  ...  Q1 )A(Q n 2  ...  Q1 )  





n

2
n

1
n

1



n 1  n 
Sp(A)  Sp(T) .
0 
Tk
Если k  0 , то T  
 Sp(T)  Sp(Tk ) Sp(Tˆ n k ) ,

ˆ
 0 Tn k 
т.е. поиск собственных значений самосопряженной матрицы сводится к задаче
на собственные значения якобиевых трехдиагональных матриц.
79
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 12.
матрица
подобна
трехдиагональной
Лемма 2. Самосопряженная
вещественной матрице.
Док–во. Только что мы привели самосопряженную матрицу A к
трехдиагональному виду ортогональным преобразованием подобия:
T  (Qn2  ...  Q1 )A(Qn2  ...  Q1 )  tridiag{i1 , i , i } .
Определим матрицу D  diag{d1 , ..., d n } : (предполагая  i  0 )
d1  1, d 2  1 / | 1 | , ... , d n  1 / | 1 | ... n 1 / | n 1 | .
Тогда D
1
 D , B  DTD1  tridiag{| i1 |, i ,| i |} .
Якобиевы матрицы
Вещественная матрица
 a1
c
 2
B





a 2 b2

 , b1  c 2  0, b 2  c3  0, ..., b n 1  c n  0 ,

c n 1 a n 1 b n 1 
cn
a n 
называется якобиевой (у нас ci  bi1 ).
Лемма 3. Пусть B  tridiag{bi1 ,a i , bi } – якобиева матрица, тогда
1. det B0  1, det B1  a1 ,
b1
det Bi1  a i1  det Bi  bi2  det Bi1 ,
i  1, ..., n  1.
det Bi  0 (i  n) ,
2. если
то
если det Bn  0 , то det Bn 1  0 .
Док–во
det Bi1  det Bi1  0 ,
оставляется читателю в качестве упражнения.
Лемма 4. Собственные значения якобиевой матрицы B попарно различные
(простые).
Док–во. Т.к. размерность ядра симметричной матрицы B  B  E
совпадает с кратностью   Sp (B) , а из леммы 3 следует, что у
вырожденной якобиевой матрицы B  минор [det B ]n 1  0 , то
rang B  n  1, dim Ker B  1 и  простое собственное значение
матрицы B .
80
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 12.
Теорема. Пусть B  tridiag{bi1 ,a i , bi } – якобиева матрица, тогда
 (B)  ЧПЗ{1, det B1 , det B2 , ..., det Bn } ,
если det Bk  0 приписать знак det Bk 1 .
Док–во. 1. Если det Bk  0  k , то это лемма 1.
2. Пусть  k : det Bk  0 . Пусть sign (det Bk )  sign (det Bk 1 ) .
Определим 0 
min
|  |  0 и рассмотрим якобиевы матрицы
Sp(Bi ), 0, i 1,...,n
B  B  E,   (0,  0 ) .
Т.к. ([B ]i )  (Bi )    0  i  1,..., n , то
det[B ]i  0  i  1,..., n, (т.к. определитель
а)
матрицы
равен
произведению ее собственных значений),
б) sign(det[B ]i )  sign(det[B ]i )  sign(det Bi )  det Bi  0 ,
в) sign(det[B ]k )  sign(det[B ]k )  0  det Bk  0 ,
(т.к. из леммы 4 следует, что (Bk )  0 простое и отрицательных собственных
значений у матрицы [B  ]k на одно больше, чем у матрицы [B ]k ),
г)  (B )    (B),   (B )    (B)  0 (B) .
Из леммы 1, а) и г) следует, что
 (B )  ЧПЗ{1, det[B ]1 , det[B ]2 , ..., det[B ]n }   (B) ,
 (B )  ЧПЗ{1, det[B ]1 , det[B ]2 , ..., det[B ]n }   (B)  0 (B) ,
ЧПЗ{1, det B1 , det B2 , ..., det Bn }  ?
Подсчитаем эти числа:
Из б) следует, что если det B j  0 и det B j1  0 , то перемена знака
происходит (или нет) одновременно в этих последовательностях.
Случай det Bk  0, k  n .
Из леммы 3 имеем det Bk 1  det Bk 1  0 , отсюда и из б) следует
det[B ]k 1  det[B ]k 1  0 и на участках
det[B ]k 1 , det[B ]k , det[B ]k 1
det Bk 1 ,
det Bk ,
det Bk 1
по одной перемене знака.
Случай det Bn  0, 0 (B)  1 . Отсюда, из в) и г) следует, что
det[B ]n 1  det[B ]n  0 , det[B ]n 1  det[B ]n  0 ,
sign(det Bn1 )  sign(det Bn )  0 .
Следовательно, (если det Bk  0 приписать знак det Bk 1 ) последовательности
миноров матриц B и B имеют одинаковые знаки. Теорема доказана.
81
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
О вычислении ЧПЗ
Для вычисления  (B)  ЧПЗ{1, det B1 , det B2 , ..., det Bn } якобиевой
матрицы B  tridiag{bi1 ,a i , bi } достаточно знать знак каждого det Bk . Если
d 0  1, d1  det B1 ,
d i1  a i1  d i  bi2  d i1 , i  1, ..., k  1,
d k 1 : d k 1 / | t k |, d k : d k / | t k |,
d i1  a i1  d i  bi2  d i1 , i  k, ..., n  1,
(обычно выбирают t k  max{| d k 1 |, | d k |} ), то sign{di }  sign{det Bi }  i и
 (B)  ЧПЗ{1, d1 , ..., d n } . Нормировку можно применять неоднократно, что
позволит избежать быстрого роста (переполнения) чисел {di } .
О вычислении собственного вектора
Лемма 5. Последняя компонента собственного вектора x якобиевой матрицы
B  tridiag{bi1 ,a i , bi } не равна нулю.
Док–во. Пусть Bx  x, x  0 . Предположим, что x n  0 . Тогда
x n 1  (a n  )  x n / b n 1  0
x n i  [(a n i1  )  x n i1  b n i1  x n i2 ] / b n i  0,
i  2, ..., n  1,
 x  0 – противоречие, значит x n  0 .
Собственный вектор x якобиевой матрицы B  tridiag{bi1 ,a i , bi } мы
можем, положив x n  1, вычислить по формулам
x n 1  (a n  )  x n / b n 1
x n 2  [(a n 1  )  x n 1  b n 1  x n ] / b n 2
.................
x1  [(a 2   )  x 2  b 2  x 3 ] / b1
или решив систему
b1
 a1  
 b
a 2   b2
 1


b n 3


  x1   0 
 x   0 

 2  



 


a n 2  
b n 2   x n 2   0 
b n 2
a n 1     x n 1   b n 1 
с неособенной матрицей.
82
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Лекция 13. Метод вращений (Якоби)
Для самосопряженной матрицы A  {a i j}i,n j1 существует унитарная матрица Q
(столбцы которой – собственные векторы матрицы A ):
QAQ    diag{1, ..., n }
 (QAQ)  min (TAT) , где (A)   | a i j |2 .
T T  E
i j
Идея:
построить {Ak  Qk Ak 1Qk : Qk Qk  E, A0  A} : (A k 1 )   (A k )  0 , тогда
на диагональные элементы A k будут приближать собственные значения, а
столбцы (Q0 ...Q k 1 ) – собственные векторы матрицы A .
Определим S(A)   i, j1| a i j |2 .
n
Лемма 1. Для любых квадратной матрицы A и унитарной матрицы T имеем
S(TA)  S(AT)  S(A) .
Док–во. Если A  a1 ... a n  , то
S(TA)  S([Ta1 ... Ta n ])  (Ta1 ,Ta1 )  ...  (Ta n ,Ta n ) 
 (a1 ,a1 )  ...  (a n ,a n )  S(A).
В качестве матриц Q k будем выбирать элементарные матрицы вращения.
Лемма 2. Пусть A  A , A  Qi jAQi j  {a k l } ,
где Qi j – элементарная матрица вращения, тогда
Док–во.
(A)  (A)  | a i i |2  | a j j |2  | a i i |2  | a j j |2  .


Заметим, что изменились только строки и столбцы с номерами i , j .
Тогда, используя лемму 1, получим
S(A)  (A) 
n

k 1
k  i, k  j
  (A) 
n

k 1
k  i, k  j
| a k k |2  | a i i | 2  | a j j | 2 
| a k k |2  | a i i |2  | a j j |2  S(A)
откуда следует утверждение леммы.
83
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 13.
Выбор вращения
Для простоты будем полагать, что матрица A вещественная. Выразим разность
(A)  (A)  | a i i |2  | a j j |2  | a i i |2  | a j j |2 через элементы матрицы A .
Лемма 3. Пусть A  A , A  Qi jAQi j  {a k l } , где Qi j – элементарная матрица
вращения (  – угол вращения), тогда
2
1
(A)  (A)  2 | a i j |2  (a i i  a j j )sin 2  2a i j cos 2  
2
 2 | a i j |2  2 | a i j |2 ,
Док–во.
Требуемые равенства выводятся из соотношения
 a i i a i j  cos   sin    a i i a i j   cos  sin  



 a
.
a
a
sin

cos

a

sin

cos

  i j

jj
jj
 i j
 

Лемма 4. Пусть A  A , A  Qi jAQi j  {a k l } ,
где Qi j – элементарная матрица вращения такая, что
| a i j |  max| a k l |, (a i i  a j j )sin 2  2a i j cos2  0,
k l
Док–во.
то (A)  1  2 /(n(n  1))   (A) .
Требуемое неравенство следует из
равенства (A)  (A)  2 | a i j |2 и оценки (A)  n(n  1)| a i j |2 .
Следующая лемма обеспечивает существование для леммы 4 матрицы Qi j .
Лемма 5. Решением уравнения a  sin 2  2b  cos 2  0 при b  0 является
угол  такой, что
1
a
a
cos  
(1  ), r  | a |2 4 | b |2 , т.к. cos 2  2cos 2   1   ,
2
r
r
b
1
a
2b
 sign b 
(1  ), т.к. sin 2  2cos   sin   .
r  cos 
2
r
r
Из последних двух лемм следует справедливость теоремы сходимости метода.
Теорема 1. Последовательность матриц {Ak }
k  0 метода вращений:
sin  
A0  A ,
Ak  Qk Ak 1Qk , где Q k  Qi(k), j(k) – матрица вращения,
определяемая по формулам лемм 4 и 5,
для решения полной проблемы на собственные значения A  A ,
сходится к диагональному виду, т.е.  (A k )  0 , причем
(A k )  1  2 /(n(n  1))   (A) .
k
84
Мацокин А.М. “Вычислительные методы линейной алгебры.” Лекция 13.
Из теоремы 1     0  k :
A  Ak  (Q1...Qk ) A(Q1...Qk )  QAQ ,
Пусть
(A)  2 .
  diag A  diag{1, ...,  n },
  QAQ  diag{1, ...,  n }.
Сходимость собственных значений
Лемма 6. P()  det (  E)  P()  det (A  E) при   0 .
Док–во. Т.к.
det (  E)  det (QQ  E) , QQ  A  Q(A  )Q ,
S(Q(A  )Q )  S(A  )  (A)  2  0
то QQ  A  det (  E)  det (A  E) .
Теорема 2 (оценка приближения собственных значений).
а)  i   j(i) : | i   j(i) |  n   ,
б)   j  i( j) : |  j  i( j) |  n   .
Док–во.
Т.к. QQ  A  QQ  Q(A  )Q , то
(QQ)  (QQ)  (QQ)(A  )  E ,
| i j |2  S(E)  2 .
 i  ri j  ri j   j  i j , где {ri j}  R  QQ – ортогональная м–ца.
а)  i  j(i) : | ri j(i) |2  max | ri k |2  1/ n , т.к. | ri1 |2 ... | ri n |2  1.
k
 | i   j(i) |  | i j / ri j(i) |  n   .
б) доказывается аналогично.
Сходимость собственных векторов
Будем предполагать, что 1   2  ...   n и 1   2  ...   n (этого всегда можно
добиться, переставив столбцы матриц Q и Q ).
Лемма 7. Если 1   2  ...   n , 1   2  ...   n , n    0.5  a ,
a  min | i   j | ,
i j
Док–во
то | i  i |  n   ,
| i   j |  0.5  a  i  j .
оставляется в качестве упражнения.
85
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Т.к. собственные векторы Q   q1 ... q n  матрицы A определяются с точностью
до их направления, будем считать, что (qi , qi )  0 (  q1 ... q n   Q – приближения
к собственным векторам матрицы A ), т.е. диагональные элементы матрицы
R  QQ неотрицательны.
Теорема 3 (оценка приближения собственных векторов).
8
В условиях леммы 7 S(Q  Q)  2  2 .
a

Т.к. S(Q  Q)  S(E  Q Q)  S(E  R) и из доказательства теоремы 2
Док–во.
( E  R  R  R(A  ) )
и
леммы
7
следует,
что
| i j |
| i j |
4
4
| ri j | 

 i  j , то  (E  R)  2 S(E)  2  2 .
| i   j | 0.5  a
a
a
Осталось оценить

n
2
(1

r
)
i
i
i 1

n 
1
i 1
мы воспользовались условием ri i  0 ).

1 
n
2
j 1| ri j |
j i



2
(здесь
Т.к. (1  x)2  1  x  x [0,1] , то

n 
1
i 1

1 
2
n
2
j 1| ri j |
j i

n 
n
2
   i 11  1   j1| ri j |  
j i



 jj1i | ri j |2
n
  i 1
n
1  1   j1| ri j |2
n
 (R)  (E  R) 
a
j i
Подводя итог, имеем
S(Q  Q)  S(E  R)  (E  R)   i 1(1  ri i ) 2 
n
86
4
8
a
2
2 .
2
2 .
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Элементарная матрица унитарного вращения
cos   e i 
T 
 sin   e i 

 sin   e i  
 ,         2 k  k  0,  1, ... ,
i 
cos   e 
так как
cos   e i 
T T
 sin   e i 
 sin   e i    cos   e i  sin   e i  


cos   e i     sin   e i  cos   e i  


1
cos   sin   (e i (  )  e i (  ) )  0 


1
cos   sin   (e i ( )  e i ( ) )  0

 e i (  )  e i (  )          2 k  k  0,  1, ... .
Выберем   ,   ,    :
cos   e i   sin   e i    c s 
T 

.
 sin   e i 
cos   e  i    s c 
Пусть A  A , A  Qi jAQi j  {a k l } ,

где Qi j – элементарная матрица унитарного вращения вращения:
1



1

i строка 
c
s

1


Qi, j 


1

j строка 
s
c

1




тогда (см. лемму 2):
(A)  (A)  [| a i i |2  | a j j |2  ( | a i i |2  | a j j |2 )] 
S(Aij )  (Aij )








,






1
S(Aij )  (Aij )
 (A)  (Aij )  (A ij )  (A)  [2 | a ij | 2 2 | a ij | 2 ],
где
 a i i a i j   c s   a i i a i j   c s 
Aij  
 TAijT ,





 ai j a j j   s c   ai j a j j    s c 
87
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
а параметры вращения c и s нужно выбрать из условия | a ij | 2  0 .
Легко вычислить a ij :
a ij  (a ii  a jj )  c  s  a ij  c 2  aij  s 2 
a  Re (a)
 a  cos   sin   a ij  cos 2   e i  2  aij  sin 2   e i ( 2)
Осталось для заданных a  Re(a) и комплексного b  a ij  | b | e i   0 решить
уравнение
a  cos   sin  | b | e i   cos2   e i 2  | b | e i   sin 2   e i (2)  0 .
Положим    / 2 , тогда наше уравнение примет вид
a  cos   sin  | b | (cos 2   sin 2 ) 
1
 [a  sin 2  2 | b |  cos 2]  0,
2
решение которого является удовлетворяет соотношениям
a
a
2|b|
2|b|
cos 2  
  , sin 2 

 0    (0,  / 2) .
2
2
2
2
r
r
a  4 | b |
a  4 | b |
1
a
В принципе угол   (0,  / 2) определен:   arcctg
, но нам нужен не
2
2| b|
угол, а значения его косинуса и синуса, и мы не хотим использовать для их
вычисления соответствующие функции (дорого).
Так как cos2  2cos2   1  a / r , то
cos   0.5  (1  a / r) .
Так как sin 2  2cos   sin   2 | b | / r , то
sin   | b | / cos   0.5  (1  a / r) .
Re(a ij )
Im(a ij )
И, последнее, по известному a ij  | b | e i   | b | (
i
) выпишем
|b|
|b|
формулы для cos( / 2) и sin ( / 2) :
sin ( / 2) 
Re(a ij )
1
(1 
),
2
|b|
cos( / 2)  Sign(Im(a ij ))
Re(a ij )
1
(1 
),
2
|b|
тогда
e i   cos( / 2)  i  sin( / 2), e i ()  cos( / 2)  i  sin( / 2)
и матрица унитарного вращения полностью вычислена без использования
тригонометрических функций.
88
Мацокин А.М. “Вычислительные методы линейной алгебры.” Конспект лекций.
Литература
1. Фаддеев Д.К., Фаддеева В.Н. Вычислительные методы линейной алгебры.
- М.: Л.: Физматгиз, 1963.
2. Коновалов А.Н. Введение в вычислительные методы линейной алгебры.Новосибирск: ВО "Наука", Сибирская издательская фирма, 1993.
3. Воеводин В.В. Вычислительнные основы линейной алгебры. - М.: Наука,
1977.
4. Годунов С.К. Решение систем линейных уравнений. - Новосибирск:
Наука, Сиб. отд-ние, 1980.
5. Бахвалов Н.С. Численные методы. - М.: Наука, 1975.
6. Самарский А.А., Гулин А.В. Численные методы. - М.: Наука, 1989.
89