Лекции от Гончаровой М.Н.Метод проекции градиента

Ìåòîä ïðîåêöèè ãðàäèåíòà ðåøåíèÿ çàäà÷è óñëîâíîé
ìíîãîìåðíîé ìèíèìèçàöèè
Ðàññìàòðèâàåòñÿ çàäà÷à
f (x) → min, x ∈ X ⊂ Rn ,
ãäå ôóíêöèÿ
f (x)
(1)
íåïðåðûâíî äèôôåðåíöèðóåìà, ìíîæåñòâî
X
âûïóê-
ëî, çàìêíóòî, îãðàíè÷åíî. Ïî òåîðåìå Âåéåðøòðàññà ðåøåíèå çàäà÷è (1)
ñóùåñòâóåò, òî åñòü
f∗ = inf f (x) > −∞,
x∈X
X∗ = {x ∈ X|f (x) = f∗ } =
6 ∅.
Óñëîâèå âûïóêëîñòè ìíîæåñòâà
X
ÿâëÿåòñÿ äîñòàòî÷íî îáùèì. Ïî-
ýòîìó òðóäíî îæèäàòü ñîçäàíèÿ ýôôåêòèâíûõ àëãîðèòìîâ äëÿ ñëó÷àÿ,
êîãäà
X
ïðîèçâîëüíîå âûïóêëîå ìíîæåñòâî. Íî ñóùåñòâóþò äîñòà-
òî÷íî ïðîñòûå âûïóêëûå ìíîæåñòâà (ïàðàëëåëåïèïåä, øàð, ëèíåéíîå
ìíîãîîáðàçèå), äëÿ êîòîðûõ çàäà÷à (1) õîðîøî ðåøàåòñÿ. Ñ äðóãîé ñòîðîíû, îãðàíè÷åíèÿ, îïðåäåëÿþùèå ýòî ïðîñòûå ìíîæåñòâà, ÷àñòî èìåþò
ðåàëüíûé ýêîíîìè÷åñêèé èëè òåõíè÷åñêèé ñìûñë.
Ìåòîä ïðîåêöèè ãðàäèåíòà ìèíèìèçàöèè ôóíêöèè ìíîãèõ ïåðåìåííûõ èñïîëüçóåò ñâîéñòâî ãðàäèåíòà, çàêëþ÷àþùååñÿ â òîì, ÷òî íàïðàâëåíèå ãðàäèåíòà ñîâïàäàåò ñ íàïðàâëåíèåì íàèñêîðåéøåãî âîçðàñòàíèÿ
ôóíêöèè, à íàïðàâëåíèå àíòèãðàäèåíòà ñ íàïðàâëåíèåì íàèñêîðåéøåãî óáûâàíèÿ.
Èòåðàöèîííûå ìåòîäû ïðåäïîëàãàþò âûáîð íà÷àëüíîãî ïðèáëèæåíèÿ
0
x
. Îáùèõ ïðàâèë âûáîðà
x0
íå ñóùåñòâóåò, íî, èñõîäÿ èç ïðàêòè÷åñêîãî
ñìûñëà çàäà÷è, äîâîëüíî ÷àñòî óäàåòñÿ îïðåäåëèòü âîçìîæíóþ îáëàñòü
ðàñïîëîæåíèÿ òî÷åê ìèíèìóìà. Òîãäà íà÷àëüíîå ïðèáëèæåíèå íåîáõîäèìî âûáðàòü êàê ìîæíî áëèæå ê ýòîé îáëàñòè.
Îïèøåì àëãîðèòì ìåòîäà ïðîåêöèè ãðàäèåíòà ðåøåíèÿ çàäà÷è
(1). Ïóñòü çàäàíî íà÷àëüíîå ïðèáëèæåíèå
ãðàäèåíòà âû÷èñëåíî
k
x ∈ X.
x0 ∈ X
è ìåòîäîì ïðîåêöèè
Ñëåäóþùåå ïðèáëèæåíèå èùåòñÿ ïî ôîð-
ìóëå
xk+1 = PX (xk − αk ∇f (xk )), αk > 0, k = 0, 1, ....
 çàâèñèìîñòè îò âûáîðà
αk
åêöèè ãðàäèåíòà. Íàïðèìåð,
(2)
ñòðîÿòñÿ ðàçëè÷íûå âàðèàíòû ìåòîäà ïðî-
αk
ìîæåò íàõîäèòüñÿ êàê ðåøåíèå çàäà÷è
îäíîìåðíîé ìèíèìèçàöèè
Φk (α) → min,
α≥0
1
ãäå
Φk (α) = f (xk (α)), xk (α) = xk − α∇f (xk ).
 ýòîì ñëó÷àå ïðè
X = Rn
ìåòîä ïðîåêöèè ãðàäèåíòà ïðåâðàùàåòñÿ â
ìåòîä ñêîðåéøåãî ñïóñêà.
×àñòî ïðè ïðàêòè÷åñêîì èñïîëüçîâàíèè ìåòîäà (2) íàõîäÿò òàêîå
0,
αk >
÷òî âûïîëíÿåòñÿ óñëîâèå ðåëàêñàöèîííîñòè
f (xk (αk )) < f (xk ).
Ïðè åãî íàðóøåíèè ïîëàãàþò
αk
ðàâíûì
αk
2 , ñíîâà ïðîâåðÿþò óñëîâèå
ðåëàêñàöèîííîñòè è ò. ä.
 êà÷åñòâå êðèòåðèÿ îêîí÷àíèÿ ñ÷åòà âûáèðàþòñÿ íåðàâåíñòâà
||xk − xk+1 || ≤ δ1 ,
f (xk ) − f (xk+1 ) ≤ δ2 ,
ãäå
δi > 0, i = 1, 2,
÷èñëà, õàðàêòåðèçóþùèå òî÷íîñòü ñ÷åòà.
Çàìå÷àíèå . Ãëàâíàÿ ñëîæíîñòü ðåàëèçàöèè ìåòîäà ïðîåêöèè ãðàäè-
åíòà çàêëþ÷àåòñÿ â ðåøåíèè çàäà÷è ïðîåêòèðîâàíèÿ.
r x1
A
A
AA
2
r
x r
r
0
x
X
Ðèñóíîê 1
Ãåîìåòðè÷åñêàÿ èëëþñòðàöèÿ ìåòîäà ïðåäñòàâëåíà íà ðèñóíêå 1.
Àëãîðèòì ìåòîäà ïðîåêöèè ãðàäèåíòà îñíîâûâàåòñÿ íà ñëåäóþùèõ
òåîðåìàõ.
Òåîðåìà 1. Ïóñòü òî÷êà
öèè
f (x)
íà ìíîæåñòâå
X.
x∗
åñòü òî÷êà ëîêàëüíîãî ìèíèìóìà ôóíê-
Ôóíêöèÿ
äèôôåðåíöèðóåìîé, à ìíîæåñòâî
ïðîèçâîëüíîãî
α≥0
X
f (x)
ïðåäïîëàãàåòñÿ íåïðåðûâíî
âûïóêëûì è çàìêíóòûì. Òîãäà äëÿ
ñïðàâåäëèâî ðàâåíñòâî
x∗ = PX (x∗ − α∇f (x∗ )).
Òåîðåìà 2. Ïóñòü ôóíêöèÿ
äèôôåðåíöèðóåìîé, ìíîæåñòâî
f (x) ÿâëÿåòñÿ âûïóêëîé, íåïðåðûâíî
X âûïóêëûì è çàìêíóòûì. Òî÷êà x∗
2
åñòü òî÷êà ëîêàëüíîãî ìèíèìóìà òîãäà è òîëüêî òîãäà, êîãäà äëÿ ïðîèçâîëüíîãî
α≥0
ñïðàâåäëèâî ðàâåíñòâî
x∗ = PX (x∗ − α∇f (x∗ )).
 ñëåäóþùåé òåîðåìå ôîðìóëèðóþòñÿ óñëîâèÿ ñõîäèìîñòè ìåòîäà
ïðîåêöèè ãðàäèåíòà.
f (x) íåïðåðûâíî äèôôåðåíöèðóåìà, îãðàíè÷åíà ñíèçó, è íà ìíîæåñòâå X åå ãðàäèåíò óäîâëåòâîðÿåò
âåêòîðíîìó óñëîâèþ Ëèïøèöà ñ êîíñòàíòîé L, òî åñòü
Òåîðåìà 3. Ïóñòü â çàäà÷å (1) ôóíêöèÿ
||∇f (x + ∆x) − ∇f (x)|| ≤ L||∆x||
äëÿ âñåõ
Òîãäà ïðè ëþáîì íà÷àëüíîì ïðèáëèæåíèè
x0
x, x + ∆x ∈ X.
èìååò ìåñòî ñîîòíîøåíèå
lim ||xk+1 − xk || = 0.
k→∞
Åñëè äîïîëíèòåëüíî ïðåäïîëîæèòü, ÷òî ìíîæåñòâî
M (x0 ) = {x ∈ Rn |f (x) ≤ f (x0 )}
{xk } ñõîäèòñÿ ê íåïóñòîìó
S∗ = {x|x ∈ M (x0 ), (∇f (x), y − x) ≥ 0 ïðè âñåõ y ∈ X}
îãðàíè÷åíî, òî ïîñëåäîâàòåëüíîñòü
ìíîæå-
ñòâó
ñòàöèî-
íàðíûõ òî÷åê.
Ôàêòû, êîòîðûå íåîáõîäèìî ïîìíèòü ïðè ðàññêàçå î ìåòîäå
ïðîåêöèè ãðàäèåíòà:
Îïðåäåëåíèå. Ìíîæåñòâî
X ⊆ Rn
íàçûâàåòñÿ âûïóêëûì, åñëè îò-
ðåçîê ïðÿìîé, ñîåäèíÿþùèé ëþáûå äâå òî÷êè ýòîãî ìíîæåñòâà, ïðèíàäëåæèò
X,
òî åñòü
∀x, y ∈ X → x(α) = x + α(y − x) ∈ X, ∀α ∈ [0; 1].
Ïðèìåðàìè âûïóêëûõ ìíîæåñòâ ìîãóò ñëóæèòü øàð ïðîèçâîëüíîãî
ðàäèóñà, ãèïåðïëîñêîñòü, âñå ïðîñòðàíñòâî.
r r
Ðèñóíîê 01
Ïðèìåð íåâûïóêëîãî ìíîæåñòâà èçîáðàæåí íà ðèñóíêå 01.
f (x), îïðåäåëåííàÿ íà âûïóêëîì
âûïóêëîé, åñëè äëÿ âñåõ x, y ∈ X âû-
Îïðåäåëåíèå. Ñêàëÿðíàÿ ôóíêöèÿ
ìíîæåñòâå
X ⊆R
n
íàçûâàåòñÿ
ïîëíÿåòñÿ íåðàâåíñòâî
f (x + α(y − x)) ≤ f (x) + α(f (y) − f (x)), α ∈ [0; 1].
3
(3)
Ãåîìåòðè÷åñêè óñëîâèå (3) îçíà÷àåò, ÷òî ëþáàÿ õîðäà, ñîåäèíÿþùàÿ
ïðîèçâîëüíûå òî÷êè ãðàôèêà ôóíêöèè, ðàñïîëàãàåòñÿ âûøå ãðàôèêà
ôóíêöèè (ðèñóíîê 02).
6y
f (x)
-
0
x
x(α)
x
y
Ðèñóíîê 02
Îïðåäåëåíèå. Ïðîåêöèåé òî÷êè
âàåòñÿ òàêàÿ òî÷êà
p = PX (y) ∈ X ,
y ∈ Rn
íà ìíîæåñòâî
X ∈ Rn
íàçû-
äëÿ êîòîðîé âûïîëíÿåòñÿ ðàâåíñòâî
||p − y|| = min ||x − y||.
(4)
x∈X
Òåîðåìà. Ïóñòü ìíîæåñòâî
X
ÿâëÿåòñÿ íåïóñòûì, çàìêíóòûì è âû-
ïóêëûì. Òîãäà äëÿ ïðîèçâîëüíîé òî÷êè
åå ïðîåêöèÿ
PX (y)
íà ìíîæåñòâî
y ∈ Rn ñóùåñòâóåò åäèíñòâåííàÿ
X.
y íà
X = {x ∈ R | ||x|| ≤ l, l > 0}.
Ïðèìåð. Íàéòè ïðîåêöèþ ïðîèçâîëüíîé òî÷êè
îïðåäåëÿåìîå ðàâåíñòâîì:
ìíîæåñòâî
Ðåøåíèå. Èç ãåîìåòðè÷åñêèõ ñîîáðàæåíèÿ ÿñíî, ÷òî ïðîåêöèÿ
êè
y
áóäåò îïðåäåëÿòüñÿ ðàâåíñòâîì
x2 6
r y0
'$
r p0
-
0
x1
Ðèñóíîê 03
r y
A
A
A
A
A
&%
p
X
n
p
X
Ðèñóíîê 04
4
y
p=l
||y||
(ðèñóíîê 03).
p òî÷-
Çàìå÷àíèå. Óñëîâèå âûïóêëîñòè â ïîñëåäíåé òåîðåìå ÿâëÿåòñÿ ñóùå-
ñòâåííûì. Åñëè ìíîæåñòâî íå ÿâëÿåòñÿ âûïóêëûì, òî íåêîòîðûå òî÷êè
ìîãóò èìåòü áîëåå îäíîé ïðîåêöèè (ðèñóíîê 04).
Òåîðåìà Âåéåðøòðàññà (î äîñòèæåíèè âåðõíåé è íèæíåé ãðàíåé
íåïðåðûâíîé ôóíêöèè, îïðåäåëåííîé íà îãðàíè÷åííîì, çàìêíóòîì ìíî-
X 6= ∅, îãðàíè÷åííîå, çàìêíóòîå,
è íåïðåðûâíà íà X . Òîãäà
æåñòâå). Ïóñòü â çàäà÷å (1) ìíîæåñòâî
à ôóíêöèÿ
f (x)
îïðåäåëåíà, êîíå÷íà
f ∗ = inf f (x) > −∞
x∈X
è
X ∗ = {x ∈ X|f (x) = f ∗ } =
6 ∅.
Îïðåäåëåíèå. Èòåðàöèîííûé ïðîöåññ íàçûâàåòñÿ ðåëàêñàöèîííûì,
åñëè ïîñëåäîâàòåëüíîñòü
{xk }
ïðèíàäëåæèò ìíîæåñòâó
X
è
f (xk+1 ) < f (xk ), k = 0, 1, ....
Ïîñëåäîâàòåëüíîñòü
{xk } ñîîòâåòñòâåííî íàçûâàåòñÿ ðåëàêñàöèîííîé.
5