точке x называется направлением убывания (роста), если f(x +

Ìîñêîâñêèé ôèçèêî-òåõíè÷åñêèé èíñòèòóò (ÃÓ)
Ôàêóëüòåò èííîâàöèé è âûñîêèõ òåõíîëîãèé
Ìåòîäû îïòèìèçàöèè, âåñíà 2014
Ñåìèíàð 4, ãðàäèåíòíûå ìåòîäû è ìåòîä Íüþòîíà
Ïóñòü f : Rn → R íåïðåðûâíî äèôôåðåíöèðóåìàÿ ôóíêöèÿ. Íàïðàâëåíèå d â
òî÷êå x íàçûâàåòñÿ íàïðàâëåíèåì óáûâàíèÿ (ðîñòà), åñëè f (x + αd) − f (x) < 0 (f (x +
αd) − f (x) > 0) ïðè âñåõ äîñòàòî÷íî ìàëûõ α.
Äîêàæèòå, ÷òî åñëè hf 0(x), di > 0, òî d ÿâëÿåòñÿ íàïðàâëåíèåì óáûâàíèÿ, à åñëè
hf 0 (x), di < 0, òî d ÿâëÿåòñÿ íàïðàâëåíèåì ðîñòà. Ïðèâåäèòå ïðèìåðû, êîãäà hf 0 (x), di =
0, à d ÿâëÿåòñÿ íàïðàâëåíèåì óáûâàíèÿ, íàïðàâëåíèåì ðîñòà, èëè íè òåì, íè äðóãèì.
Ìåòîäîì ñïóñêà íàçûâàåòñÿ ëþáîé èòåðàòèâíûé ìåòîä ðåøåíèÿ çàäà÷è áåçóñëîâíîé
ìèíèìèçàöèè f (x) → min, ïðè êîòîðîì xk+1 âûáèðàåòñÿ ïî ïðàâèëó xk+1 = xk + αk dk ,
ãäå dk åñòü íàïðàâëåíèå óáûâàíèÿ â òî÷êå xk , à αk > 0. Âåëè÷èíà αk ìîæåò âûáèðàòüñÿ
ïî ðàçëè÷íûì ïðàâèëàì:
a) Ïðàâèëî îäíîìåðíîé ìèíèìèçàöèè. ×èñëî αk åñòü òî÷êà ìèíèìóìà ôóíêöèè g(α) =
f (xk + αdk ).
b) Âåëè÷èíà αk åñòü íåêîòîðàÿ ïîñòîÿííàÿ, ëèáî çàðàíåå çàäàííàÿ ïîñëåäîâàòåëüíîñòü.
c) Ïðàâèëî Àðìèõî. Çàäàíû ÷èñëà α̂ > 0 è θ, ε ∈ (0, 1). Âåëè÷èíà α âûáèðàåòñÿ
èòåðàòèâíî: èçíà÷àëüíî α = α̂, çàòåì íà êàæäîì øàãå ïðîâåðÿåòñÿ âûïîëíåíèå
f (xk − αdk ) < f (xk ) − εαhf 0 (xk ), dk i.  ñëó÷àå âûïîëíåíèÿ ïðîöåäóðà îñòàíàâëèâàåòñÿ, è αk = α, èíà÷å ïîëàãàåì α := θα, è ïðîöåäóðà ïðîäîëæàåòñÿ.
d) Ïðàâèëî Ãîëäñòåéíà. Çàäàíû íåêîòîðûå ÷èñëà ε1, ε2 ∈ (0, 1), ε1 < ε2. ×èñëî αk
äîëæíî óäîâëåòâîðÿòü óñëîâèþ
1.
ε1 <
f (xk − αk dk ) − f (xk )
< ε2 .
αk hf 0 (xk ), dk i
Äîêàæèòå, ÷òî ïðîöåäóðà âûáîðà αk ïî ïðàâèëó Àðìèõî îáÿçàòåëüíî çàâåðøàåòñÿ.
Ïðåäëîæèòå ïðîöåäóðó âûáîðà αk ïî ïðàâèëó Ãîëäñòåéíà.
Ãðàäèåíòíûì ìåòîäîì íàçûâàåòñÿ ëþáîé ìåòîä ñïóñêà, â êîòîðîì gk ÿâëÿåòñÿ àíòèãðàäèåíòîì, ò.å. xk+1 = xk − αk f 0(xk ). Åñëè ïðè ýòîì αk âûáèðàåòñÿ ïî ïðàâèëó îäíîìåðíîé ìèíèìèçàöèè, òî ìåòîä íàçûâàåòñÿ ìåòîäîì ñêîðåéøåãî ñïóñêà.
Îïèøèòå ìåòîä ñêîðåéøåãî ñïóñêà äëÿ êâàäðàòè÷íîé ôóíêöèè f (x) = 21 hAx, xi −
hb, xi. À èìåííî, íàïèøèòå ôîðìóëó, âûðàæàþùóþ αk ÷åðåç xk .
Ïóñòü ôóíêöèÿ f : R2 → R îïðåäåëÿåòñÿ ôîðìóëîé f (z) = f (x, y) = 2x2 +xy +3y2.
Ñäåëàéòå 1 øàã ãðàäèåíòíîãî ìåòîäà ðåøåíèÿ çàäà÷è f (z) → min èç íà÷àëüíîé òî÷êè
z0 = (1, −1) ñ âûáîðîì øàãà ïî ïðàâèëó Àðìèõî ñ ïàðàìåòðàìè α̂ = 1, ε = θ = 12 .
Ïóñòü â ïðîñòðàíñòâå Rn çàäàíû òî÷êè x1, . . . , xm. Ðàññìîòðèì çàäà÷ó íàõîæäåíèÿ
òî÷êè, ñóììà ðàññòîÿíèé îò êîòîðîé äî âñåõ xj ìèíèìàëüíà. Ñôîðìóëèðóéòå ýòó çàäà÷ó
êàê çàäà÷ó áåçóñëîâíîé ìèíèìèçàöèè è îïèøèòå ìåòîä ñêîðåéøåãî ñïóñêà è äðóãèå
âàðèàíòû ãðàäèåíòíîãî ìåòîäà äëÿ íå¼.
2.
3.
4.
5.
6.
ðåøåíèÿ óðàâíåíèÿ f (x) = 0 íà ïðÿìîé íàçûâàþò èòåðàòèâíûé
ìåòîä, â êîòîðîì òî÷êà xk+1 âûáèðàåòñÿ êàê òî÷êà ïåðåñå÷åíèÿ êàñàòåëüíîé ê ãðàôèêó
â òî÷êå xk è îñè àáñöèññ.
Äîêàæèòå, ÷òî óêàçàííàÿ òî÷êà îïðåäåëÿåòñÿ óñëîâèåì xk+1 = xk −(f 0(xk ))−1f (xk ).
Ïðèâåäèòå ïðèìåð, êîãäà ìåòîä Íüþòîíà íà ïðÿìîé çàöèêëèâàåòñÿ.
Äîêàæèòå, ÷òî â ñëåäóþùåì ïðèìåðå ìåòîä Íüþòîíà íà ïðÿìîé ðàñõîäèòñÿ, åñëè
x0 = δ .
(
− 4δ1 x4 + 12 1 + 3δ x2 , |x| 6 δ;
(1)
f (x) = x
+ 2|x| − 3 δ,
|x| > δ.
Ìåòîäîì Íüþòîíà
7.
8.
9.
3
2
2
4
Ìåòîä Íüþòîíà ìîæíî îáîáùèòü íà ìíîãîìåðíûå ôóíêöèè è ïðèìåíèòü ê çàäà÷àì
îïòèìèçàöèè äëÿ ïîèñêà ñòàöèîíàðíîé òî÷êè, â êîòîðîé f 0(x) = 0. Òàêèì îáðàçîì,
èòåðàöèÿ ìåòîäà Íüþòîíà çàäà¼òñÿ ôîðìóëîé xk+1 = xk − (f 00(xk ))−1f 0(xk ).
Ïîêàæèòå, ÷òî òàêàÿ æå ôîðìóëà ïîëó÷èòñÿ ïðè îïðåäåëåíèè xk+1 êàê òî÷êè
ìèíèìóìà êâàäðàòè÷íîãî ïðèáëèæåíèÿ ê ôóíêöèè f (x) â òî÷êå xk .
Ïóñòü ôóíêöèÿ f : R2 → R îïðåäåëÿåòñÿ ôîðìóëîé f (z) = f (x, y) = x2 + ey .
Ñäåëàéòå 2 øàãà ìåòîäà Íüþòîíà ðåøåíèÿ çàäà÷è f (z) → min èç íà÷àëüíîé òî÷êè
z0 = (1, 1). Ïðîàíàëèçèðóéòå ñêîðîñòü ñõîäèìîñòè. Äîêàæèòå, ÷òî â äàííîì ïðèìåðå
ìåòîä Íüþòîíà ñõîäèòñÿ ãëîáàëüíî.
10.
11.
2