вероятностное пространство

2. Àñèìïòîòè÷åñêèå ñâîéñòâà îöåíîê. Ñîñòîÿòåëüíîñòü è àñèìïòîòè÷åñêàÿ íîðìàëüíîñòü.
Ñïåðâà ñäåëàåì íåñêîëüêî òåðìèíîëîãè÷åñêèõ çàìå÷àíèé. Ïîä ñòàòèñòèêîé ìû ïîíèìàåì èçìåðèìóþ
ôóíêöèþ îò âûáîðêè. Ïîä îöåíêîé íåêîòîðîé ôóíêöèè
(òî åñòü ïðèáëèæàþùóþ)
f (θ).
f (θ)
ìû ïîíèìàåì ñòàòèñòèêó, îöåíèâàþùóþ
Ôîðìàëüíî ëþáóþ ñòàòèñòèêó ìîæíî ñ÷èòàòü îöåíêîé ëþáîé ôóíêöèè
îò ïàðàìåòðà, íî èäåéíî ðàçíèöà äîëæíà áûòü ïîíÿòíà.
Ìû ñ âàìè ðàññìîòðåëè äâà óñëîâèÿ, êîòîðûå âî ìíîãèõ ñëó÷àÿõ ðàçóìíî íàëàãàòü íà îöåíêè. Äàâàéòå
âñïîìíèì:
Íåñìåùåííîé îöåíêîé ôóíêöèè f (θ) ìû íàçûâàåì îöåíêó θ̂(X1, ..., Xn), òàêóþ, ÷òî Eθ θ̂(X1, ..., Xn) = f (θ)
ïðè âñåõ
θ ∈ Θ.
Àñèìïòîòè÷åñêè íåñìåùåííîé îöåíêîé ôóíêöèè f (θ) ìû íàçûâàåì îöåíêó θ̂(X1, ..., Xn) (èëè, ÷òî áîëåå
òî÷íî, íàáîð îöåíîê
θ̂(X1 , ..., Xn )
ïðè âñåõ
n),
òàêèõ, ÷òî
Eθ θ̂(X1 , ..., Xn ) → f (θ) ∀θ ∈ Θ.
Êàê ìû óáåäèëèñü, ñàìà ïî ñåáå íåñìåùåííîñòü íå ãàðàíòèðóåò õîðîøèõ ñâîéñòâ îöåíêè, ñêàæåì,
X1
â ñõåìå Áåðíóëëè íåñìåùåííàÿ îöåíêà âåðîÿòíîñòè óñïåõà, íî îíà îïèðàåòñÿ òîëüêî íà îäíî íàáëþäåíèå. Ñëåäóþùåå ñâîéñòâî, êîòîðîå ìû îæèäàåì óâèäåòü îò îöåíîê óëó÷øåíèå êà÷åñòâà îöåíêè ïðè
óâåëè÷åíèè ÷èñëà íàáëþäåíèé.
Èòàê, íàçîâåì îöåíêó (à âåðíåå ïîñëåäîâàòåëüíîñòü îöåíîê
P
îöåíêîé f (θ), åñëè θ̂(X1 , ..., Xn ) → f (θ), n → ∞ ∀θ ∈ Θ.
Îöåíêà íàçûâàåòñÿ
θ̂(X1 , ..., Xn )
ïðè âñåõ
n)
ñîñòîÿòåëüíîé
ñèëüíî ñîñòîÿòåëüíîé, åñëè θ̂(X1, ..., Xn) → f (θ) ï.í., n → ∞, ∀θ ∈ Θ.
Xn ê ñë.â. X îçíà÷àåò, ÷òî P (|Xn − X| >
ε, ñõîäèìîñòü ï.í. ÷òî P (ω : Xn (ω) → X(ω)) = 1.
Åñëè Xi ∼ Bernoulli(θ), òî X → θ ï.í. â ñèëó ÓÇÁ×. Çíà÷èò, X ñèëüíî ñîñòîÿòåëüíàÿ
Íàïîìíþ, ñõîäèìîñòü ïî âåðîÿòíîñòè ñëó÷àéíûõ âåëè÷èí
ε) → 0
ïðè ëþáîì
Ïðèìåð 1.
îöåíêà.
Àíàëîãè÷íûì îáðàçîì â ïðîèçâîëüíîé ìîäåëè, ãäå
Xi
èìåþò êîíå÷íîå ì.î.
X
áóäåò ñèëüíî ñîñòîÿòåëü-
íîé åãî îöåíêîé.
Ñîäåðæàòåëüíî, ñîñòîÿòåëüíîñòü îçíà÷àåò, ÷òî ïðè áîëüøèõ
÷àòüñÿ îò íàñòîÿùåãî çíà÷åíèÿ áîëåå ÷åì íà
ε
n
âåðîÿòíîñòü òîãî, ÷òî ìû áóäåì îòëè-
ìàëà, ÷òî âïîëíå åñòåñòâåííî. Ñèëüíàÿ ñîñòîÿòåëüíîñòü
îçíà÷àåò, ÷òî óâåëè÷èâàÿ âûáîðêó, ìû ãàðàíòèðîâàíî ñîéäåìñÿ ê íàñòîÿùåìó çíà÷åíèþ. Äëÿ òîãî, ÷òîáû ëó÷øå ïðî÷óâñòâîâàòü, â ÷åì ðàçëè÷èå, ñòîèò âçãëÿíóòü íà ïðèìåð ñî ñòóïåíüêàìè Ðèèñå èç òåîðèè
âåðîÿòíîñòåé:
Xn = Iω∈[i/2k ,(i+1)/2k ] , ãäå n = 2k + i, i < 2k ,
ñõîäèòñÿ ê 0 ïî âåðîÿòíîñòè, íî íå ï.í.
Ïîñëåäîâàòåëüíîñòü ñëó÷àéíûõ âåëè÷èí
ñòðàíñòâå
Ω = [0, 1]
ñ ìåðîé Ëåáåãà,
çàäàííàÿ íà ïðî-
 öåëîì, íà ïðàêòèêå îáû÷íî çíà÷èìà ñîñòîÿòåëüíîñòü, íî íå òàê âàæíî, ñèëüíàÿ ëè îíà. Ñèëüíàÿ
ñîñòîÿòåëüíîñòü, ñêîðåå, èìååò òåîðåòè÷åñêîå çíà÷åíèå
Êàê æå ïðîâåðÿòü ñîñòîÿòåëüíîñòü îöåíîê? Âî-ïåðâûõ, ñòîèò íàïîìíèòü, ÷òî ñõîäèìîñòü ïî âåðîd
d
ÿòíîñòè ê êîíñòàíòå ðàâíîñèëüíà ñõîäèìîñòè ïî ðàñïðåäåëåíèþ → (íàïîìíèì, ÷òî Yn → Y , åñëè
P (Yn ≤ y) → P (Y ≤ y) äëÿ âñåõ y : P (Y = y) = 0).
ñõîäèìîñòè ô.ð. θ̂ ê ô.ð. f (θ).
Òàêèì îáðàçîì, ñîñòîÿòåëüíîñòü ðàâíîñèëüíà
Âîïðîñ íà çàñûïêó. À êàê âûãëÿäèò ô.ð. êîíñòàíòû?
Âî-âòîðûõ, ïîëåçíûì ìîæåò îêàçàòüñÿ èñïîëüçîâàíèå ëåììû Ñëóöêîãî:
d
d
d
Ëåììà 1. Ïóñòü Xn → X , Yn → c, ãäå c - êîíñòàíòà, à → - ñõîäèìîñòü ïî ðàñïðåäåëåíèþ. Òîãäà:
d
1) Xn + Yn → X + c,
d
2) Xn Yn → cX ,
d
3) Xn /Yn → X/c ïðè c 6= 0.
Â-òðåòüèõ, èç íåðàâåíñòâà ×åáûøåâà íåòðóäíî âûâåñòè ñëåäóþùóþ ëåììó:
Yn , Y èìåþò êîíå÷íûé
P
Yn → Y , n → ∞.
Ëåììà 2. Ïóñòü
n → ∞.
Òîãäà
âòîðîé ìîìåíò, ïðè÷åì
E(Yn − Y ) = o(1), D(Yn − Y ) = o(1),
Òàêèì îáðàçîì, çíàÿ ìàòåìàòè÷åñêîå îæèäàíèå è äèñïåðñèþ îöåíêè, äîñòàòî÷íî óáåäèòüñÿ, ÷òî îíà
àñèìïòîòè÷åñêè íåñìåùåííàÿ è äèñïåðñèÿ åå ñòðåìèòñÿ ê íóëþ.
Ïðèìåð 2. Ïóñòü
Xi ∼ R[0, θ].
Òîãäà îöåíêà
2X
ñîñòîÿòåëüíà, ò.ê.
P
X → θ/2
èç ÇÁ× (áîëåå òîãî, îíà
ñèëüíî ñîñòîÿòåëüíà èç ÓÇÁ×). Îöåíêà max Xi ñîñòîÿòåëüíà, ïîñêîëüêó Fmax Xi (x) ðàâíà 0 ïðè x ≤
1 ïðè X > θ è (x/θ)n ïðè x ∈ [0, θ]. Ïðè n → ∞ îíà ñõîäèòñÿ ê ôóíêöèè Ix≥θ , ò.å. ô.ð. êîíñòàíòû
 ñîñòîÿòåëüíîñòè
max Xi
0,
θ.
ìîæíî áûëî óáåäèòüñÿ, íàéäÿ ìàòåìàòè÷åñêîå îæèäàíèå è äèñïåðñèþ ýòîé
âåëè÷èíû è ïðèìåíèâ Ëåììó 2.
Pn
1
2
2
Ïðèìåð 3. Îöåíêà S =
i=1 (Xi − X)
n
= X2 − X
2
Dθ X1 (åñëè, êîíå÷íî,
2
2
óïîìÿíóòàÿ äèñïåðñèÿ êîíå÷íà) â ñèëó Ëåììû 1, ïîñêîëüêó X ñîñòîÿòåëüíàÿ îöåíêà Eθ X , à X Eθ X .
n
2
Áîëåå òîãî, îíà ÿâëÿåòñÿ ñèëüíî ñîñòîÿòåëüíîé èç ÓÇÁ×. Íåñìåùåííàÿ äèñïåðñèÿ S0 =
S 2 ÿâëÿåòñÿ
n−1
íåñìåùåííîé è ñèëüíî ñîñòîÿòåëüíîé îöåíêîé äèñïåðñèè.
áóäåò ñîñòîÿòåëüíîé îöåíêîé
Íåêîòîðîå íåóäîáñòâî ñîñòîÿòåëüíîé îöåíêè â òîì, ÷òî îíà íå îïèñûâàåò, ñ êàêîé æå èìåííî ñêîðîñòüþ èìååò ìåñòî ñõîäèìîñòü èññëåäóåìîìó ïàðàìåòðó. Ìåæäó òåì, íà ïðàêòèêå ìû âñåãäà èìååì
êîíå÷íóþ âûáîðêó è õîòåëè äëÿ íåå ïðåäñòàâëÿòü áëèçîñòü ê îöåíèâàåìîìó ïàðàìåòðó. Óâåëè÷åíèå
ðàçìåðà âûáîðêè ìîæåò áûòü ñîïðÿæåíî ñ ôèíàíñîâûìè çàòðàòàìè, ÷òî ïðèäàåò îñîáåííóþ âàæíîñòü
îïðåäåëåíèþ ïîðÿäêà ìàëîñòè îòëè÷èÿ îöåíêè îò îöåíèâàåìîãî ïàðàìåòðà.
Ïðèìåð 4. Ñàì ôàêò ñõîäèìîñòè â ïðàêòè÷åñêèõ óñëîâèÿõ ïðàêòè÷åñêè áåñïîëåçåí. Ïðåäñòàâèì ñåáå,
1
. Ôîðìàëüíî ýòî îçíà÷àåò ñõîäèìîñòü, à
θ̂(X1 , ..., Xn ) − f (θ) èìååò òèïè÷íûé ïîðÿäîê ìàëîñòè ln ln
n
50
ïðàêòè÷åñêè íåò ln ln 10
< 5.
Pn
−1
Ïðèìåð 5. Åñëè ðàññìîòðåòü îöåíêó X = n
i=1 Xi äëÿ ïàðàìåòðà θ - âåðîÿòíîñòè óñïåõà â ñõå÷òî
ìå Áåðíóëëè, òî îíà áóäåò íå ïðîñòî ñîñòîÿòåëüíà, íî â ñèëó öåíòðàëüíîé ïðåäåëüíîé òåîðåìû áóäåò
óäîâëåòâîðÿòü ñîîòíîøåíèþ
Èíà÷å ãîâîðÿ, îöåíêà
X
√
n(X − θ) d
p
→ Z ∼ N (0, 1).
θ(1 − θ)
îöåíèâàåò
Åñëè ñóùåñòâóþò òàêîå
θ
ñ ïîãðåøíîñòüþ ïîðÿäêà
n−1/2 .
σn (θ)
θ̂(X1 , ..., Xn ) − f (θ) d
→ Z ∼ N (0, 1),
σn (θ)
θ̂ (à âåðíåå ïîñëåäîâàòåëüíîñòü îöåíîê, ïîñêîëüêó ïðè êàæäîì n ñòàòèñòèêà ñâîÿ) íàçûâàåòñÿ
àñèìïòîòè÷åñêè íîðìàëüíîé îöåíêîé f (θ).
òî îöåíêà
Ïî÷åìó èìåííî íîðìàëüíûå îöåíêè? Ê ýòîìó âåäóò äâà ÿâëåíèÿ - âî-ïåðâûõ, êëàññ àñèìïòîòè÷åñêè
íîðìàëüíûõ îöåíîê äëÿ ìíîãèõ ìîäåëåé äîñòàòî÷íî áîãàò. Âî-âòîðûõ, ñòàíäàðòíîå íîðìàëüíîå ðàñïðåäåëåíèå èìååò î÷åíü ëåãêèå õâîñòû, òî åñòü äîñòàòî÷íî ìàëî îòêëîíÿåòñÿ îò ñâîåãî ñðåäíåãî. Òàê äëÿ
Z ∼ N (0, 1)
íàçûâàþò
íåòðóäíî óáåäèòüñÿ, ÷òî
P (|Z| > 1.96) ≈ 0.05, P (|Z| > 3) ≈ 0.005
(ïîñëåäíåå óòâåðæäåíèå
ïðàâèëîì òðåõ ñèãì íîðìàëüíàÿ âåëè÷èíà êðàéíå ðåäêî îòëè÷àåòñÿ îò ñðåäíåãî áîëåå ÷åì
íà 3 êîðíÿ èç äèñïåðñèè). Çà ñ÷åò ýòîãî, ñêàæåì, â ìîäåëè ïðèìåðà 5, c áîëüøîé âåðîÿòíîñòüþ ìîæíî
ñêàçàòü, ÷òî
X
ïðîìàõíåòñÿ íå áîëåå ÷åì íà
âñå ýòî ïðè äîñòàòî÷íî áîëüøèõ
n,
p
√
√
3 θ(1 − θ)/ n ≤ 3/(2 n). Îñòàåòñÿ, ïðàâäà, îãîâîðêà, ÷òî
÷òîáû ñõîäèìîñòü èìåëà ìåñòî.
 áîëüøèíñòâå ñëó÷àåâ ìû áóäåì ñòàëêèâàòüñÿ ñ ôóíêöèåé
σn (θ)
âèäà
g(n)b(θ), b(θ) > 0. Â òàêîì
g(n) ïî n, à ïðè îäèíà-
ñëó÷àå, ïðåæäå âñåãî, ìû çàèíòåðåñîâàíû â êàê ìîæíî ìåíüøåé ñêîðîñòè ðîñòà
b(θ) (ïðè âñåõ θ).
Ïðèìåð 6. Åñëè ðàññìîòðåòü ìîäåëü N (θ, 1), òî îöåíêè X1 , X áóäóò àñèìïòîòè÷åñêè íîðìàëüíûìè
−1/2
îöåíêàìè θ . Ïåðâàÿ - ñ g(n) = 1, b(θ) = 1, âòîðàÿ c g(n) = n
, b(θ) = 1. Îöåíêà X â ýòîì ñìûñëå
êîâûõ
g(n)
ê êàê ìîæíî ìåíüøåìó
ëó÷øå, êàê è ñëåäîâàëî îæèäàòü.
×àùå âñåãî íàì áóäóò âñòðå÷àþòñÿ îöåíêè ñ
g(n) = n−1/2
(ïî÷åìó èìåííî, ìû îáñóäèì ÷åðåç íåñêîëüêî
çàíÿòèé), äëÿ òàêèõ îöåíîê ââåäåì îòíîñèòåëüíóþ ýôôåêòèâíîñòü:
eθ̂1 ,θ̂2 =
b2 (θ)
.
b1 (θ)
×òî ñèìâîëèçèðóåò îòíîñèòåëüíàÿ ýôôåêòèâíîñòü? Äàâàéòå ïðåäñòàâèì, ÷òî ìû ïëàòèì çà êàæäûé
ýëåìåíò âûáîðêè öåíó
p1 ,
à íàì íåîáõîäèìî îöåíèòü íàø ïàðàìåòð ñ ïîãðåøíîñòüþ
ε.
Òîãäà ïîãðåø-
−1/2
íîñòü èçìåðåíèÿ íà n ýëåìåíòàõ ñ ïîìîùüþ ïåðâîé ñòàòèñòèêè áóäåò èìåòü âèä |Z|n
b1 (θ), ñ ïîìîùüþ
−1/2
âòîðîé - |Z|n
b2 (θ). Òàêèì îáðàçîì, äëÿ îöåíêè ñ íóæíîé òî÷íîñòüþ ñ ïîìîùüþ ïåðâîé ñòàòèñòèêè
2
2
â ñðåäíåì íàì ïîíàäîáèòñÿ (b1 (θ)/ε) èçìåðåíèé, à ñ ïîìîùüþ âòîðîé - (b2 (θ)/ε) . Òàêèì îáðàçîì, îòíîñèòåëüíàÿ ýôôåêòèâíîñòü - ýòî îòíîøåíèå çàòðàò íà îöåíèâàíèå ñ îäèíàêîâîé òî÷íîñòüþ ïåðâûì è
âòîðûì ìåòîäîì.
Êàê æå äîêàçûâàòü àñèìïîòè÷åñêóþ íîðìàëüíîñòü? Äëÿ àñèìïòîòè÷åñêè íîðìàëüíûõ îöåíîê åñòü
ñëåäóþùåå ïðèÿòíîå ñâîéñòâî:
Ëåììà 3 (îá àñèìïòîòè÷åñêîé íîðìàëüíîñòè). Ïóñòü
g(n) = n
îöåíêîé
θ̂
−1/2
è b(θ). Òîãäà h(θ̂), ãäå h - äèôôåðåíöèðóåìàÿ
h(f (θ)) ñ b1 (θ) = |h0 (f (θ))|b(θ).
- àñèìïòîòè÷åñêè íîðìàëüíàÿ îöåíêà
Ïðèìåð 7. Îöåíêà
1/X
θ̂
èìååì
â ïðèìåðå 1 áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé îöåíêîé ôóíêöèè
√
1
X
−
1
θ
np
θ(1 − θ) ·
ñ
ôóíêöèÿ, áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé
Èäåéíî ëåììà âûòåêàåò èç ñëåäóþùèõ ñîîáðàæåíèé: èç àñèìïòîòè÷åñêîé íîðìàëüíîñòè
θ̂ + Zn−1/2 b(θ), à èç ôîðìóëû Òåéëîðà h(θ̂) ≈ h(f (θ)) + (θ̂ − f (θ))h0 (f (θ)).
ýòîì
f (θ)
f (θ) ≈
1/θ,
ïðè
d
1
θ2
→ N (0, 1)
Èç ýòèõ óñëîâèé ìû ïîëó÷àåì äîñòàòî÷íî øèðîêèé ïðîñòîð äëÿ ïîñòðîåíèÿ àñèìïòîòè÷åñêè íîðìàëüíûõ îöåíîê, èñïîëüçóÿ èìåþùèåñÿ àñèìïòîòè÷åñêè íîðìàëüíûå îöåíêè (êîòîðûå ìû ìîæåì íàõîäèòü,
íàïðèìåð, èç ÖÏÒ).
M ED (âûáîðî÷íàÿ ìåäèàíà). Ïðè íå÷åòíîì ðàçìåðå âûáîðêè
n = 2k + 1 ïîëîæèì M ED = X(k+1) , à ïðè ÷åòíîì (n = 2k ) (X(k) + X(k+1) )/2. Ýòà îöåíêà äëÿ
−1
òåîðåòè÷åñêîé ìåäèàíû (x1/2 = F
(1/2)) áóäåò ïîäðîáíî èçó÷åíà íà ñëåäóþùåì çàíÿòèè.
 áóäóùåì íàì ïîíàäîáèòñÿ ñòàòèñòèêà
Xi ∼ exp(θ).
2.1.1
Äëÿ êàêîé ôóíêöèè
e−X
2
áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé îöåíêîé è ñ êàêîé
àñèìïòîòè÷åñêîé äèñïåðñèåé?
2.2.1 Íàéòè
g(n),
òàêóþ, ÷òî
X(n) −θ)
èìååò ïðåäåëüíîå ðàñïðåäåëåíèå è íàéòè ýòî ðàñïðåäåëåíèå, ãäå
g(n)
Xi ∼ R[0, θ].
(X(1) + X − 1)/2 ÿâëÿåòñÿ
ñîñòîÿòåëüíîé îöåíêîé, Xi ñ ïë-üþ exp(θ − x)Ix>θ .
√
n
X1 ...Xn , n/(1/X1 + ... + 1/Xn ) ÿâëÿþòñÿ ñîñòîÿòåëüíûìè
2.1.2 Íàéòè f1 (θ), f2 (θ), äëÿ êîòîðûõ
îöåíêàìè, Xi ∼ R[1, θ]. Áóäóò ëè îíè àñèìïòîòè÷åñêè íîðìàëüíûìè?
4
2
2.2.2 Äîêàçàòü, ÷òî ïðè EX1 < ∞ îöåíêà S ÿâëÿåòñÿ àñèìïòîòè÷åñêè íîðìàëüíîé äëÿ äèñïåðñèè Xi .
Óêàçàíèå Äîêàçàòü ñïåðâà
ïðè EX = 0.
q
2.3.1 Äîêàçàòü, ÷òî
2.3.2 Ïîêàçàòü, ÷òî
k
(k + 1)X k
àñèìïòîòè÷åñêè íîðìàëüíàÿ îöåíêà
θ, Xi ∼ R[0, θ]
è íàéòè
g(n),
b(θ).
N (θ, 1) îöåíêà θ̂ = X(1 − (1 − b)I|X|<an ), ãäå an → 0 - ôèêñèðîâàííàÿ ïîn → ∞, 0 < b < 1, áóäåò àñèìïòîòè÷åñêè íîðìàëüíîé è íàéòè åå ýôôåêòèâíîñòü
2.1.3 Äîêàçàòü, ÷òî â ìîäåëè
ñëåäîâàòåëüíîñòü,
ïî ñðàâíåíèþ ñ
an
√
X.
M ED âûáîðêè ðàçìåðà 2n + 1,
R[θ − 1, θ + 1]. (Íàéòè ïëîòíîñòü M ED êàê
2.2.3 Äîêàçàòü, ÷òî ìåäèàíà
θ â ìîäåëè
eM ED,X .
îöåíêîé
Íàéòè
2.3.3 Äëÿ íîðìàëüíûõ âåëè÷èí ñ ðàñïðåäåëåíèåì
îöåíêè
θ
N (1, θ2 )
ÿâëÿåòñÿ àñèìïòîòè÷åñêè íîðìàëüíîé
ïðåäåë
P (M ED ∈ (x, x + δ))/δ , δ → 0).
ïîñòðîèòü äâå àñèìïòîòè÷åñêè íîðìàëüíûõ
è ïîñ÷èòàòü ýôôåêòèâíîñòü îäíîé ïðîòèâ äðóãîé. (Âîñïîëüçîâàòüñÿ äëÿ îäíîé ÖÏÒ, à äëÿ
âòîðîé - ëåììîé).