Высоковероятное подмножество и его свойства.

С.Я. Шатских
Лекции по теории вероятностей
Высоковероятное подмножество и его свойства
Черновик
Рассмотрим последовательность независимых одинаково распределенных дискретных случайных величин
X1 , X2 , . . . , Xn , . . . .
(1.14)
Будем считать, что эти случайные величины принимают значения из конечного множества
X ≡ {x1 , . . . , xm }
со следующими вероятностями
P{Xi = xk } = pk ∈ (0, 1),
m
X
pk = 1.
k=1
Ввиду свойства независимости, для любого натурального n и любых zr ∈ X
P{Xi1 = z1 ; . . . ; Xin = zn } =
n
Y
θ(1)
P{Xir = zr } = p1
θ(m)
. . . pm
,
(1.15)
r=1
где θ(k) - число элементов xk из множества X , входящих в последовательность1 z1 , . . . , zn .
Ясно, что
m
X
0 ≤ θ(k) ≤ n,
θ(k) = n.
k=1
Теперь возьмем первые n членов последовательности (1.14) и рассмотрим случайный
вектор X ( n) = (X1 , . . . , Xn ). Множество всех реализаций этого вектора имеет вид
X n ≡ {z (n) : z (n) = (z1 , . . . , zn ), zk ∈ X , k = 1, n }.
Во множестве X n рассмотрим подмножество
m \
(n)
n θ(k)
−1/4
Vn :=
z ∈X :
− pk < n
.
n
k=1
1
Другими словами, число появлений элемента xk ∈ X в последовательности z1 , . . . , zn . Например,
при m = 3 и n = 5 для последовательности x2 , x2 , x1 , x3 , x1
θ(1) = 2, θ(2) = 2, θ(3) = 1.
1
Теорема 1. Имеет место равенство
lim P{X (n) ∈ Vn } = 1.
n→∞
Доказательство. Дополнение подмножества Vn до всего множества X n имеет вид
m [
−1/4
n
(n)
n θ(k)
.
− pk ≥ n
Wn := X \ Vn =
z ∈X :
n
k=1
Так как вероятность суммы случайных событий не превосходит суммы вероятностей
этих событий, то
P{X (n) ∈ Vn } = 1 − P X (n) ∈ Wn ≥
m
X
Θ(k)
−1/4
≥1−
P ,
(1.16)
− pk ≥ n
n
k=1
где Θ(k) - случайная величина, равная числу появлений элемента xk ∈ X в последовательности случайных величин X1 , . . . , Xn .
Случайную величину Θ(k) можно представить в виде суммы
Θ(k) =
n
X
Θi (k),
i=1
где случайная величина
Θi (k) =
1, когда Xi = xk ,
0, когда Xi 6= xk .
равна числу появлений элемента xk ∈ X на i−ом месте в последовательности X1 , . . . , Xn .
Нетрудно видеть, что для любого i = 1, n
M{Θi (k)} = pk , D{Θi (k)} = pk (1 − pk ).
(1.17)
Кроме того, из независимости случайных величин {X1 , . . . , Xn } следует независимость
случайных величин {Θ1 (k), . . . , Θn (k)}. Таким образом, для любого k = 1, m последовательность случайных величин {Θ1 (k), . . . , Θn (k)} образует схему Бернулли.
Используя неравенство Чебышева и равенства (1.17), нетрудно получить оценку
)
!
(
m
n
m
m
1X
X
X
X
n
·
p
(1
−
p
)
1
k
k
Θi (k) − pk ≥ n−1/4 ≤
= 1/2 1 −
pk2 .
P 2 · n−1/2
n
n
n
i=1
k=1
k=1
k=1
Следовательно,
(
)
n
1X
lim
P Θi (k) − pk ≥ n−1/4 = 0.
n→∞
n
i=1
k=1
m
X
Поэтому, ввиду (1.16)
lim P{X (n) ∈ Wn } = 0
n→∞
и
lim P{X (n) ∈ Vn } = 1.
n→∞
(1.18)
Замечание. Множество всех реализаций случайного вектора X ( n) = (X1 , . . . , Xn )
нам удалось представить в виде объединения двух непересекающихся подмножеств
X n = Wn ∪ Vn ,
2
Wn ∩ Vn = ∅,
которые обладают свойствами (1.18).
Подмножество Vn называют высоковероятным подмножеством.
В следующей теореме будет установлено, что распределение вероятностей на высоковероятном подмножестве является асимптотически равномерным.
Теорема 2. Для любых двух элементов z (n) и y (n) из высоковероятного подмножества Vn имеет место равенство
log2 P X (n) = z (n)
= 1.
lim
n→∞ log2 P {X (n) = y (n) }
Доказательство. Из равенства (1.15) следует, что
θ(1)
θ(m)
.
P X (n) = z (n) = p1 . . . pm
Поэтому
m
X
log2 P X (n) = z (n) =
θ(k) log2 pk .
(1.19)
k=1
С другой стороны, для z
(n)
∈ Vn
pk − n−1/4 <
θ(k)
< pk + n−1/4 ,
n
для любого k = 1, m.
Следовательно
m
X
(n · pk + n3/4 ) log2 pk <
m
X
θ(k) log2 pk <
k=1
k=1
k=1
m
X
(n · pk − n3/4 ) log2 pk .
Отсюда, учитывая (1.19), получаем неравенство
m
X
(n · pk + n
3/4
) log2 pk < log2 P X
(n)
=z
(n)
k=1
m
X
(n · pk − n3/4 ) log2 pk .
<
(1.20)
k=1
Далее, запишем формулу для энтропии случайной величины X из последовательности
(1.14):
m
X
H(X) = −
pk log2 pk > 0, так как pk ∈ (0, 1).
k=1
Поэтому неравенство (1.20) можно переписать в виде
−n · H(X) + n3/4
m
X
m
X
log2 pk . (1.21)
log2 pk < log2 P X (n) = z (n) < −n · H(X) − n3/4
k=1
k=1
Аналогично рассуждая можно получить неравенство для вектора y (n) :
−n · H(X) + n
3/4
m
X
log2 pk < log2 P X
(n)
=y
(n)
< −n · H(X) − n
3/4
m
X
log2 pk . (1.22)
k=1
k=1
Используя неравенства (1.21) и (1.22), будем иметь
P
P
log2 P X (n) = z (n)
−n · H(X) − n3/4 m
log2 pk
−n · H(X) + n3/4 m
log2 pk
k=1
Pm
Pk=1
<
<
.
m
3/4
(n)
(n)
3/4
−n · H(X) + n
log2 P {X = y }
−n · H(X) − n
k=1 log2 pk
k=1 log2 pk
3
Или
P
P
log2 P X (n) = z (n)
H(X) − n−1/4 m
H(X) + n−1/4 m
log2 pk
k=1 log2 pk
k=1
P
P
<
<
. (1.23)
m
m
H(X) − n−1/4 k=1 log2 pk
log2 P {X (n) = y (n) }
H(X) + n−1/4 k=1 log2 pk
Выше было отмечено, что энтропия H(X) > 0, поэтому в неравенстве (1.23) можно
перейти к пределу , устремляя n → ∞. В результате будем иметь
log2 P X (n) = z (n)
lim
= 1.
n→∞ log2 P {X (n) = y (n) }
Далее, через |A| будем обозначать число элементов конечного множества A.
В следующей теореме мы дадим оценку для |Vn | - числа элементов высоковероятного
множества и приведем асимптотику log2 |Vn | при n → ∞.
Теорема 3. Для любого δ > 0, найдется натуральное nδ такое, что для всех
n > nδ выполняется неравенство
1◦ . (1 − δ) · 2 n(H(X)+n
−1/4
Pm
k=1
≤ |Vn | ≤ 2 n(H(X)−n
log2 pk )
−1/4
Pm
k=1
log2 pk )
,
log2 |Vn |
= H(X).
n→∞
n
2◦ . lim
Доказательство. 1◦ . Из неравенства (1.21) следует, что
3/4
2(−n·H(X)+n
Pm
k=1
log2 pk )
Pm
3/4
k=1 log2 pk ) .
< P X (n) = z (n) < 2(−n·H(X)−n
(1.24)
Далее, нетрудно видеть, что
P X (n) ∈ Vn ≥ |Vn | · min P X (n) = z (n) ,
z (n) ∈Vn
P X (n) ∈ Vn ≤ |Vn | · max P X (n) = z (n) .
z (n) ∈Vn
Поэтому
P X (n) ∈ Vn
P X (n) ∈ Vn
≤ |Vn | ≤
.
maxz(n) ∈Vn P {X (n) = z (n) }
minz(n) ∈Vn P {X (n) = z (n) }
Отсюда, используя неравенство (1.24), будем иметь
|Vn | ≤
1
= 2 n(H(X)−n
−1/4
P
(−n·H(X)+n3/4 m
k=1 log2 pk )
Pm
k=1
log2 pk )
,
(1.25)
2
|Vn | ≥
P X (n) ∈ Vn
Pm
−1/4
k=1 log2 pk ) .
= P X (n) ∈ Vn · 2 n(H(X)+n
(1.26)
2
Используя теорему 1, можно утверждать, что для любого δ > 0, найдется натуральное
nδ такое, что для всех n > nδ
P X (n) ∈ Vn > 1 − δ.
P
(−n·H(X)−n3/4 m
k=1 log2 pk )
Значит, ввиду (1.26) для всех n > nδ
(1 − δ) · 2 n(H(X)+n
−1/4
Pm
k=1
log2 pk )
≤ |Vn | ≤ 2 n(H(X)−n
−1/4
4
Pm
k=1
log2 pk )
.
2◦ . Нетрудно видеть, что из п. 1◦ следует неравенство
m
m
X
X
log2 |Vn |
log2 (1 − δ)
+ H(X) + n−1/4
log2 pk ≤
≤ H(X) − n−1/4
log2 pk .
n
n
k=1
k=1
Переходя к пределу при n → ∞, получаем доказательство нашего утверждения.
Оценим отношение числа элементов высоковероятного подмножества Vn к числу
элементов всего множества X n .
Теорема 4.
|Vn |
1, если распределение сл. величины X равномерное,
lim
=
0, если распределение сл. величины X неравномерное.
n→∞ |X n |
Доказательство. Так как |X n | = mn , то нас будет интересовать оценка величины
|Vn |
.
mn
Вначале рассмотрим случай, когда случайные величины входящие в последовательность (1.14) имеют равномерное распределение, тогда для любых xk ∈ X и z (n) ∈ X n
pk = P{Xi = xk } ≡
1
1
и P{X (n) = z (n) } ≡
.
m
mn
Следовательно
|Vn |
.
P X (n) ∈ Vn = |Vn | · P X (n) = z (n) =
mn
Поэтому, ввиду теоремы 1
lim
n→∞
|Vn |
= lim P X (n) ∈ Vn = 1.
n
|X | n→∞
(1.27)
Таким образом, для больших n высоковероятное подмножество Vn практически совпадает с множеством X n .
Пусть теперь распределение вероятностей случайных величин из последовательности (1.14) не является равномерным. Тогда по известному свойству энтропии (см.
свойство 4)
H(X) < log2 m.
(1.28)
Пользуясь неравенством теоремы 3, получим
Pm
P
k=1 log2 pk )
|Vn |
2 n(H(X)−n
n((H(X)−log2 m)−n−1/4 m
k=1 log2 pk ) .
≤
=
2
n
n
log
m
2
m
2
−1/4
Так как ввиду (1.28)
lim n (H(X) − log2 m) − n−1/4
n→∞
m
X
k=1
то
lim
n→∞
|Vn |
= 0.
|X n |
5
!
log2 pk
= −∞,
Замечание. Несмотря на то, что вероятность высоковероятного подмножества Vn
близка к единице, тем не менее (для неравномерных распределений) это множество
составляет лишь очень малую долю от числа элементов множества X n .
Пример. Пусть множество значений случайной величины X состоит из двух элементов (m = 2) :
X = {0, 1} и P{X = 1} = 0.1 , P{X = 0} = 0.9.
4
Рассмотрим n = 104 , тогда для двоичных последовательностей z (10 ) = (z1 , . . . , z10000 )
θ(2)
(104 )
104 θ(1)
V104 = z
∈X
: 4 − 0.1 < 0.1; 4 − 0.9 < 0.1 ,
10
10
4
где θ(1) − число единиц в последовательности z (10 ) , а θ(2) − число нулей.
Заметим, что в этом примере неравенство для числа нулей следует из неравенства
для числа единиц. Поэтому, убирая излишнее условие для числа нулей, будем иметь
n 4
o
(10 )
104
V104 = z
∈X
: 0 < θ(1) < 2000 .
6