Достаточные статистики и оптимальные статистические

Научно-образовательный центр при МИАН
Осенний семестр 2010/2011
ДОСТАТОЧНЫЕ СТАТИСТИКИ И ОПТИМАЛЬНЫЕ
СТАТИСТИЧЕСКИЕ ПРОЦЕДУРЫ
Лектор: Дмитрий Михайлович Чибисов
Достаточные статистики играют важную роль при построении оптимальных статистических процедур. А именно, при наличии достаточной статистики
оптимальная в том или ином смысле процедура оценивания или проверки гипотез
может быть построена на основе этой достаточной статистики, которая тем самым
концентрирует в себе всю информацию, важную для решения данной статистической задачи. При этом достаточная статистика имеет обычно относительно малую
размерность по сравнению с размерностью вектора статистических данных, и тем
самым при переходе к достаточным статистикам происходит редукция данных
(выражающаяся, в частности, в уменьшении объема численных данных, подлежащих хранению в памяти).
1. Определение достаточной статистики опирается на понятие условной вероятности, поэтому первая часть курса будет посвящена введению понятий
условных математических ожиданий, условных вероятностей и условных
распределений.
2. В теории оценивания параметров достаточные статистики находят наиболее эффективное применение в построении несмещенных оценок с минимальной дисперсией. В курсе будут доказаны соответствующие результаты
и приведены примеры построения таких оценок.
3. В теории проверки статистических гипотез достаточные статистики позволяют строить оптимальные критерии, причем само понятие оптимальности
может определяться по-разному в разных задачах. Будут разобраны различные типы задач проверки гипотез, особенное внимание будет уделено
задачам, связанным с нормальным распределением.
Достаточные статистики и оптимальные
статистические процедуры
Д. М. Чибисов
Математический институт РАН им. В. А. Стеклова
1
Теория проверки гипотез
1.1
Введение: основные понятия
Как обычно, мы расматриваем статистический эксперимент (X, F, P),
P = {Pθ , θ ∈ Θ}. Предполагается, что распределения Pθ имеют плотности pθ (x) относительно некоторой σ-конечной меры1 µ на X. Предполагается далее, что пространство параметров Θ разбито на два непересекающихся подмножества, Θ = Θ0 ∪ Θ1 , Θ0 ∩ Θ1 = ∅, и на основании
имеющихся статистических данных X нам нужно проверить предположение (гипотезу) о том, что θ ∈ Θ0 , тогда как при нарушении этого
предположения θ ∈ Θ1 . Сами эти гипотезы обозначаются H0 и H1 соответственно. Более формально постановка задачи проверки гипотез будет
приведена ниже.
1
Например, часто рассматривается случай, когда статистические данные образуют
выборку, состоящую из n независимых одинаково распределенных (н.о.р.) случайных
величин, имеющих каждая распределение Fθ , θ ∈ Θ, c плотностью fθ (x), x ∈ R, по
мере Лебега. Эта выборка представима в виде n-мерного вектора X = (X1 , . . . , Xn ),
компоненты которого являются н.о.р. случайными величинами. Выборочным пространством (X, F) тогда служит пространство X = Rn векторов x = (x1 , . . . , xn ) c
сигма-алгеброй F = B n борелевских множеств, а вектор X имеет распределение Fn,θ
c плотностью
n
Y
fn,θ (x) =
fθ (xi )
i=1
n
по мере Лебега на R , которая играет роль µ в общей схеме, тогда как Fn,θ и fn,θ
играют роль Pθ и pθ . В следующем пункте будет рассмотрен пример такого рода, в
котором наблюдения имеют нормальное распределение.
1
Хотя описанная выше задача проверки гипотез выглядит симметричной относительно H0 и H1 , этим гипотезам принято придавать разное
значение, что проявится в дальнейшей спецификации постановки задачи. Пока отметим их содержательное различие. Целью эксперимента,
порождающего статистические данные, как правило является обнаружение отличий от «обычного», «стандартного» состояния. Гипотеза H0
(называемая нулевой гипотезой) утверждает в таком случае, что имеет
место это «стандартное» состояние, т.е. никаких изменений относительно «стандарта» не произошло, в то время как H1 описывает возможные
отклонения от H0 в случае ее нарушения. Поэтому H1 называют альтернативной гипотезой или, короче, альтернативой, а о самой задаче
говорят как о задаче проверки гипотезы H0 против альтернативы H1 .
«Ответом» в этой задаче является решение считать, что верна гипотеза H0 , либо что она неверна, а верна альтернатива H1 . В первом случае
говорят, что гипотеза H0 принимается (а H1 отвергается), тогда как во
втором — что H0 отвергается и принимается H1 . Решение отвергнуть H0
(принять H1 ) рассматривается как подтверждение наличия изменений,
описываемых альтернативой H1 .
Правило принятия той или иной из гипотез H0 , H1 называется статистическим критерием или в данном контексте просто критерием.
Мы опишем здесь частный вид критерия, который тем не менее широко применим в практических задачах. Критерии общего вида (т.наз.
рандомизированные критерии) будут введены ниже, в п. 1.2.2. Критерий
может быть задан функцией d(x), x ∈ R, принимающей два значения
0 и 1 и определяющей решающее правило, которое состоит в том, что
если в результате эксперимента получено X = x, то принимается гипотеза с индексом d(x), т.е. принимается H0 , если d(x) = 0, и принимается
H1 (отвергается H0 ), если d(x) = 1. Обозначим через S множество точек,
при реализации которых гипотеза H0 отвергается, т.е. S = {x : d(x) = 1}.
Это множество называется критическим множеством. В терминах этого множества критерий состоит в том, что если X ∈ S, то гипотеза H0
отвергается, а в противном случае, когда X ∈ X \ S, — принимается.
Ясно, что два способа задания критерия — функцией d(x) = 1S (x) или
множеством S — эквивалентны.
Всякий критерий характеризуется ошибками, которые могут произойти при его применении, а точнее — вероятностями этих ошибок. Если
верна гипотеза H0 , то с вероятностью Pθ (S) > 0 (зависящей от θ ∈ Θ0 )
происходит событие {X ∈ S}, при котором гипотеза H0 отвергается. В
2
таком случае мы совершаем ошибку, называемую ошибкой 1-го рода. Наоборот, если верна гипотеза H1 , то с вероятностью 1 − Pθ (S), θ ∈ Θ1 ,
происходит событие X ∈ X \ S, при котором ошибочно принимается гипотеза H0 . Эта ошибка называется ошибкой 2-го рода. Максимальную
вероятность ошибки 1-го рода, т.е.
sup Pθ (S),
θ∈Θ0
называют также размером критерия. Кроме того, величину
Pθ (S),
θ ∈ Θ1 ,
представляющую собой дополнение вероятности ошибки 2-го рода до 1,
называют мощностью критерия. Естественно, что критерий (критическое множество S) желательно выбрать так, чтобы вероятности ошибок
были по возможности малыми. Ясно, однако, что сделать обе вероятности ошибок сколь угодно малыми как правило невозможно — выбор
области S с меньшей вероятностью Pθ (S), θ ∈ Θ0 (уменьшение вероятности ошибки 1-го рода) приводит обычно и к уменьшению мощности
критерия Pθ (S), θ ∈ Θ1 (увеличению вероятности ошибки 2-го рода).
Поэтому стандартная постановка задачи состоит в том, что задается
(малое) фиксированное число α > 0 (типичным образом используются
α = 0,1, 0,05, 0,01), называемое уровнем значимости критерия, которое
представляет собой ограничение на размер критерия, т.е. рассматриваются критерии, подчиненные условию
sup Pθ (S) ≤ α.
θ∈Θ0
Задача теперь состоит в том, чтобы в классе таких критериев найти
критерий, обладающий максимальной мощностью (т.е. минимальной вероятностью ошибки 2-го рода). Эта задача как правило тоже не имеет однозначного решения, поскольку мощность Pθ (S) есть функция от
θ ∈ Θ1 (называемая функцией мощности) и максимизировать эту функцию одновременно при всех θ ∈ Θ1 как правило невозможно. Мы увидим,
однако, что в ряде важных случаев, рассмотренных ранее в связи с наличием достаточных статистик (например, когда распределения Pθ образуют экспоненциальное семейство), такие равномерно наиболее мощные
критерии существуют.
3
В следующем пункте будет рассмотрен случай, когда каждое из множеств Θ0 и Θ1 состоит из одного элемента θ0 и θ1 соответственно, и будет
доказана лемма Неймана—Пирсона, дающая решение задачи построения
наиболее мощного критерия в этом случае.
1.2
1.2.1
Лемма Неймана—Пирсона
Упрощенный вариант леммы Неймана—Пирсона
Лемма Неймана—Пирсона дает решение задачи построения наиболее мощного критерия в случае проверки простой гипотезы против простой альтернативы. Сама по себе эта простейшая задача вряд ли представляет практический интерес, но эта лемма послужит важным и полезным
инструментом для построения в том или ином смысле «оптимальных»
критериев в более сложных и содержательных ситуациях.
В настоящем пункте лемма Неймана—Пирсона будет доказана при
упрощающих предположениях. Доказательство леммы в ее общей формулировке будет дано в п. 1.2.3.
Как обычно, расматривается статистический эксперимент (X, F, P),
P = {Pθ , θ ∈ Θ}. В пространстве параметров Θ выделены две точки
θ0 , θ1 ∈ Θ (либо можно cчитать, что само Θ состоит из двух точек,
Θ = {θ0 , θ1 }, образующих одноточечные множества Θ0 и Θ1 ). Соответствующие распределения будем для краткости обозначать P0 = Pθ0 и
P1 = Pθ1 . Пусть p0 и p1 — плотности распределений P0 и P1 относительно
некоторой σ-конечной меры2 µ.
Наши статистические данные составляют случайный элемент X пространства X, о котором тем самым предполагается, что он может иметь
либо распределение P0 , либо распределение P1 , где P0 и P1 — два полностью известных, фиксированных распределения на пространстве X. Как
сказано выше, в настоящем параграфе мы делаем упрощающие предположения относительно этих распределений. А именно, будем предполагать, что
2
Существование таких плотностей не является дополнительным предположением.
Для конечного или счетного множества распределений {P0 , P1 , . . .} всегда существует
мераP
µ, относительно которой все они абсолютно непрерывны,
например, можно взять
P
µ = j cj Pj , где cj > 0 образуют сходящийся ряд, j cj < ∞. Однако как правило в
качестве меры µ будет служить либо мера Лебега (см. сноску в начале п. 1.1), либо
считающая мера.
4
(i) плотности p0 и p1 этих распределений имеют общий носитель, т.е.
A := {x : p0 (x) > 0} = {x : p1 (x) > 0}.
(1.1)
Поскольку дополнение к этому множеству имеет нулевую вероятность
как относительно P0 , так и относительно P1 , можно исключить его из
рассмотрения и считать, что пространство X совпадает с множеством A,
т.е. что обе плотности положительны (отличны от нуля) на всем пространстве X. Тогда на всем пространстве X определено отношение правдоподобия (ОП)
p1 (x)
L(x) =
.
(1.2)
p0 (x)
Еще одно упрощающее предположение касается распределения ОП:
(ii) Функция распределения F0L (y) = P0 (L(X) < y) непрерывна и строго монотонна.
Замечание 1.1. В дальнейшем будет рассматриваться общий случай, когда предположение (i) может не выполняться. Если обозначить через A0
и A1 множества, входящие в условие (1.1) (которое тогда принимает вид
A0 = A1 = A), то L(x) = 0 на множестве A0 \ A1 , которое может иметь
положительную P0 -вероятность и тем самым F0L (y) может иметь скачок
в нуле. Этом случай приходится рассматривать особо. При наших предположениях F0L (0+) = 0, эта функция непрерывна и, строго возрастая,
стремится к 1 при y → ∞.
Прежде чем формулировать лемму Неймана—Пирсона, приведем соображение, позволяющее лучше понять процедуру, предписываемую этой
леммой. Напомним, что нашей задачей является найти среди множеств
S, удовлетворяющих условию
Z
P0 (S) =
p0 (x) dµ ≤ α,
S
∗
множество S , на котором достигается максимум по S вероятности
Z
P1 (S) =
p1 (x) dµ.
S
Применяя (1.2), запишем этот интеграл в виде
Z
L(x)p0 (x) dµ.
S
5
Видно, что для максимизации этого интеграла следует взять множество
S, состоящее из точек x, в которых L(x) принимает максимально возможные значения. Это соображение подсказывает, что S надо искать в
семействе множеств вида
S = {x : L(x) > c},
c > 0,
выбирая константу c = cα так, чтобы множество
S ∗ = {x : L(x) > cα }
(1.3)
удовлетворяло условию P0 (S ∗ ) = α. Пользуясь условием (ii) и введенной
в нем функцией F0L (y), видим, что cα находится из уравнения
F0L (cα ) = 1 − α.
(1.4)
Приводимая ниже лемма Неймана—Пирсона утверждает, что множество
S ∗ , определенное посредством (1.3) и (1.4), задает наиболее мощный критерий уровня α.
Лемма 1.1 (Неймана—Пирсона).
ет равенству P0 (S ∗ ) = α.
1. Множество S ∗ удовлетворя-
2. Пусть S ∈ F — произвольное множество такое, что P0 (S) ≤ α.
Тогда
P1 (S) ≤ P1 (S ∗ ).
(1.5)
Доказательство. Утверждение 1 выполняется по построению (см.
(1.3) и (1.4)).
Докажем утверждение 2. Учитывая равенства P1 (S) = P1 (S ∩ S ∗ ) +
P1 (S \ S ∗ ), P1 (S ∗ ) = P1 (S ∩ S ∗ ) + P1 (S ∗ \ S) и равенство p1 = Lp0 (см.
(1.2)), запишем разность вероятностей в (1.5) как
P1 (S ∗ ) − P1 (S) = P1 (S ∗ \ S) − P1 (S \ S ∗ )
³Z
=
S ∗ \S
Z
´
−
L(x)p0 (x) dµ. (1.6)
S\S ∗
Точно так же из условий P (S ∗ ) = α и P (S) ≤ α имеем
Z
³Z
´
−
p0 (x) dµ ≥ 0.
S ∗ \S
S\S ∗
6
(1.7)
Умножим (1.7) на cα и вычтем из (1.6). Получим
Z
³Z
´
∗
P1 (S ) − P1 (S) ≥
−
(L(x) − cα )p0 (x) dµ.
S ∗ \S
S\S ∗
Из (1.3) следует, что L(x) − cα > 0 на множестве S ∗ \ S и L(x) − cα ≤ 0
на множестве S \ S ∗ . Таким образом, P1 (S ∗ ) − P1 (S) представляется как
разность двух интегралов, из которых первый — неотрицательный, а
второй — неположительный, откуда следует утверждение 2 леммы.
1.2.2
Рандомизированные критерии.
В п. 1.2.1 мы делали два упрощающих предложения (i) и (ii). В следующем пункте лемма Неймана—Пирсона будет доказана без этих предположений. Наиболее радикальных изменений потребует отказ от предположения непрерывности функции F0L (y) (см. (ii)). Это отсутствие непрерывности характерно для статистических задач, связанных с дискретными распределениями, такими, как биномиальное, геометрическое, пуассоновское, и т.п. Приведем пример, поясняющий возникающие здесь трудности.
Пример 1.1. Наблюдаются результаты n испытаний Бернулли, т.е. n
независимых испытаний, в каждом из которых с вероятностью p, 0 <
p < 1, происходит «успех», либо, с вероятностью 1 − p, — «неудача». Требуется проверить гипотезу о равновероятности исходов, т.е. H0 : p = 12 ,
против односторонней альтернативы H1 : p > 21 . Из наглядных соображений понятно (и будет следовать из леммы Неймана—Пирсона, которую
мы собираемся доказать), что в пользу H1 говорит слишком большое
число «успехов», т.е. H0 следует отвергать, если T > cα , где T — число
«успехов», а cα — константа, определяемая условием P0 (T > cα ) ≤ α.
Здесь P0 — вероятность, отвечающая гипотезе H0 , т.е. соответствующая
p = 12 , а α — заданный уровень значимости. В отличие от п. 1.2.1 мы,
вообще говоря, не можем выбрать cα так, чтобы выполнялось равенство
P0 (T > cα ) = α, поскольку T имеет дискретное (биномиальное) распределение и вероятности P0 (T > c) принимают дискретное (конечное) множество значений при изменении c. Проиллюстрируем это на численном
примере. Пусть n = 10 и α = 0,05. По известной формуле биномиального
распределения (учитывая, что p = 1 − p = 21 при гипотезе H0 )
P0 (T = k) =
Cnk
1 k
C
=
,
210 n 1024
7
k = 0, . . . , n.
Отсюда
P0 (T = 10) =
1
,
1024
P0 (T = 9) =
10
,
1024
P0 (T = 8) =
45
, ...
1024
Сумма этих трех вероятностей равна
P0 (T ≥ 8) =
56
= 0,0547,
1024
т.е. критическая область {T ≥ 8} (иными словами, правило отвергать
H0 , когда число успехов равно 8, 9 или 10) имеет размер, превышающий
заданный уровень α = 0,05, и, чтобы удовлетворить требуемому ограничению на ошибку 1-го рода, H0 следует отвергать только когда T ≥ 9.
Этот критерий имеет размер P0 (T ≥ 9) = 11/1024 = 0,0107, и, применяя
его, мы сильно недобираем до уровня α = 0,05, но включение еще одной точки в критическую область приводит уже к нарушению заданного
ограничения.
На практике такое затруднение решается довольно просто. В приведенном примере при T = 8 гипотеза H0 отвергалась бы критерием с критической областью {T ≥ 8}, имеющим уровень значимости α = 0,0547,
что практически не отличается от условно выбираемого α = 0,05. Другой
подход состоит в указании т. наз. p-значения, соответствующего наблюденному значению используемой статистики. В примере, если в результате испытаний получено T = t, то p-значение — это вероятность P (T0 ≥ t),
где T0 — случайная величина, имеющая биномиальное распределение с
p = 21 , т.е. распределенная так, как наша статистика T при гипотезе H0 .
Тем самым p-значение показывает, какова вероятность получить такое
же или бо́льшее значение статистики T при гипотезе H0 . Если эта вероятность мала, в то время как она относительно велика при альтернативе
H1 , это говорит в пользу последней. В примере p-значение при T = 8 равно P0 (T ≥ 8) = 0,0547, и пользователь вправе сам решать, достаточно ли
оно мало для того, чтобы отвергнуть H0 .
Эти обходные пути вполне приемлемы в статистической практике, но
теория проверки гипотез состоит в поиске наиболее мощных критериев (возможно, удовлетворяющих к.-л. дополнительным ограничениям) и
сравнение критериев по их мощности возможно только при равенстве
их уровней значимости. Чтобы преодолеть эффект «дискретности», вводится более общая процедура принятия решения, приводящая к т. наз.
8
рандомизированным критериям. Их формальному определению предпошлем некоторые наглядные пояснения.
Предположим, что требуется проверить простую гипотезу H0 против
простой альтернативы H1 относительно распределения некоторой случайной величины X, принимающей значения x1 , . . . , xN с вероятностями
p1 , . . . , pN при H0 и с вероятностями3 q1 , . . . , qN при H1 . Напомним, что
поиск наиболее мощного критерия состоит (пока) в отыскании множества S ⊂ {1, . . . , N } такого, чтобы
X
X
pj ≤ α,
qj → max .
(1.8)
j∈S
j∈S
Дадим этой задаче следующую не особо серьезную «коммерческую»
интерпретацию. Некий венецианский купец снаряжает корабль для торговой экспедиции в заморскую страну. На местном рынке имеется N
видов товаров по цене p1 , . . . , pN за «упаковку» (мешок, бочку), ему известны цены q1 , . . . , qN на эти же товары за морем, и у него имеется α
денежных единиц (естественно, цены и величина α не обладают никакими вероятностными свойствами). Ему нужно закупить товаров на сумму
в пределах α единиц так, чтобы получить максимальную прибыль от их
продажи. Если он имеет право покупать каждую «упаковку» только целиком, то эта задача в точности совпадает с (1.8) и он, вообще говоря,
не может полностью использовать свой капитал α. Но если «упаковки»
делимы, т.е. он может покупать, скажем, не весь мешок зерна, а любую
его часть, то его стратегия становится более гибкой: она определяется
тогда набором ϕ = (ϕ1 , . . . , ϕN ), 0 ≤ ϕj ≤ 1, j = 1, . . . , N , где ϕj — доля
«упаковки» j-го товара, которую
намерен купить.
Pон
PN
N
Теперь его затраты равны
j=1 ϕj pj , а выручка равна
j=1 ϕj qj .
P
Предположим, что α <
j pj (в противном случае он настолько богат, что может скупить весь рынок, и задача не представляет интереса).
Нетрудно понять, что он может сделать свои затраты в точности равными α, причем многими способами, и задача состоит в том, чтобы выбрать
набор ϕ∗ = (ϕ∗1 , . . . , ϕ∗N ) так, чтобы
N
X
j=1
ϕ∗j pj
= α,
N
X
ϕ∗j qj
j=1
3
= max
ϕ
N
X
ϕ j qj .
(1.9)
j=1
Для упрощения записи мы обозначаем вероятности исходов X = xj , j = 1, . . . , N ,
отвечающие распределениям P0 и P1 , через pj и qj вместо p0j и p1j .
9
Оптимальный способ его действий довольно очевиден. Надо для каждого
j найти отношение Lj = qj /pj , которое характеризует выручку на единицу затраченных денег, упорядочить товары по величине этого отношения
и закупать товары целиком, т.е. полагать ϕj = 1, начиная с того j, для
которого Lj максимально, и продолжая в порядке убывания Lj до тех
пор, пока это позволяют средства, т.е. пока покупка очередного товара
целиком (включение в сумму соответствующего слагаемого с ϕj = 1) не
приводит к превышению уровня α. Тогда купить долю 0 < ϕj < 1 этого
последнего товара исходя из его цены и оставшихся средств. Все остальные товары не покупаются, т.е. для них полагается ϕj = 0. Тем самым
получено простое и наглядное решение «коммерческой» задачи. Важным
моментом решения было использование возможности дробления единиц
товара, определяемого коэффициентами ϕj .
Применительно к статистической задаче, надо понять, какой
PN смысл
следует придать этим коэффициентам, чтобы выражения
j=1 ϕj pj и
PN
j=1 ϕj qj приобрели вероятностный смысл. Согласно (1.9) мы ищем набор коэффициентов ϕ в классе наборов, удовлетворяющих условию
N
X
ϕj pj = α,
(1.10)
j=1
и считаем наилучшим тот набор, который максимизирует
N
X
ϕj qj .
(1.11)
j=1
Напомним, что в п. 1.1 вводилась решающая функция d(x), в зависимости от значения которой (d(x) = 0 или 1) гипотеза H0 при данном результате наблюдений x принималась или отвергалась. Но характеристиками
критерия служат не решения, принятые для каждого отдельного исхода
x, а вероятность P0 (d(X) = 1) ошибки 1-го рода и мощность P1 (d(X) = 1)
(= 1− вероятность ошибки 2-го рода). Если посмотреть на выражения
(1.10) и (1.11), то видно, что они (по формуле полной вероятности) дают
именно интересующие нас вероятности, т.е. P0 (d(X) = 1) и P1 (d(X) = 1),
если положить в них
ϕj = P (d(X) = 1 | X = xj ).
10
(1.12)
Использование этих условных вероятностей приводит к более общей процедуре принятия решения: в отличие от предыдущего мы не принимаем для каждого xj одно из двух решений d(xj ) = 1 либо 0 детерминированным образом, а включаем дополнительный механизм рандомизации, который выдает решения d(xj ) = 1 либо d(xj ) = 0 случайно, с
вероятностями ϕj и 1 − ϕj соответственно. Такая процедура называется рандомизированным критерием или просто критерием, если его вид
ясен из контекста. Критерий, задаваемый набором условных вероятностей ϕ = (ϕ1 , . . . , ϕN ), называют критерием ϕ. Отметим, что вероятности
ϕj не зависят от неизвестного параметра θ.
Согласно (1.12) можно ввести случайную величину ϕ(X), которая
принимает значение ϕj , если X = xj . Тогда из (1.10) и (1.11) следует,
что размер критерия (вероятность ошибки 1-го рода) записывается как
E0 ϕ(X), а мощность — как E1 ϕ(X), где E0 и E1 — математические ожидания, отвечающие распределениям P0 и P1 .
Выше было введено понятие рандомизированного критерия для простейшей статистической модели дискретного распределения с конечным
числом исходов. Переход к общему случаю, описанному в п. 1.1, не представляет затруднений. Напомним, что в общем случае рассматривается выборочное пространство (X, F), на котором задано семейство вероятностных мер P = {Pθ , θ ∈ Θ}, разбитое на два непересекающихся
подсемейства P = P0 ∪ P1 , отвечающих разбиению параметрического
множества Θ = Θ0 ∪ Θ1 , Θ0 ∩ Θ1 = ∅, так что P0 = {Pθ , θ ∈ Θ0 },
P1 = {Pθ , θ ∈ Θ1 }. Как сказано в п. 1.1, наша задача — проверить гипотезу H0 : θ ∈ Θ0 против альтернативы H1 : θ ∈ Θ1 . В отличие от процедуры
проверки гипотез, описанной в п. 1.1, которая задавалась критическим
множеством S и состояла в том, что в случае X ∈ S гипотеза H0 отвергалась в пользу H1 , теперь будет рассматриваться более общий класс
рандомизированных критериев. Каждый такой критерий задается измеримой функцией ϕ(x), 0 ≤ ϕ(x) ≤ 1, x ∈ X, и состоит в том, что если
результат наблюдений есть X = x, то с помощью дополнительного испытания с двумя исходами гипотеза H0 отвергается с вероятностью ϕ(x)
и принимается с вероятностью 1 − ϕ(x). Функция ϕ(x) называется критической функцией. Нерандомизированный критерий, отвергающий H0
при X ∈ S, получается как специальный случаей рандомизированного
11
критерия при ϕ(x) = 1S (x), т.е.
(
ϕ(x) =
1,
0,
x ∈ S,
x ∈ X \ S.
Как и выше, принятие одного из двух решений — отвергнуть или
принять H0 — мы индексируем функцией d(X), принимающей значение 1
в первом случае и 0 во втором. Решающая функция d(X) есть случайная
величина, зависящая от результата наблюдений X и (неявно) от исхода
рандомизационного испытания, так что, аналогично (1.12),
P (d(X) = 1 | X = x) = ϕ(x).
(1.13)
По формуле полной вероятности отсюда получаем безусловную вероятность отвергнуть H0 (зависящую теперь от θ):
Z
Pθ (d(X) = 1) =
P (d(X) = 1 | X = x) dPθ = Eθ ϕ(X).
X
Введем обозначение для этой вероятности:
βϕ (θ) = Eθ ϕ(X).
(1.14)
При различных θ вероятность βϕ (θ) имеет разный статистический смысл:
при θ ∈ Θ0 это есть вероятность ошибки 1-го рода, а при θ ∈ Θ1 это
— функция мощности. Таким образом, на рассматриваемые критерии
накладывается общее условие
sup βϕ (θ) ≤ α,
θ∈Θ0
и в классе таких критериев ищется критерий, для которого
βϕ (θ) → max,
θ ∈ Θ1 .
Выше уже отмечалось, что максимизировать функцию (зависящую в
данном случае от θ ∈ Θ1 ) одновременно при всех значениях ее аргумента, вообще говоря, невозможно. Однако для ряда семейств распределений, играющих заметную роль в статистике, такие равномерно наиболее мощные критерии существуют и их рассмотрению будут посвящены
ближайшие разделы. Но прежде будет рассмотрен простейший в этом
отношении случай, когда каждое из множеств Θ0 и Θ1 состоит из одной точки. Решение задачи нахождения наиболее мощного критерия в
этом случае дается леммой Неймана—Пирсона, которая была доказана
в п. 1.2.1 в упрощенном варианте и будет доказана в следующем пункте
в рассмотренной здесь общей схеме.
12
1.2.3
Лемма Неймана—Пирсона, общий случай.
Итак, мы рассматриваем следующую задачу. На выборочном пространстве (X, F) заданы два распределения, отвечающие значениям параметра θ = θ0 и θ = θ1 . Для упрощения обозначений будем писать P0 и P1
вместо Pθ0 и Pθ1 . Соответствующие математические ожидания будут обозначаться E0 и E1 , а введенная выше функция βϕ (θ) при θ = θ0 и θ = θ1
будет обозначаться
βϕ (0) = E0 ϕ(x) и βϕ (1) = E1 ϕ(x).
Как обычно, задано некоторое α, 0 < α < 1. Наша задача — найти
критическую функцию ϕ∗ (x) такую, что
βϕ∗ (0) ≤ α,
βϕ∗ (1) → max,
(1.15)
(1.16)
т.е. найти функцию ϕ∗ (x), максимизирующую βϕ (1) в классе функций
ϕ(x), удовлетворяющих условию βϕ (0) ≤ α.
Как правило в (1.15) имеет место равенство, но в некоторых случаях максимум в
(1.16) может достигаться на ϕ∗ (x), для которой βϕ∗ (0) < α. Если это так, то критерий
ϕ∗ (x) имеет максимальную достижимую мощность и при этом еще выигрывает за
счет уменьшения вероятности ошибки 1-го рода.
Мы предполагаем, что распределения P0 и P1 имеют плотности p0 (x)
и p1 (x) относительно некоторой σ-конечной меры µ на X. Как отмечалось
выше, для конечного или счетного набора распределений это предположение всегда выполнено. Используя эти плотности, можно записать
Z
Z
βϕ (0) =
ϕ(x)p0 (x) dµ, βϕ (1) =
ϕ(x)p1 (x) dµ.
(1.17)
X
X
Введем непересекающиеся множества
A = {x :
B = {x :
C = {x :
D = {x :
p0 (x) > 0, p1 (x) > 0},
p0 (x) = 0, p1 (x) > 0},
p0 (x) > 0, p1 (x) = 0},
p0 (x) = 0, p1 (x) = 0}.
(1.18)
(1.19)
(1.20)
(1.21)
Множество D можно сразу исключить из рассмотрения и рассматривать X \ D вместо X, поскольку такая замена для любой функции ϕ не
13
повлияет на значения βϕ (0) и βϕ (1), см. (1.17). Поэтому в дальнейшем
будем считать, что X = A ∪ B ∪ C. Отметим, что мера P0 сосредоточена
на множестве A ∪ C, т.е. P0 (A ∪ C) = 1, P0 (B) = 0, a P1 сосредоточена на
A ∪ B, т.е. P1 (A ∪ B) = 1, P1 (C) = 0.
Рассмотрим отдельно случай, когда P0 (A) ≤ α. В этом случае положим S = A ∪ B и ϕ∗ (x) = 1S (x). Это нерандомизированный критерий, и
для него (учитывая, что P0 (B) = 0)
βϕ∗ (0) = P0 (S) = P0 (A) + P0 (B) ≤ α,
βϕ∗ (1) = P1 (S) = P1 (A ∪ B) = 1.
(1.22)
(1.23)
Мощность этого критерия равна 1, т.е. имеет максимально возможное значение, а размер βϕ∗ (0) ≤ α может быть меньше α в зависимости
от величины P0 (A). Этот случай имелся в виду в выделенном выше мелким шрифтом абзаце. С точки зрения статистики он представляет мало
интереса, поскольку распределения здесь сосредоточены на почти непересекающихся множествах, и поэтому они различимы почти достоверно
(размер ≤ α, а вероятность ошибки 2-го рода в силу (1.23) равна нулю).
В дальнейшем будем предполагать, что
P0 (A) > α.
Докажем лемму, непосредственным следствием которой будет лемма Неймана—Пирсона.
Лемма 1.2. Пусть c > 0, 0 ≤ γ ≤ 1 — произвольные числа. Рассмотрим
критерий


p1 (x) > cp0 (x),
1,
(1.24)
ϕ0 (x) = γ,
p1 (x) = cp0 (x),


0,
p1 (x) < cp0 (x).
Тогда ϕ0 — наиболее мощный критерий в классе всех критериев ϕ таких, что
βϕ (0) ≤ βϕ0 (0).
(1.25)
Доказательство. Возьмем произвольный критерий ϕ, удовлетворяющий
условию (1.25), которое, пользуясь (1.17), можно переписать как
Z
Z
ϕp0 dµ ≤ ϕ0 p0 dµ.
(1.26)
14
Нам нужно доказать, что βϕ (1) ≤ βϕ0 (1), или, что то же,
Z
Z
ϕp1 dµ ≤ ϕ0 p1 dµ.
(1.27)
Покажем, что
Z
Z
ϕ(p1 − cp0 ) dµ ≤
ϕ0 (p1 − cp0 ) dµ.
(1.28)
Тогда из (1.26) и (1.28) будет следовать (1.27).
Перепишем (1.28) в виде
Z
(ϕ0 − ϕ)(p1 − cp0 ) dµ ≥ 0.
Это неравенство следует из определения (1.24) критерия ϕ0 : при тех x,
при которых p1 − cp0 > 0, имеем ϕ0 = 1 и ϕ0 − ϕ = 1 − ϕ ≥ 0, а там, где
p1 − cp0 < 0, имеем ϕ0 = 0 и ϕ0 − ϕ = −ϕ ≤ 0. Поэтому подынтегральная функция в доказываемом неравенстве неотрицательна, поскольку
она представляет собой произведение двух функций, которые либо обе
неотрицательны, либо обе неположительны. А следовательно, интеграл
от этой функции неотрицателен.
В формулировке и доказательстве леммы Неймана—Пирсона, следующих ниже, используются множества A, B, C, D, определенные формулами (1.18)—(1.21).
Лемма 1.3 (Неймана—Пирсона). В предположении, что P0 (A) < α,
существуют такие cα > 0 и 0 ≤ γα ≤ 1, что критерий


p1 (x) > cα p0 (x),
1,
(1.29)
ϕ0 (x) = γα ,
p1 (x) = cα p0 (x),


0,
p1 (x) < cα p0 (x),
имеет размер α и является наиболее мощным в классе критериев размера ≤ α.
Доказательство. В силу леммы 1.2 достаточно доказать существование
cα > 0 и 0 ≤ γα ≤ 1, при которых βϕ0 (0) = α.
15
Рассмотрим снова отношение правдоподобия (ОП)
L(x) =
p1 (x)
.
p0 (x)
Функция L(x) определена на множестве A∪C, P0 (A∪C) = 1. Рассмотрим
функцию распределения
F (z) = P0 (L(X) < z).
Эта функция обладает всеми свойствами функции распределения, т.е.
она непрерывна слева, возрастает (возможно, не строго монотонно) и
limz→∞ F (z) = P0 (A ∪ C) = 1. Кроме того,
F (0+) = lim F (z) = P0 (L(X) = 0) = P0 (C) = 1 − P0 (A) < 1 − α. (1.30)
z↓0
Рассмотрим множество {z : F (z) ≤ 1 − α} и обозначим cα верхнюю
грань этого множества. Из непрерывности слева F (z) следует, что
F (cα ) ≤ 1 − α.
Кроме того, для любого ε > 0 имеем F (cα + ε) > 1 − α, следовательно,
F (cα + 0) = lim F (z) ≥ 1 − α.
z↓cα
Поэтому
α1 := 1 − F (cα + 0) ≤ α ≤ α2 := 1 − F (cα ),
при этом
P0 (L(X) = cα ) = P0 (p1 = cα p0 ) = α2 − α1 .
Остается найти γα так, чтобы βϕ0 (0) = α. Имеем
Z
Z
Z
βϕ0 (0) = ϕ0 dP0 =
1 dP0 +
γα dP0
{p1 >cα p0 }
{p1 =cα p0 }
= P0 (L > cα ) + γα P0 (L = cα ) = α1 + γα (α2 − α1 ). (1.31)
Если α1 = α2 , то α1 = α, а α2 − α1 = 0, и 0 ≤ γα ≤ 1 может быть выбрано
произвольным образом. Если α1 < α2 , то полагаем
α − α1
.
γα =
α2 − α1
Согласно (1.31) βϕ0 (0) = α при таком выборе γα . Этим доказательство
леммы Неймана—Пирсона завершено.
16
1.3
Равномерно наиболее мощные критерии
В этом параграфе будут рассмотрены задачи проверки гипотез, в которых удается построить равномерно наиболее мощные (РНМ) критерии,
т.е. критерии, обладающие наибольшей возможной мощностью одновременно для всех альтернативных значений параметра θ ∈ Θ1 . Условие на
семейство распределений, обеспечивающее существование РНМ критерия, и соответствующая теория содержатся в п. 1.3.2. В п. 1.3.1 рассматривается пример, иллюстрирующий материал п. 1.3.2.
1.3.1
Пример 1: параметр сдвига нормального распределения
Проиллюстрируем применение леммы Неймана—Пирсона на простейшем
примере семейства нормальных распределений, зависящих от параметра
сдвига. Предположим, что по выборке X1 , . . . , XN , состоящей из независимых одинаково распределенных (н.о.р.) случайных величин, имеющих
нормальное распределение N (µ, σ 2 ) с известным σ 2 , проверяется гипотеза H0 : µ = µ0 , где µ0 ∈ R — некоторое заданное значение, против
односторонних альтернатив H1 : µ > µ0 . Будем обозначать через Pµ распределение вероятностей вектора X = (X1 , . . . , XN ) и через Eµ соответствующее математическое ожидание. Кроме того, символом Lµ (T ) будет
обозначаться распределение случайной величины T = T (X).
В данном случае альтернатива H1 сложная, т.е. она определяет не
единственное значение параметра, а множество значений {µ > µ0 }. Зафиксируем некоторое значение µ1 из этого множества и рассмотрим проверку простой гипотезы H0 против простой альтернативы H10 : µ = µ1 .
Для этого применим лемму Неймана—Пирсона (лемма 1.3 в п. 1.2) или,
поскольку в данном случае выполнены условия (i), (ii) п. 1.2.1, ее упрощенный вариант 1.1.
Выпишем явно плотности p0 , p1 и отношение правдоподобия L, фигурирующие в этой лемме. Распределению P0 соответствует в данном
случае распределение Pµ0 , представляющее собой совместное распределение N н.о.р. случайных величин X1 , . . . , XN . Напомним, что случайная
величина, распределенная нормально N (µ, σ 2 ), имеет плотность распределения (по мере Лебега)
ϕ(x; µ, σ 2 ) = √
17
(x−µ)2
1
e− 2σ2 .
2πσ
(1.32)
Поэтому P = Pµ0 имеет плотность относительно меры Лебега на RN ,
равную произведению плотностей ϕ(xi ; µ0 , σ 2 ), т.е. плотность
2
p0 (x) = pµ0 (x) = ϕN (x; µ0 , σ ) =
N
Y
ϕ(xi ; µ0 , σ 2 ).
(1.33)
i=1
Рекомендуем читателю выписать явно плотность ϕN (x; µ, σ 2 ) и убедиться, что
соответствующие распределения при фиксированном σ 2 и µ ∈ R образуют однопаPN
раметрическое экспоненциальное семейство с достаточной статистикой T = 1 Xi
PN
(или, что эквивалентно, T = X̄ = 1 Xi /N ).
Распределению P1 леммы 1.1 отвечает распределение Pµ1 с плотностью
N
Y
p1 (x) = pµ1 (x) = ϕN (x; µ1 , σ 2 ) =
ϕ(xi ; µ1 , σ 2 ).
(1.34)
i=1
По лемме Неймана—Пирсона критическая область наиболее мощного критерия проверки H0 против H1 имеет вид {L(x) > c}, где L(x) =
p1 (x)/p0 (x) и c надлежит выбрать так, чтобы Pµ0 -вероятность этой области равнялась заданному α > 0. Введем Λ(x) = log L(x). Поскольку Λ(x)
получено применением строго возрастающей функции log(·) к L(x), области {Λ(x) > c}, c > 0, образуют то же самое семейство, что и области
{L(x) > c}, c > 0 (хотя при каждом конкретном c множества {L(x) > c} и
{Λ(x) > c}, разумеется, различны). Поэтому критическую область можно искать в виде {Λ(x) > c} с тем же условием на (неопределенную пока)
константу c. Запишем Λ(x) в виде
Λ=
N
X
¡
¢
log ϕ(xi ; µ1 , σ 2 ) − log ϕ(xi ; µ0 , σ 2 ) .
(1.35)
i=1
√
Введем нормированный параметр t = (µ1 − µ0 ) N . Согласно (1.32) разность логарифмов имеет вид
log ϕ(xi ; µ1 , σ 2 ) − log ϕ(xi ; µ0 , σ 2 ) =
t
t2
√ (xi − µ0 ) − 2 .
2σ N
σ2 N
(1.36)
Мы будем рассматривать L и Λ как случайные величины, определенные
на пространстве RN , и для наглядности записывать их аргумент в виде
случайной точки X = (X1 , . . . , XN ), подчиняющейся распределению Pµ0
18
или Pµ1 . Тогда
Λ=
Обозначим
σ2
t
√
N
X
1
(Xi − µ0 ) − 2 t2 .
2σ
N 1
N
1 X
S= √
(Xi − µ0 ).
σ N 1
(1.37)
(1.38)
Тогда
t
1
(1.39)
S − 2 t2 .
σ
2σ
Поскольку t > 0 (в силу того, что рассматривается «правосторонняя»
альтернатива µ1 > µ0 ), Λ является монотонно возрастающей функцией статистики S, и из тех же соображений, что и выше, критическую
область можно искать в виде {S > c}. Легко видеть, что при гипотезе
H0 статистикa S имеет стандартное нормальное распределение N (0, 1),
функцию распределения которого обозначим через Φ(x). Определим zα
уравнением Φ(zα ) = 1 − α (т.е., zα есть (1 − α)-квантиль стандартноd
го нормального распределения). Иначе говоря, если S = N (0, 1), то
P (S > zα ) = α. Поэтому искомая критическая область имеет вид
Λ=
{S > zα }.
(1.40)
Другая форма этого критерия состоит в том, что он отвергает H0 , когда
σ
X̄ > µ0 + zα √ .
N
(1.41)
Обозначим через ϕ∗ (x) соответствующую критическую функцию, т.е.
ϕ∗ (x) = 1{S>zα } (x).
Неравенства (1.40) и (1.41) эквивалентны (задают одну и ту же область в RN ).
Второе из них показывает явно, что построенный критерий основан на достаточной
статистике X̄.
Критерий ϕ∗ (x) является по лемме Неймана—Пирсона наиболее мощным (НМ) критерием для проверки простой гипотезы H0 : µ = µ0 против
простой альтернативы H10 : µ = µ1 , µ1 > µ0 . Поскольку конструкция этого критерия не зависит от µ1 , т.е. один и тот же критерий (1.40) является
НМ критерием для проверки H0 против любой альтернативы µ1 > µ0 , он
является равномерно наиболее мощным (НМ) критерием для проверки
H0 против сложной альтернативы H1 : µ > µ0 .
19
Выпишем функцию мощности этого критерия. Пользуясь введенным
ранее обозначением (1.14) для вероятности отвергнуть H0 в зависимости
от истинного значения параметра µ (играющего в данном случае роль
параметра θ в (1.14)) найдем, что
βϕ∗ (µ) = Pµ (S > zα ).
Обозначим, аналогично (1.38),
N
1 X
Sµ = √
(Xi − µ),
σ N 1
µ ∈ R.
(1.42)
Из (1.38) и (1.42) имеем
S = Sµ +
µ − µ0 √
N.
σ
Поэтому
µ − µ0 √
N)
σ
µ − µ0 √
= Pµ (Sµ <
N − zα )
σ
βϕ∗ (µ) = Pµ (S > zα ) = Pµ (Sµ > zα −
(1.43)
(последнее равенство — следствие симметрии стандартного нормального
d
распределения). Так же, как выше мы имели S = Sµ0 = N (0, 1) относиd
тельно Pµ0 , получаем, что Sµ = N (0, 1) относительно Pµ . Поэтому
βϕ∗ (µ) = Φ
³µ − µ √
0
σ
´
N − zα .
Видно, что βϕ∗ (µ) есть
√ функция нормального распределения с параметром масштаба σ/ N и параметром сдвига, подогнанным так, чтобы
βϕ∗ (µ0 ) = α. В частности, βϕ∗ (µ) — монотонно возрастающая функция
при всех µ ∈ R.
Как уже отмечалось в связи с формулой (1.14), βϕ∗ (µ) при µ > µ0 есть
функция мощности РНМ критерия ϕ∗ (1.40) при проверке H0 : µ = µ0
против альтернативы H1 : µ > µ0 . Кроме того, из полученных свойств
критерия ϕ∗ следует, что он — РНМ критерий для проверки сложной
20
гипотезы H0 : µ ≤ µ0 против той же альтернативы H1 : µ > µ0 . Действительно, в этом случае βϕ∗ (µ) при µ ≤ µ0 есть вероятность ошибки 1-го
рода критерия ϕ∗ , и в силу отмеченной монотонности
sup βϕ∗ (µ) = βϕ∗ (µ0 ) = α,
µ≤µ0
т.е. размер критерия ϕ∗ равен α и в случае «расширенной» гипотезы
H0 . При этом любой другой критерий ϕ такой, что supµ≤µ0 βϕ (µ) ≤ α,
имеет не бо́льшую мощность, чем ϕ∗ , поскольку βϕ (µ0 ) ≤ α = βϕ∗ (µ0 ) и
следовательно βϕ (µ) ≤ βϕ∗ (µ) при µ > µ0 в силу того, что ϕ∗ — РНМ
критерий для гипотезы µ = µ0 при альтернативе µ > µ0 .
1.3.2
Семейства с монотонным отношением правдоподобия
Как и в параграфах 1.1 и 1.2, расматривается статистический эксперимент (X, F, P), P = {Pθ , θ ∈ Θ}. В ближайших разделах мы рассматриваем задачи проверки гипотез для семейств распределений, зависящих
от одномерного параметра θ. Поэтому будем предполагать, что параметрическое множество Θ представляет собой открытый интервал Θ = (a, b)
с возможно бесконечными границами a = −∞ и/или b = +∞, т.е. в качестве Θ может выступать ограниченный интервал, полупрямая или вся
прямая. Как и ранее, предполагается, что распределения Pθ имеют плотности pθ (x) относительно некоторой σ-конечной меры µ на (X, F). Будем
предполагать при этом, что плотности pθ имеют общий носитель, т.е.:
Mножество {x : pθ (x) > 0} не зависит от θ ∈ Θ.
(1.44)
В настоящем разделе на семейство P = {Pθ , θ ∈ Θ} накладывается условие, обеспечивающее существование РНМ критериев.
Определение 1.1. Пусть T (x) — статистика, принимающая числовые
значения, т.е. T : X → R — измеримая функция из X в R. Семейство P
имеет монотонное отношение правдоподобия (ОП) относительно T (x),
если для любых θ0 , θ00 ∈ Θ, θ0 < θ00 , существует функция gθ0 ,θ00 (t), строго
возрастающая по t, такая, что
pθ00 (x)
= gθ0 ,θ00 (T (x)).
pθ0 (x)
21
(1.45)
Употребляемое в следующей ниже теореме выражение «критерий, основанный на T (x)» (или также употребительное выражение «критерий,
отвергающий H0 при больших значениях T (x)») означает критерий


T (x) > cα ,
1,
ϕ(x) = γα ,
(1.46)
T (x) = cα ,


0,
T (x) < cα ,
где cα и γα выбраны так, чтобы для заданного 0 < α < 1
βϕ (θ0 ) = Eθ0 ϕ(X) = Pθ0 (T (X) > cα ) + γα Pθ0 (T (X) = cα ) = α.
Процедура выбора констант cα и γα в точности аналогична соответствующей процедуре в доказательстве леммы 1.3 (и несколько проще благодаря условию (1.44)).
Теорема 1.1. Пусть P = {Pθ , θ ∈ Θ} имеет монотонное ОП относительно T (x). Тогда для любого θ0 ∈ Θ и заданного 0 < α < 1 критерий,
основанный на T (x) (см. (1.46)), является РНМ критерием размера α
для
(1) проверки H0 : θ = θ0 против H1 : θ > θ0 и
(2) проверки H0 : θ ≤ θ0 против H1 : θ > θ0 .
Предварительно докажем следующую лемму.
Лемма 1.4. Пусть P = {Pθ , θ ∈ Θ} имеет монотонное ОП относительно T (x). Тогда для произвольных θ0 , θ00 ∈ Θ, c > 0 и 0 ≤ γ ≤ 1
критерий


T (x) > c,
1,
ϕ0 (x) = γ,
(1.47)
T (x) = c,


0,
T (x) < c,
является НМ критерием для проверки H0 : θ = θ0 против H1 : θ = θ00 в
классе критериев размера равного или меньшего
βϕ0 (θ0 ) = Pθ0 (T (X) > c) + γPθ0 (T (X) = c).
Доказательство. Эта лемма является непосредственным следствием леммы 1.2. По условию монотонности ОП (см. (1.45))
{x : T (x) > c} = {x : gθ0 ,θ00 (T (x)) > c1 } = {x : pθ00 (x) > c1 pθ0 (x)}
22
для некоторого c1 > 0, и аналогичные равенства выполняются для множеств {x : T (x) = c} и {x : T (x) < c}. Поэтому критерий (1.47) имеет
в точности вид (1.24) (с pθ0 , pθ00 в роли p0 , p1 ) и по лемме 1.2 является
НМ критерием в классе критериев того же или меньшего размера, что и
ϕ0 .
Доказательство теоремы 1.1. П. (1) теоремы сразу следует из леммы
1.4: найдем cα и γα так, чтобы
Pθ0 (T (X) > cα ) + γα Pθ0 (T (X) = cα ) = α.
Тогда для любого θ1 > θ0 критерий (1.46) по лемме 1.4 является НМ
критерием размера α для H0 : θ = θ0 против H10 : θ = θ1 . Но поскольку
этот критерий не зависит от выбора θ1 , он является РНМ против H1 : θ >
θ0 .
Для доказательства п. (2) теоремы нам нужно показать, что функция
βϕ (θ) = Eθ ϕ(X), отвечающая критерию ϕ (1.46), является монотонно
неубывающей функцией θ ∈ Θ. Тогда
sup βϕ (θ) = βϕ (θ0 ) = α,
θ≤θ0
т.е. критерий ϕ имеет размер α и при гипотезе H0 п. (2). При этом он
имеет не меньшую мощность, чем любой другой критерий ϕ1 размера α в
силу п. (1) теоремы (так как βϕ1 (θ0 ) ≤ α и следовательно βϕ (θ) ≥ βϕ1 (θ),
θ > θ0 ).
Чтобы доказать монотонность функции βϕ (θ), возьмем две произвольные точки θ0 , θ00 ∈ Θ и рассмотрим критерий ϕ как критерий проверки гипотезы θ = θ0 против θ = θ00 . По лемме 1.4 он является НМ критерием размера βϕ (θ0 ). Сравним его с критерием ϕ̃(x) ≡ βϕ (θ0 ). Это —
критерий, отвергающий гипотезу с вероятностью βϕ (θ0 ) безотносительно
к результатам наблюдений, поэтому его мощность тождественно равна
βϕ (θ0 ). Поскольку критерий ϕ — НМ, βϕ (θ00 ) ≥ βϕ (θ0 ), что и доказывает
требуемую монотонность.
Замечание 1.2. В определении 1.1 условие монотонного возрастания функции gθ0 ,θ00 (t) может быть заменено на условие монотонного убывания. В
этом случае РНМ критерий для задач (1) и (2) теоремы 1.1 отвергает H0
23
при малых значениях T (x), т.е. имеет


1,
ϕ(x) = γα ,


0,
вид
T (x) < cα ,
T (x) = cα ,
T (x) > cα ,
(1.48)
где cα и γα выбираются так, чтобы
βϕ (θ0 ) = Eθ0 ϕ(X) = Pθ0 (T (X) < cα ) + γα Pθ0 (T (X) = cα ) = α.
Точно так же, если в случае монотонно возрастающего ОП проверяется гипотеза H0 против левосторонней альтернативы, т.е. либо
(1) H0 : θ = θ0 против H1 : θ < θ0 , либо
(2) H0 : θ ≥ θ0 против H1 : θ < θ0 ,
то РНМ критерий также имеет вид (1.48).
Наконец, в случае убывающего ОП и левосторонней альтернативы
РНМ критерием является исходный критерий (1.46).
Эти изменения и требуемые изменения в доказательствах очевидны.
Замечание 1.3. Наиболее распространенным случаем семейств с монотонным ОП (МОП) являются экспоненциальные семейства с плотностями вида
pθ (x) = C(θ)eθT (x) h(x), x ∈ X.
Очевидно, что такое семейство удовлетворяет определению 1.1.
Класс семейств с МОП, однако, шире, чем класс экспоненциальных
семейств, как показывает следующий пример.
Пример 1.2. Предположим, что производится выбор из конечной совокупности объема N . Будем представлять себе, что эта совокупность
— партия изделий, в которой имеется M дефектных. Это число M —
неизвестный параметр, относительно которого нас может интересовать
проверка гипотезы H0 : M ≤ M0 . В выборке объема n оказалось X дефектных изделий. Предоставляем читателю проверить, что
x
CM
CNn−x
−M
.
CNn
ОП распределений с параметрами M и M + 1 равно
pM +1 (x)
M +1 N −M −n+x
=
.
pM (x)
N −M M +1−x
pM (x) = PM (X = x) =
Это ОП монотонно возрастает по x, но семейство pM (x) не является экспоненциальным.
24
1.3.3
Пример 2: гипотеза о вероятности «успеха» в схеме Бернулли
Здесь будет более подробно и в более общем виде рассмотрена задача
примера 1.1, в котором мы ограничились иллюстрацией трудностей, возникающих из-за дискретности биномиального распределения.
Как и в примере 1.1, наблюдаются результаты n испытаний Бернулли, в каждом из которых с вероятностью p, 0 < p < 1, происходит
«успех», либо, с вероятностью q = 1 − p, — «неудача». Для заданного
0 < p0 < 1 требуется проверить гипотезу H0 : p = p0 против односторонней альтернативы H1 : p > p0 . Исход j-го испытания описывается
случайной величиной Xj , принимающей значение 1 в случае «успеха» и
0 в случае «неудачи». Совокупность исходов n испытаний описывается
тогда случайным бинарным вектором X = (X1 , . . . , Xn ) с независимыми
компонентами, принимающими значения 1 и 0 с вероятностями p и q соответственно. Пространством X значений вектора X служит множество
всевозможных бинарных векторов x = (x1 , . . . , xn ), каждая компонента
которых равна 0 или 1. Известно (и легко показать), что число таких
векторов x равно 2n .
В силу независимости
P (X = x) =
n
Y
P (Xj = xj ).
(1.49)
j=1
Поскольку P (Xj = xj ) = p, если xj = 1, и P (Xj = xj ) = q, если
xj = 0, произведение в (1.49) состоит из множителей p и q, повторяющихся столько раз, сколько единиц и, соответственно,
нулей содержится
P
в векторе x. Число единиц в векторе x равно nj=1 xj , поэтому
³ ´T (x)
P
P
xj n− xj
n p
P (X = x) = p
q
=q
,
(1.50)
q
P
где T (x) = nj=1 xj . Обозначим p(x) = P (X = x). Функцию p(x) можно рассматривать как плотность распределения вектора X относительно
считающей меры на целочисленной решетке в Rn (для простоты обозначений мы не указываем явно зависимость p(x) от параметра p). Для
произвольных 0 < p0 < p00 < 1 обозначим p0 (x) и p00 (x) функции p(x),
отвечающие p = p0 и p = p00 . Тогда ОП (см. (1.45)) имеет вид
p00 (x) ³ q 00 ´n ³ p00 q 0 ´T
=
(x),
p0 (x)
q0
q 00 p0
25
и видно, что при любых 0 < p0 < p00 < 1 это ОП является монотонно
возрастающей функцией от T .
Поэтому здесь применима теорема 1.1 и РНМ критерий размера α
для проверки гипотезы H0 : p = p0 (или H0 : p ≤ p0 ) против H1 : p > p0
имеет вид (1.46). Если же нас интересует проверка гипотезы H0 : p = p0
(p ≥ p0 ) против H1 : p < p0 , то РНМ критерий имеет вид (1.48).
1.4
1.4.1
Несмещенные критерии
Свойство несмещенности
Мы продолжаем рассматривать задачи проверки гипотез для семейств
распределений, зависящих от одномерного параметра θ. Как и раньше,
предполагается, что θ пробегает параметрическое множество Θ, представляющее собой открытый интервал Θ = (a, b) с возможно бесконечными границами a = −∞ и/или b = +∞. полупрямая или вся прямая.
В предыдущем параграфе мы рассмотрели семейства специального вида (семейства с монотонным отношением правдоподобия), для которых
возможно построение равномерно наиболее мощных (РНМ) критериев в
случае односторонних альтернатив, т.е. в случае проверки гипотез вида
H0 : θ = θ0 (или H0 : θ ≤ θ0 ) против H1 : θ > θ0 .
(1)
В настоящем параграфе основной интерес будет представлять проверка простой гипотезы H0 : θ = θ0 против двусторонней альтернативы
H1 : θ 6= θ0 , хотя некоторые определения и факты будут носить более
общий характер. На примере задачи проверки гипотезы о среднем значении нормального распределения мы видели, что при проверке гипотезы
H0 : θ = θ0 против правосторонней альтернативы H1 : θ > θ0 существует
РНМ критерий, отвергающий H0 при больших значениях выборочного
среднего X̄, тогда как при проверке той же гипотезы H0 против левосторонних альтернатив H1 : θ < θ0 РНМ критерий отвергает H0 при малых
значениях X̄. Этот пример делает понятным, что РНМ критерия для
проверки H0 против двусторонней альтернативы H1 : θ 6= θ0 не существует. Оказывается, что такой критерий существует, если ограничить
класс применяемых критериев некоторым естественным дополнительным условием. Таким условием будет служить требование несмещенности критерия, которое будет сейчас определено.
26
Это определение имеет общий характер и относится к случаю произвольного параметрического множества Θ и произвольных непересекающихся множеств Θ0 и Θ1 , Θ0 ∪ Θ1 = Θ, задающих гипотезы H0 и H1 .
Напомним еще, что каждому критерию ϕ отвечает функция
βϕ (θ) = Eθ ϕ(X),
θ ∈ Θ,
(1.51)
представляющая собой вероятность ошибки 1-го рода при θ ∈ Θ0 и мощность критерия ϕ при θ ∈ Θ1 . Напомним также, что размером критерия
называется supθ∈Θ0 βϕ (θ). Это значит, что критерий ϕ размера α имеет
вероятность ошибки 1-го рода βϕ (θ) ≤ α при всех θ ∈ Θ0 . Естественно
потребовать, чтобы критерий отвергал гипотезу H0 , когда она неверна, с
бо́льшей (или по крайней мере не меньшей) вероятностью, чем когда она
верна, т.е. чтобы мощность критерия была не меньше, чем вероятность
ошибки 1-го рода. Поскольку последняя, вообще говоря, зависит от неизвестного θ ∈ Θ0 , будем требовать, чтобы мощность была не меньше ее
верхней границы α. В этом и состоит свойство несмещенности критерия.
Определение 1.2. Критерий ϕ размера α называется несмещенным,
если
βϕ (θ) ≥ α для любого θ ∈ Θ1 .
1.4.2
Простая гипотеза о параметре экспоненциального семейства при двусторонней альтернативе
Возвращаясь к упомянутому выше случаю, когда Θ — интервал (a, b)
(возможно (полу)бесконечный), будем рассматривать семейства распределений P = {Pθ , θ ∈ Θ} на (X, F), имеющих плотности вида
pθ (x) = C(θ)eθT (x) h(x),
x ∈ X, θ ∈ (a, b),
(1.52)
относительно некоторой сигма-конечной меры µ на (X, F). Нас будет
интересовать проверка гипотезы
H0 : θ = θ0
против H1 : θ 6= θ0 .
(1.53)
Формула (1.52) означает, что распределения {Pθ , θ ∈ Θ} образуют
экспоненциальное семейство. Семейства такого вида изучались в параграфе ??. По теореме факторизации ?? из (1.52) сразу следует, что T (X)
— достаточная статистика для семейства P.
27
Докажем прежде всего простую теорему, говорящую о том, что в любой задаче проверки гипотез, относящейся к семейству распределений,
допускающему достаточную статистику, можно ограничиться классом
критериев, зависящих только от этой достаточной статистики. В этой
теореме рассматриваются семейства общего вида с произвольным параметрическим множеством Θ, о которых шла речь в конце предыдущего
раздела.
Теорема 1.2. Если семейство {Pθ , θ ∈ Θ} имеет достаточную статистику T (x) с множеством значений T , то для любого критерия ϕ(x)
cуществует функция ψ(t), t ∈ T , такая, что критерий ϕ1 (x) = ψ(T (x))
имеет тот же размер и ту же мощность, что и критерий ϕ, т.е.
βϕ1 (θ) = βϕ (θ),
θ ∈ Θ.
Доказательство. Определим ψ(t) как условное математическое ожидание
ψ(t) = Eθ [ϕ(X) | T (X) = t].
Здесь использовано то свойство достаточной статистики, что условное
распределение по этой статистике не зависит от параметра (точнее, существует вариант этого условного распределения, не зависящий от параметра, который и используется здесь). Тогда
βϕ1 (θ) = Eθ ψ(T ) = Eθ {Eθ [ϕ(X) | T ]} = Eθ ϕ(X) = βϕ (θ).
Предпоследнее равенство здесь — это формула полного математического
ожидания, см. (??).
Из этой теоремы следует, что в задаче проверки гипотез (1.53) для
семейства распределений с плотностями (1.52) мы можем «забыть» исходный вектор наблюдений X и пользоваться критериями, зависящими
только от одномерной достаточной статистики T = T (X).
По теореме ?? распределения статистики T сами образуют экспоненциальное семейство распределений с плотностями
pTθ (t) = C(θ)eθt g(t),
θ ∈ Θ,
(1.54)
относительно некоторой меры ν на прямой.
Таким образом, задача проверки гипотезы (1.53) по выборке X, имеющей распределение Pθ c плотностью (1.52), сводится к задаче проверки
28
той же гипотезы по одному наблюдению числовой (одномерной) случайной величины, имеющей распределение PθT с плотностью (1.54). Поскольку до конца этого раздела распределения Pθ и их плотности (1.52) больше не появятся, мы опустим верхний индекс T у распределения PθT и
плотности (1.54) и будем писать Pθ вместо PθT и pθ (t) вместо pTθ (t). Отметим, что в отличие от исходного распределения Pθ на X теперь Pθ —
распределение на прямой, имеющее плотность pθ (t), t ∈ R, относительно
некоторой меры ν.
Критерий, основанный на статистике T , будет задаваться теперь функцией ψ(t), t ∈ R (в отличие от функции ϕ(x), определенной на X).
Следующая лемма дает необходимое условие несмещенности критерия.
Лемма 1.5. Пусть ψ(t) — несмещенный критерий размера α, т.е.
Z
Eθ0 ψ(T ) = ψ(t)pθ0 (t) dν = α.
Тогда
Eθ0 T ψ(T ) = αEθ0 T.
Равенство (1.55) можно переписать как
Z
Z
tψ(t)pθ0 (t) dν = α tpθ0 (t) dν.
(1.55)
(1.56)
Доказательство. Равенство (1.55) следует из того, что по определению
несмещенности функция βψ (θ) достигает минимума при θ = θ0 и ее производная по θ в точке θ0 равна нулю.
Выпишем функцию βψ (θ) и ее производную для произвольной критической функции ψ(t). Имеем
Z
Z
βψ (θ) = Eθ ψ(T ) = ψ(t)pθ0 (t) dν = C(θ) ψ(t)eθt g(t) dν.
По теореме ?? βψ (θ) — дифференцируемая (даже аналитическая) функция θ и при вычислении ее производной допустимо дифференцирование
под знаком интеграла. Поэтому ее производная равна
Z
Z
0
0
θt
βψ (θ) = C (θ) ψ(t)e g(t) dν + C(θ) tψ(t)eθt g(t) dν
=
C 0 (θ)
βψ (θ) + Eθ (T ψ(T )).
C(θ)
29
(1.57)
Подставим в эту формулу ψ1 (t) ≡ 1 в качестве ψ(t). Для такой критической функции βψ1 (θ) ≡ 1 и βψ0 1 (θ) ≡ 0. Получаем
C 0 (θ)
+ Eθ T = 0.
C(θ)
Это равенство не связано с какой-либо критической функцией ψ(t) и
представляет собой соотношение, характерное для произвольного экспоненциального семейства вида (1.54). Используя это равенство, выражение (1.57) можно переписать как
βψ0 (θ) = −βψ (θ)Eθ T + Eθ T ψ(T ).
(1.58)
Применим (1.58) к несмещенному критерию ψ. Для такого критерия имеем βψ (θ0 ) = α и βψ0 (θ0 ) = 0. Подставляя эти равенства в (1.58), получаем
(1.55).
Следующая лемма является аналогом леммы 1.2, являвшейся шагом
к доказательству леммы Неймана—Пирсона. Как и лемма 1.2, она говорит, что критерий определенной структуры обладает требуемым свойством оптимальности (в данном случае — что он равномерно наиболее
мощный несмещенный (РНМН)) в классе критериев того же размера.
Возможность определения констант ci и γi , обеспечивающих заданный
размер критерия, доказывается в последующих леммах.
Обозначим через Ψ класс критериев, удовлетворяющих равенству
(1.55). Лемма 1.5 утверждает, что всякий несмещенный критерий принадлежит классу Ψ, т.е. множество несмещенных критериев является
подмножеством класса Ψ. В следующей лемме используется условие (1.55),
позволяющее доказать, что критерий (1.59) является РНМН критерием
в классе Ψ, более широком, чем класс несмещенных критериев.
Лемма 1.6. Пусть c1 < c2 , 0 ≤ γi
Предположим, что критерий


1,
ψ0 (t) = γi ,


0,
≤ 1, i = 1, 2, — произвольные числа.
t < c1 , t > c2
t = ci , i = 1, 2,
c 1 < t < c2 ,
(1.59)
удовлетворяет условию (1.55). Тогда ψ0 — равномерно наиболее мощный
критерий среди критериев класса Ψ того же размера, что и ψ0 .
30
Замечание 1.4. Утверждение леммы означает, что для любого критерия
ψ ∈ Ψ размера Eθ0 ψ0 (T ) выполняется неравенство
βψ (θ) = Eθ ψ(T ) ≤ Eθ ψ0 (T ) = βψ0 (θ),
θ 6= θ0 .
(1.60)
Следствие 1.1. В условиях леммы 1.6 критерий (1.59) — несмещенный, и тем самым он — РНМН критерий среди критериев класса Ψ
того же размера, что и ψ0 .
Доказательство. Для доказательства нам нужно предъявить какой-нибудь несмещенный критерий ψ1 ∈ Ψ размера Eθ0 ψ0 (T ). Тогда по лемме
1.6 выполняется (1.60) с ψ = ψ1 , откуда для θ 6= θ0 следует, что
βψ0 (θ) ≥ βψ1 (θ) ≥ βψ1 (θ0 ) = βψ0 (θ0 ),
что и будет доказывать несмещенность критерия ψ0 . В качестве критерия ψ1 возьмем ψ1 (t) ≡ Eθ0 ψ0 (T ). Эта критическая функция тождественно равна константе Eθ0 ψ0 (T ), поэтому мощность этого критерия
тождественно равна той же константе и тривиальным образом βψ1 (θ) ≥
βψ1 (θ0 ) (на самом деле имеет место равенство), т.е. ψ1 является несмещенным.
Доказательство леммы 1.6. Обозначим α = Eθ0 ψ0 (T ) и возьмем произвольный критерий ψ ∈ Ψ размера α, т.е. критерий ψ ∈ Ψ такой, что
Eθ0 ψ(T ) = Eθ0 ψ0 (T ) = α.
(1.61)
Нам нужно доказать, что
Eθ ψ(T ) ≤ Eθ ψ0 (T ),
θ ∈ Θ, θ 6= θ0 .
(1.62)
Вспоминая выражение (1.54) для плотности распределения статистики T , запишем Eθ ψ(T ) как
Z
Z
pθ (t)
Eθ ψ(T ) = ψ(t)pθ (t) dν = ψ(t)
pθ (t) dν
pθ0 (t) 0
Z
C(θ) (θ−θ0 )t
e
pθ0 (t) dν.
(1.63)
= ψ(t)
C(θ0 )
Из (1.61) и (1.55) следует, что
Z
ψ(t) dPθ0 = α,
Z
tψ(t) dPθ0 = αEθ0 T
31
и те же равенства выполняются для критерия ψ0 . Следовательно,
Z
Z
(ψ0 − ψ) dPθ0 = 0,
t(ψ0 − ψ) dPθ0 = 0,
и, таким образом, для любых a, b ∈ R
Z
(ψ0 − ψ)(a + bt) dPθ0 = 0.
(1.64)
Обозначим для краткости
f (t) =
pθ (t)
C(θ) (θ−θ0 )t
=
e
pθ0 (t)
C(θ0 )
и выберем a и b так, чтобы a + bt = f (t) при t = c1 и t = c2 . Функция
f (t) — выпуклая, поэтому график прямой, пересекающей график f (t) в
двух точках, лежит выше f (t) внутри интервала, ограниченного этими
точками, и ниже f (t) вне этого интервала. Иначе говоря,
f (t) > a + bt при t < c1 и t > c2 ,
f (t) < a + bt при c1 < t < c2 .
(1.65)
(1.66)
Используя равенство (1.63) (применимое также к ψ0 ), учитывая (1.64)
и применяя введенное выше обозначение f (t), получаем
Z
Eθ (ψ0 (T ) − ψ(T )) = (ψ0 (t) − ψ(t))[f (t) − (a + bt)] dPθ0 .
(1.67)
Из (1.59) следует, что
(
ψ0 (t) − ψ(t) =
1 − ψ(t) ≥ 0,
− ψ(t) ≤ 0,
t < c1 , t > c2 ,
c 1 < t < c2 .
Вместе с (1.65), (1.66) это означает, что подынтегральная функция в
(1.67) неотрицательна при всех t, откуда следует (1.62).
Остается доказать, что константы c и γ в (1.59) могут быть выбраны
так, чтобы критерий ψ0 принадлежал классу Ψ и имел заданный размер α. Рассмотрим сначала более простой случай, когда статистика T
имеет плотность pθ (t) = pTθ (t) (см. (1.54)) по мере Лебега. В этом случае функция распределения статистики T непрерывна и не возникает
необходимость рандомизации.
32
Лемма 1.7. Для любого α, 0 < α < 1, найдутся константы c1 , c2
такие, что критерий
(
1, t ≤ c1 , t ≥ c2 ,
ψ0 (t) =
(1.68)
0, c1 < t < c2 ,
является несмещенным критерием размера α.
Доказательство. Во избежание несущественных дополнительных оговорок предположим, что g(t) > 0 (см. (1.54)) на интервале (a, b), где,
возможно, a = −∞ и/или b = +∞, и g(t) = 0 вне этого интервала. Тогда
и все плотности pθ (t), θ ∈ Θ, положительны
R x на (a, b).
Обозначим F (x) = Pθ0 (T < x) = −∞ pθ0 (t) dt. В силу сделанного
предположения F (x) строго монотонна на (a, b).
Для 0 < α1 , α2 < 1 таких, что α1 + α2 = α, положим
c1 (α1 ) = F −1 (α1 ),
c2 (α2 ) = F −1 (1 − α2 ).
(1.69)
Тогда критерий (1.68) c c1 = c1 (α1 ), c2 = c2 (α2 ) имеет размер α, и нам
надо доказать, что найдется 0 < α1 < α, при котором он удовлетворяет
равенству (1.55). Тогда он — несмещенный согласно следствию 1.1.
Положим
f (α1 ) = Eθ0 (T ψ0 (T )) − αET,
(1.70)
подразумевая, что критерий ψ0 определяется указанными выше константами c1 и c2 (1.69), зависящими от α1 (и имея в виду, что α2 = α − α1 ).
Наша цель — доказать, что f (α1 ) = 0 при некотором 0 < α1 < α, что и
влечет выполнение (1.55).
Введем функции
Z c1
Z
f1 (α1 ) =
tpθ0 (t) dt − α1 tpθ0 (t) dt,
(1.71)
−∞
Z ∞
Z
f2 (α2 ) =
tpθ0 (t) dt − α2 tpθ0 (t) dt.
(1.72)
c2
Очевидно,
f (α1 ) = f1 (α1 ) + f2 (α − α1 ).
(1.73)
Рассмотрим свойства этих функций. Из (1.69), непрерывности и строгой монотонности F (x) следует непрерывность c1 (α1 ) и следовательно
33
непрерывность f1 (α1 ). Покажем, что f1 (α1 ) < 0 при 0 < α1 < 1. Имеем
Z c1
Z
f1 (α1 ) =
(t − c1 )pθ0 (t) dt − α1 (t − c1 )pθ0 (t) dt.
−∞
Это равенство получается из (1.71) вычитанием одной и той
R c1 же величины α1 c1 из каждого члена разности,R с учетом того, что −∞
pθ0 (t) dt =
F (c1 ) = α1 в силу (1.69), и того, что pθ0 (t) dt = 1. Теперь, разбивая последний интеграл на сумму интегралов по (−∞, c1 ) и [c1 , +∞), получаем
Z c1
Z ∞
f1 (α1 ) =
(1 − α1 )(t − c1 )pθ0 (t) dt − α1
(t − c1 )pθ0 (t) dt.
−∞
c1
Подынтегральная функция в первом интеграле отрицательна, а во втором — положительна, откуда следует искомое неравенство f1 (α1 ) < 0.
Наконец, покажем, что f1 (α1 ) → 0 при α1 → 0. Второе слагаемое в
(1.71) есть −α1 ET , и для него сходимость к нулю очевидна, поскольку
ET = const < ∞. Запишем первое слагаемое как
Z c1
Z c1
t dPθ0 =
t dF (t).
(1.74)
−∞
−∞
R c1
Это интеграл от t по области, Pθ0 -мера которой равна −∞
dF (t) = α1 . По
свойству абсолютной непрерывности интеграла слагаемое (1.74) также
стремится к нулю при α1 → 0. Поэтому мы можем доопределить по
непрерывности f1 (0) = 0.
Итак, функция f1 (α1 ) на интервале 0 ≤ α1 ≤ α непрерывна, отрицательна при 0 < α1 ≤ α и изменяется от f1 (0) = 0 до f1 (α) < 0. Аналогично доказывается, что функция f2 (α−α1 ) > 0 при 0 ≤ α1 < α, непрерывна
и f2 (α − α1 ) → 0 при α1 → α (т.е. при α2 → 0). Как и выше, положим
f2 (0) = 0. Из полученных свойств в силу (1.73) следует, что f (α1 ) на
интервале 0 ≤ α1 ≤ α непрерывным образом изменяется от f (0) > 0 до
f (α) < 0. Отсюда вытекает заявленное существование промежуточной
точки 0 < α1 < α, в которой f (α1 ) = 0.
1.4.3
Задачи с мешающими параметрами
В предыдущих разделах рассматривались семейства распределений, зависящих от одномерного параметра (исключение составляет двухвыборочная задача проверки гипотезы равенства средних значений двух нормальных распределений, рассмотренная в п. ??). Теперь мы рассмотрим
34
задачи с векторным параметром θ = (θ1 , . . . , θk ), пробегающим область
Θ в k-мерном пространстве Rk , т.е. θ ∈ Θ ⊂ Rk . Типичным образом
гипотеза H0 будет касаться части компонент вектора θ, например,
H0 : θ1 = θ10 , . . . , θm = θm0 ,
m < k,
(1.75)
где θ10 , . . . , θm0 — фиксированные числа. Параметры θm+1 , . . . , θk , на которые H0 не накладывает условий, называются мешающими.
Простейшим примером такой задачи может служить задача проверки гипотезы о среднем значении µ нормального распределения при неизвестном σ, в которой гипотеза H0 : µ = µ0 накладывает условие только
на первую компоненту двумерного вектора параметров (µ, σ). Пространством параметров Θ здесь служит полуплоскость {µ ∈ R, σ > 0}, и H0
задает в ней полупрямую {µ = µ0 , σ > 0}. Таким образом, σ является в
этой задаче мешающим параметром.
Аналогично тому, как в однопараметрическом случае помимо простых гипотез H0 : θ = θ0 рассматривались сложные гипотезы H0 : θ ≤
θ0 , мы будем также рассматривать задачи, в которых множество вида
(1.75) служит границей между множествами Θ0 и Θ1 . Так, в приведенном
только что примере может рассматриваться задача проверки гипотезы
H0 : µ ≤ µ0 против альтернативы H1 : µ > µ0 . В этом случае Θ0 и Θ1 —
части верхней полуплоскости, разделенные полупрямой {µ = µ0 , σ > 0}.
Более общим образом гипотеза H0 может задаваться системой уравнений или неравенств, накладывающих ограничения на компоненты вектора θ. Мы будем рассматривать задачи, в которых эти ограничения могут
быть сведены либо к виду (1.75), либо к множеству Θ0 с границей вида
(1.75), посредством перепараметризации (введения новых координат в
пространстве Rk ). Например, в задаче сравнения двух средних значений
µ1 и µ2 гипотеза H0 : µ1 = µ2 состоит в принадлежности вектора (µ1 , µ2 )
прямой {µ1 = µ2 }. Введением параметров θ1 = µ1 − µ2 , θ2 = µ2 (или
θ2 = µ1 или θ2 = µ1 + µ2 , и т.п., годится любое невырожденное линейное преобразование) задача сводится к проверке гипотезы H0 : θ1 = 0 c
мешающим параметром θ2 .
В случае, когда Θ0 и Θ1 — два множества с общей границей Θ0 , условие несмещенности критерия ϕ размера α означает требование, чтобы
βϕ (θ) ≤ α при θ ∈ Θ0 и βϕ (θ) ≥ α при θ ∈ Θ1 , откуда следует то свойство, что βϕ (θ) ≡ α при θ ∈ Θ0 (при условии непрерывности βϕ (θ)). Это
свойство часто возникает в контексте построения несмещенных критериев и естественно дать ему какое-то название.
35
Определение 1.3. Если для критерия ϕ функция βϕ (θ) постоянна на
некотором множестве Θ0 , т.е. βϕ (θ) ≡ α, 0 < α < 1, при θ ∈ Θ0 , то
критерий ϕ называется подобным относительно Θ0 .
Замечание 1.5. Не следует задаваться вопросом, чему подобен критерий
ϕ. Он ни на что не похож и ничему не аналогичен. Слово «подобный»
(или «подобие», означающее само свойство) надо воспринимать просто
как термин, хотя и довольно неуклюжий.
Приведем пример, иллюстрирующий дальнейшую теорию.
Пример 1.3. Предположим, что наблюдаются две независимые случайные величины X и Y , имеющие распределения Пуассона с параметрами
λ и µ соответственно. Для заданного τ0 > 0 требуется проверить гипотезу H0 : µ/λ = τ0 против односторонней альтернативы H1 : µ/λ > τ0 .
Здесь вектор параметров (λ, µ) пробегает множество Θ = {λ > 0, µ > 0},
множество Θ0 есть полупрямая {µ = τ0 λ, λ > 0, µ > 0}, а Θ1 = {µ >
τ0 λ, λ > 0, µ > 0} есть часть плоскости, лежащая над полупрямой Θ0 .
Обозначим pλ,µ (x, y) = Pλ,µ (X = x, Y = y), x, y = 0, 1, 2, . . . Функцию
pλ,µ (x, y) можно рассматривать как плотность совместного распределения X и Y относительно считающей меры, сосредоточенной на решетке
точек в первом квадранте с неотрицательными целочисленными координатами. Вследствие независимости X и Y функция pλ,µ (x, y) равна
произведению вероятностей того, что X = x и Y = y, т.е.
pλ,µ (x, y) =
λx −λ µy −µ
e
e .
x!
y!
Вид функции pλ,µ показывает, что для любого τ > 0 подсемейство
{Pλ,µ : µ = τ λ, λ > 0, µ > 0} имеет достаточную статистику T = X +
Y . В частности, T является достаточной статистикой для подсемейства
{Pλ,µ : (µ, λ) ∈ Θ0 }, отвечающего гипотезе H0 . Действительно, при µ =
τ λ, полагая θ = log λ, имеем
pλ,τ λ (x, y) = e
−λ(1+τ ) θ(x+y)
e
τy
,
x!y!
и таким образом эти плотности образуют экспоненциальное семейство
вида C(θ)eθT (x,y) h(x, y) c достаточной статистикой T (x, y) = x + y.
Воспользуемся тем фактом, что условное распределение по достаточной статистике не зависит от неизвестного параметра. В данном случае
36
условное распределение вектора (X, Y ) при условии T = t, t = 1, 2, . . .
в предположении, что µ = τ λ, зависит от τ , но не от λ и µ. В частности, условное распределение при гипотезе H0 однозначно определяется
значением τ0 , т.е. относительно условных распределений гипотеза H0 становится простой.
Чтобы найти распределение (X, Y ) при условии T = t, t = 1, 2, . . . ,
выпишем сначала распределение самой статистики T . Как известно, сумма независимых пуассоновских случайных величин распределена по закону Пуассона с суммарным значением параметра, т.е. в нашем случае
T имеет распределение Пуассона с параметром λ + µ и таким образом
Pλ,τ λ (T = t) =
λt (1 + τ )t −λ(1+τ )
(1 + τ )t
e
= e−λ(1+τ ) eθt
,
t!
t!
θ = log λ.
(Последнее выражение приведено, чтобы попутно проиллюстрировать
теорему ?? о том, что распределения достаточной статистики экспоненциального семейства сами образуют экспоненциальное семейство с плотностями вида C1 (θ)eθt h1 (t).) Деля pλ,τ λ (x, y) на Pλ,τ λ (T = t), получаем
(опуская элементарные промежуточные выкладки), что условное распределение X при фиксированном T = t — биномиальное с параметрами
(t, p), p = 1/(1 + τ ):
p(x | t) := P (X = x | T = t) =
t!
px (1 − p)t−x .
x!(t − x)!
(1.76)
Как и следовало быть, условное распределение по достаточной статистике не зависит от неизвестных параметров λ, µ. (Выписано только распределение (X | T = t), поскольку вторая величина Y связана с X соотношением X + Y = T , аналогично связи между числом «успехов» и
«неуспехов» в t испытаниях Бернулли.)
Для полученного биномиального семейства условных распределений
гипотеза H0 : µ/λ = τ0 и альтернатива H1 : µ/λ > τ0 переходят в H0 : p =
p0 и H1 : p < p0 , где p0 = 1/(1+τ0 ). Построение критерия в задаче проверки гипотезы о параметре биномиального распределения было рассмотрено в п. 1.3.3, см. также замечание 1.2 в п. 1.3.2. Согласно этим результатам в данной задаче строится условно РНМ критерий4 , имеющий вид
4
Термин «условно РНМ критерий» означает здесь РНМ критерий в задаче проверки гипотез для семейства условных распределений.
37
(1.48):


1, x < cα ,
ϕ0 (x; t) = γα , x = cα ,


0, x > cα ,
(1.77)
где cα и γα выбраны так, чтобы условный размер критерия был равен α:
Ep0 [ϕ0 (X; T ) | T = t] =
cX
α −1
p0 (x | t) + γα p0 (cα | t) = α,
(1.78)
x=0
а вероятности p0 (x | t) определяются формулой (1.76) с p = p0 в правой
части.
Функция ϕ0 (x; t) определена для каждого t = 1, 2, . . . на множестве
точек x = (x, y), x = 0, 1, . . . , t, таких, что x + y = t. Геометрически это
означает множество точек с целочисленными координатами, лежащих
на отрезке, соединяющем точки (t, 0) и (0, t). Но поскольку объединение таких множеств по всем t = 1, 2, . . . образует множество Z2+ точек
с неотрицательными целочисленными координатами (исключая начало
координат (0, 0)), функция ϕ0 (x; t) определена тем самым на всем множестве Z2+ . Для x = (x, y) ∈ Z2+ определим функцию ϕ0 (x) = ϕ0 (x; x + y). В
силу (1.78) эта критическая функция имеет условный размер α при любом условии T = t, t = 1, 2, . . . , поэтому и безусловный размер критерия
ϕ0 (x) (вычисляемый при гипотезе H0 : µ = τ0 λ) равен α:
Eλ,τ0 λ ϕ0 (X) = Eλ,τ0 λ [Eλ,τ0 λ (ϕ0 (X) | T )] = Eλ,τ0 λ [Ep0 [ϕ0 (X; T ) | T ] = α.
Тем самым критерий ϕ0 (x) является подобным на множестве Θ0 = Θ0 =
{(λ, µ) : µ/λ = τ0 } и его размер тождественно равен α на этом множестве.
Отметим в заключение, что критерий (1.77) — (1.78) является РНМ
критерием и в задаче проверки гипотезы H0 : p ≥ p0 против H1 : p < p0 ,
которая также рассматривалась в п. 1.3.3. В исходной задаче сравнения
параметров двух пуассоновских распределений это означает проверку
гипотезы H0 : µ/λ ≤ τ0 против H1 : µ/λ > τ0 . В этом случае множество
Θ0 есть часть плоскости, лежащая ниже полупрямой µ = τ0 λ. Как и
в первом случае, критерий ϕ0 (x), получаемый «склеиванием» условных
критериев ϕ0 (x; t) по всем t = 1, 2, . . . , имеет размер α и является подобным на множестве Θ0 = {(λ, µ) : µ/λ = τ0 }, которое служит общей
границей множеств Θ0 и Θ1 .
38
Определение 1.4. Если T — достаточная статистика для подсемейства
распределений {Pθ , θ ∈ Θ0 } и критерий ϕ таков, что
E[ϕ(X) | T = t] = α P T -почти всюду,
(1.79)
то говорят, что ϕ имеет неймановскую структуру.
Замечание 1.6. 1. Математическое ожидание в (1.79) не зависит от θ ∈ Θ0
вследствие достаточности статистики T .
2. Символ P T в (1.79) обозначает семейство распределений {PθT , θ ∈
Θ0 } статистики T . Выражение «P T -почти всюду» означает, что равенство в (1.79) может не выполняться на множестве, имеющем меру нуль
относительно всех распределений PθT ∈ P T .
Построение критериев неймановской структуры основано на том, что
условное распределение по достаточной статистике T не зависит от θ ∈
Θ0 , поэтому при каждом t требуется найти критерий ϕ, имеющий размер α относительно этого однозначно определенного распределения. Понятно, что такой критерий может быть построен многими способами.
Критерий ϕ0 , построенный в рассмотренном выше примере, имел неймановскую структуру, но кроме того он был условно РНМ критерием
при каждом фиксированном T = t. Возникает вопрос: является ли этот
критерий «безусловно» РНМ, т.е. имеет ли он наибольшую безусловную
мощность? Ответ на этот вопрос дают следующие леммы.
Лемма 1.8. Пусть ϕ0 имеет неймановскую структуру и при этом
является условно РНМ критерием при P T -почти всех t. Тогда ϕ0 —
РНМ критерий в классе критериев неймановской структуры.
Доказательство. Пусть ϕ — критерий неймановской структуры, т.е. удовлетворяющий условию (1.79). Предположение, что ϕ0 — условно РНМ
критерий, означает, что при P T -почти всех t
Eθ [ϕ0 (X) | T = t] ≥ Eθ [ϕ(X) | T = t],
θ ∈ Θ1 .
Применяя формулу полной вероятности, получаем, что при θ ∈ Θ1
βϕ0 (θ) = Eθ ϕ0 (X) = Eθ {Eθ [ϕ0 (X) | T ]}
≥ Eθ {Eθ [ϕ(X) | T ]} = Eθ ϕ(X) = βϕ0 (θ).
39
Из определения 1.4 очевидно, что всякий критерий неймановской
структуры является подобным на Θ0 . Действительно, по формуле полной
вероятности из (1.79) следует, что при любом θ ∈ Θ0
βϕ (θ) = Eθ ϕ(X) = Eθ {Eθ [ϕ(X) | T ]} = α.
Это свойство является естественным условием на критерий при наличии
мешающих параметров. Процедура построения критериев неймановской
структуры, проиллюстрированная примером 1.3, дает удобный способ
построения подобных критериев заданного размера. Исчерпывает ли,
однако, этот способ весь класс подобных критериев? Иными словами,
верно ли, что, и обратно, всякий подобный критерий имеет неймановскую структуру? Следующая лемма дает утвердительный ответ на этот
вопрос при дополнительном условии полноты достаточной статистики.
Лемма 1.9. Пусть T — полная достаточная статистика для подсемейства {Pθ , θ ∈ Θ0 }. Тогда любой подобный критерий относительно
Θ0 имеет неймановскую структуру.
Доказательство. Напомним, что определение полноты применительно
к данному случаю означает, что для любой измеримой функции f (t)
равенство Eθ f (T ) = 0 при всех θ ∈ Θ0 влечет равенство f (t) = 0 при
P T -почти всех t.
Свойство подобия критерия ϕ относительно Θ0 состоит в том, что
Eθ [ϕ(X) − α] = 0 при всех θ ∈ Θ0 .
Положим
f (t) = Eθ [ϕ(X) − α | T = t]
(математическое ожидание не зависит от θ ∈ Θ0 в силу достаточности
статистики T ). Из подобия критерия ϕ следует
Eθ f (T ) = Eθ [ϕ(X) − α] = 0,
θ ∈ Θ0 .
Наконец, из полноты статистики T следует, что f (t) = 0 при P T -почти
всех t, т.е.
Eθ [ϕ(X) | T = t] = α P T -почти всюду.
Тем самым ϕ имеет неймановскую структуру.
40
Из лемм 1.8 и 1.9 вытекает следствие, резюмирующее полученные
резльтаты.
Следствие 1.2. Если T — полная достаточная статистика для {Pθ , θ ∈
Θ0 }, а критерий ϕ0 имеет неймановскую структуру и является условно
РНМ при P T -почти всех t, то ϕ0 — РНМ подобный критерий относительно Θ0 .
Замечание 1.7. Отметим трудность, которая возникает, когда процедура
построения критерия неймановской структуры, проведенная в примере
1.3, применяется в общем («непрерывном») случае. Тогда при «склеивании» условных критериев, определенных на множествах {x : T (x) = t}, в
единый критерий, определенный на всем пространстве X, возникает проблема измеримости полученного критерия. Эта проблема не возникала
в примере 1.3 благодаря дискретности множества значений вектора X.
Эта проблема не возникала также в леммах 1.8 — 1.9 и следствии 1.2,
поскольку исходным объектом в них уже являлся критерий (ϕ0 или «любой подобный») как измеримая функция, определенная на X. Но понятие критерия неймановской структуры нацелено на «сборку» критерия
из совокупности условных критериев, что и будет производиться в следующем пункте. В настоящем курсе лекций доказательство измеримости
получаемых критериев проводиться не будет, читатель может найти его
в монографии Э. Лемана ?? (см. п. (4) доказательства теоремы 3 главы 4,
стр. 158). Этот пробел частично компенсируется тем, что в конкретных
примерах, приводимых в дальнейшем, измеримость критериев, получаемых с помощью указанной процедуры, очевидна.
1.4.4
РНМН критерии для экспоненциальных семейств распределений
В этом разделе будут рассматриваться экспоненциальные семейства распределений на (X, F) c плотностями вида
pθ (x) = C(θ) exp
k+1
³X
´
θj Tj (x) h(x)
(1.80)
j=1
относительно некоторой меры ν на X, где θ = (θ1 , . . . , θk+1 ) пробегает параметрическое пространство Θ ⊂ Rk+1 , удовлетворяющее условию теоремы ?? о том, что оно содержит невырожденный k + 1-мерный параллелепипед. Будут рассматриваться задачи проверки гипотез о параметре
41
θk+1 с мешающими параметрами (θ1 , . . . , θk ). Для удобства записи переобозначим вектор мешающих параметров как ξ = (ξ1 , . . . , ξk ), параметр
θk+1 будем обозначать просто θ, а функцию Tk+1 (x) переименуем в U (x).
Тогда плотности (1.80) примут вид
k
³
´
X
pθ,ξ (x) = C(θ, ξ) exp θU (x) +
ξj Tj (x) h(x),
(1.81)
j=1
(θ, ξ) ∈ Θ ⊂ Rk+1 , при этом (U, T ) = (U (X), T (X)), где T = (T1 , . . . , Tk ),
есть (k+1)-мерная полная достаточная статистика. По теореме ?? вектор
(U, T ) имеет плотность распределения
θu+
pU,T
θ,ξ (u, t) = C1 (θ, ξ)e
P
ξj tj
h(u, t)
(1.82)
относительно некоторой меры ν1 на Rk+1 .
Будем предполагать, что Θ — естественное параметрическое пространство нашего семейства, т.е. множество тех (θ, ξ), при которых интеграл
Z
Z
pθ,ξ (x) dν =
pU,T
θ,ξ (u, t) dν1
Rk+1
X
конечен. По теореме ?? Θ — выпуклое множество в Rk+1 , имеющее, по
предположению о невырожденности, непустое множество внутренних точек. Исключим из рассмотрения граничные точки Θ, т.е. будем считать,
что Θ — открытое выпуклое множество. Тогда проекция Θ на любую ось,
скажем, на ось θ, т.е. I = {θ : ∃(θ, ξ) ∈ Θ}, представляет собой открытый интервал на прямой (возможно, (полу)бесконечный), а сечение Θ,
соответствующее фиксированному значению θ = θ1 из этого интервала,
т.е. множество Ξ(θ1 ) = {ξ : (θ1 , ξ) ∈ Θ}, является выпуклым открытым
множеством в Rk . По упомянутой выше теореме ?? при каждом таком
θ1 вектор T = (T1 , . . . , Tk ) является полной достаточной статистикой для
подсемейства
pθ1 ,ξ (x) = C(θ1 , ξ) exp
k
³X
´
ξj Tj (x) eθ1 U (x) h(x),
ξ ∈ Ξθ1 .
(1.83)
j=1
Из (1.82) получаем, что для любого θ ∈ I условное распределение U
при фиксированном T = t имеет плотность
U |t
pθ (u) = C1 (θ)eθu h1 (u)
42
относительно некоторой меры ν2 на R1 .
Во всякой задаче проверки гипотез H0 : (θ, ξ) ∈ Θ0 против H1 : (θ, ξ) ∈
Θ1 критерий задается критической функцией ϕ(u, t), зависящей от достаточных статистик U, T , и характеризуется функцией
βϕ (θ, ξ) = Eθ,ξ [ϕ(U, T )],
которая, как указывалось раньше, представляет собой размер и мощность критерия ϕ при (θ, ξ) ∈ Θ0 и (θ, ξ) ∈ Θ1 соответственно. Нам
потребуется также условный размер и условная мощность при фиксированном T = t:
βϕ (θ | t) = Eθ [ϕ(U, T ) | T = t]
(1.84)
(здесь условное распределение, по которому берется математическое ожидание, не зависит от ξ в силу достаточности статистики T для подсемейства (1.83)). По формуле полного математического ожидания
βϕ (θ, ξ) = Eθ,ξ [βϕ (θ | T ).
(1.85)
Для заданного θ0 ∈ I рассмотрим две задачи проверки гипотез:
(I) H0 : θ ≤ θ0 против H1 : θ > θ0 ,
(II) H0 : θ = θ0 против H1 : θ 6= θ0 .
Теорема 1.3. Критерий


u > Cα (t),
1,
ϕ0 (u, t) = γα (t), u = Cα (t),


0,
u > Cα (t),
(1.86)
где Cα (t) и γα (t) таковы, что
βϕ0 (θ0 | t) = Eθ0 [ϕ0 (U, T ) | T = t] = α
P T -почти всюду,
(1.87)
является равномерно наиболее мощным несмещенным (РНМН) критерием размера α в задаче (I).
Доказательство. Согласно следствию 1.2 (c Θ0 = {(θ0 , ξ) : ξ ∈ Ξ(θ0 )})
критерий ϕ0 — РНМ подобный. Для доказательства теоремы надо проверить, что ϕ0 — несмещенный и РНМ в классе несмещенных критериев.
По лемме 1.4, применяемой с u в роли T (x) к семейству условных
распределений при условии T = t (см. доказательство п. (2) теоремы
43
1.1), функция βϕ0 (θ | t) (1.84) монотонна по θ. Поэтому из (1.87) следует,
что
βϕ0 (θ | t) ≤ α,
βϕ0 (θ | t) ≥ α,
θ ≤ θ0 ,
θ > θ0 .
По формуле (1.85) получаем
βϕ0 (θ, ξ) ≤ α,
βϕ0 (θ, ξ) ≥ α,
)
θ ≤ θ0 ,
θ > θ0 .
(1.88)
Из этих неравенств следует, что ϕ0 — несмещенный критерий размера α.
Пусть теперь ϕ — произвольный несмещенный критерий размера α.
Тогда для βϕ (θ, ξ) выполнены неравенства (1.88), из которых в силу
непрерывности βϕ (θ, ξ) по θ следует
βϕ (θ0 , ξ) ≡ α,
ξ ∈ Ξ(θ0 ),
т.е. ϕ — подобный критерией размера α на Θ0 = {(θ0 , ξ) : ξ ∈ Ξ(θ0 )}. По
следствию 1.2
βϕ0 (θ, ξ) ≥ βϕ (θ, ξ) при θ > θ0 ,
т.е. ϕ0 — РНМН критерий.
Перейдем к задаче (II). Предварительно выведем аналог равенства
(1.55) для условных математических ожиданий по достаточной статистике T . Пусть ϕ(U, T ) — несмещенный критерий размера α. Это значит,
что для βϕ (θ, ξ) = Eθ,ξ [ϕ(U, T )] выполняются соотношения
)
βϕ (θ, ξ) = α, θ = θ0 ,
(1.89)
βϕ (θ, ξ) ≥ α, θ 6= θ0 .
Отсюда следует, что βϕ (θ, ξ) при каждом ξ достигает минимума при θ =
θ0 и следовательно,
¯
∂
¯
= 0 для любого ξ ∈ Ξ(θ0 ).
βϕ (θ, ξ)¯
∂θ
θ=θ0
Повторяя доказательство леммы 1.5, получаем, что при каждом ξ ∈ Ξ(θ0 )
Eθ0 ,ξ [U ϕ(U, T ) − αU ] = 0.
44
Положим f (t) = Eθ0 [U ϕ(U, T ) − αU | T = t]. В силу предыдущего равенства
Eθ0 ,ξ f (t) = 0 для любого ξ ∈ Ξ(θ0 ).
Вследствие полноты достаточной статистики T отсюда следует, что P T почти всюду f (t) = 0, т.е.
Eθ0 [U ϕ(U, T ) | T = t] = αEθ0 [U | T = t].
Теорема 1.4. Пусть критерий ϕ0 (u, t) имеет вид


u < C1 (t), u > C2 (t),
1,
ϕ0 (u, t) = γi (t), u = Ci (t), i = 1, 2,


0,
C1 (t) < u < C2 (t),
(1.90)
(1.91)
где Ci (t), γi (t), i = 1, 2, таковы, что P T -почти всюду βϕ0 (θ0 | t) = α и
выполнено (1.90). Тогда ϕ0 — РНМН критерий размера α в задаче (II).
Доказательство. Пусть ϕ —произвольный несмещенный критерий размера α в задаче (II). Тогда ϕ — подобный критерией размера α на Θ0 =
{(θ0 , ξ) : ξ ∈ Ξ(θ0 )}. По лемме 1.9 ϕ имеет неймановскую структуру, т.е.
βϕ (θ0 | t) = Eθ0 [ϕ(U, T ) | T = t] = α P T -почти всюду.
(1.92)
Кроме того, для критерия ϕ выполнено (1.90).
Тогда по лемме 1.6
βϕ0 (θ | t) ≥ βϕ (θ | t),
θ 6= θ0 ,
при P T -почти всех t. Беря математические ожидания от обеих частей
этого неравенства, получаем
βϕ0 (θ, ξ) ≥ βϕ (θ, ξ),
что и требовалось доказать.
45
θ 6= θ0 ,