Иерархическая процедура множественной проверки гипотез

Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Иерархическая процедура множественной проверки гипотез
Рябенко Евгений, аспирант ММП
Семинар «Байесовские методы машинного обучения»
ВМК МГУ • 16 ноября 2011 г.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Поиск экстрасенсов
Joseph Rhine, 1950: исследования экстрасенсорного восприятия. Первый
этап — поиск экстрасенсов.
Испытуемому предлагалось угадать цвет 10 карт.
H0 : испытуемый выбирает цвет карт наугад.
H1 : испытуемый может предсказывать цвет карт.
Статистика t — число угаданных цветов.
1 10
= 0.0107421875,
2
т.е. при t = 9 достигаемый уровень значимости p ≈ 0.01, событие
достаточно редкое, можно отклонять H0 и признавать испытуемого
экстрасенсом.
P (t ≥ 9 |H0 ) = 11 ·
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Поиск экстрасенсов
Процедуру отбора прошли 1000 человек.
Девять из них угадали цвета 9 из 10 карт, двое — цвета всех 10 карт.
Ни один из них в последующих экспериментах не подтвердил своих
способностей.
Вероятность того, что из 1000 человек хотя бы один случайно угадает
10 1000
цвета 9 или 10 из 10 карт: 1 − 1 − 11 · 21
≈ 0.9999796.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Математическая формулировка
выборка:
нулевая гипотеза:
альтернатива:
статистика:
реализация выборки:
реализация статистики:
достигаемый уровень значимости:
X = {X1 , . . . , Xn } ∼ P ∈ Ω;
H0 : P ∈ ω, ω ∈ Ω;
H1 : P ∈
/ ω;
T (X) , T (X) ∼ F (x) при P ∈ ω;
T (X) 6∼ F (x) при P ∈
/ ω;
x = {x1 , . . . , xn };
t = T (x) ;
p (x)— вероятность при H0 получить
T (X) = t или ещё более экстремальное;
p
t
Гипотеза отвергается при p (x) ≤ α, α— уровень значимости.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Правило проверки гипотезы
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Простейший пример
Требуется проверить симметричность монеты за 20 подбрасываний.
выборка: X = {X1 , . . . , X20 } − i.i.d.Bern (20, q) ;
нулевая гипотеза: H0 : P = Bern (20, 0.5) ;
альтернатива: H1 : P 6= BernP
(20, 0.5) ; P
статистика: T (X) = max ( Xi , 20 − Xi ) ;
большие значения статистики свидетельствуют в пользу H1 ;
реализация выборки:
реализация статистики:
достигаемый уровень значимости:
x = {x1 , . . . , x20 };
t = T (x) ;
2
≈ 1.9 × 10−6 ,
при t = 20 p = 1048576
42
при t = 19 p = 1048576
≈ 4 × 10−5 ,
43400
при t = 15 p = 1048576
≈ 0.04.
При t ≥ 15 гипотеза отвергается на уровне значимости α = 0.05.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Несимметричность задачи проверки гипотез
H0 принимается
H0 отвергается
H0 верна
H0 верно принята
Ошибка первого рода
H0 неверна
Ошибка второго рода
H0 верно отвергнута
Вероятность ошибки первого рода жёстко ограничивается достаточно
малой наперёд заданной величиной — P (p (x) ≤ α |H0 ) ≤ α.
Вероятность ошибки второго рода минимизируется путём выбора
достаточно мощного критерия.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Усложнение примера
Требуется проверить симметричность 1000 монет.
Пусть все монеты симметричны.
Вероятность того, что хотя бы одна не менее 15 раз за серию упадёт
одной и той же стороной, равна
1000
43400
≈ 0.9999999999999999995.
1− 1−
1048576
t
P
15
1 − 5 × 10−19
16
1 − 7 × 10−6
17
0.92
18
0.33
19
0.039
20
0.002
При проведении статистического анализа данных по большому количеству
гипотез необходимо ограничивать не только вероятность каждой ошибки
первого рода, но и некую глобальную меру ошибки, учитывающую число
гипотез.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Математическая постановка
данные:
нулевые гипотезы:
альтернативы:
статистики:
реализации статистики:
достигаемые уровни значимости:
X = {X1 , . . . , Xm } ∼ P ∈ Ω;
Hi : P ∈ ωi , ωi ∈ Ω;
Hi0 : P ∈
/ ωi ;
Ti = T (Xi ) проверяет Hi против Hi0 ;
ti = t (xi ) ;
pi = p (xi ) , i = 1, . . . , m;
M = {1, 2, . . . , m} ;
M0 = M0 (P ) = {i : Hi верна} — индексы верных гипотез, |M0 | = m0 ;
R = R (P, α) = {i : Hi отвергнута} — индексы отвергаемых гипотез,
|R| = R;
V = |M0 ∩ R| — число ошибок первого рода.
Число принятых H0
Число отвергнутых H0
Всего
Число верных H0
U
V
m0
Рябенко Евгений
Число неверных H0
T
S
m − m0
Всего
m−R
R
m
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
FWER
Групповая вероятность ошибки первого рода (familywise error rate):
F W ER = P (V ≥ 1) .
Контроль над групповой вероятностью ошибки на уровне α означает
F W ER = P (V ≥ 1) ≤ α ∀P.
α1 , . . . , αm — уровни значимости, на которых необходимо проверять
гипотезы H1 , . . . , Hm ; задача — выбрать их так, чтобы обеспечить
F W ER ≤ α.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Метод Бонферрони
Метод Бонферрони: α1 = . . . = αm = α/m.
Theorem
Если гипотезы Hi , i = 1, . . . , m, отвергаются при pi ≤ α/m, то
F W ER ≤ α.
Доказательство.
m0
F W ER = P (V ≥ 1) ≤ P
[
{pi ≤ α/m}
i=1
≤
m0
X
α/m =
i=1
Рябенко Евгений
!
≤
m0
X
P (pi ≤ α/m) ≤
i=1
m0
α ≤ α.
m
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Поправка Бонферрони
При увеличении m в результате применения поправки Бонферрони
мощность статистической процедуры резко уменьшается — шансы
отклонить неверные гипотезы падают.
Пример: критерий Стьюдента для независимых выборок с одинаковой
дисперсией σ 2 = 1 и разностью средних µ1 − µ2 = 1 при проверке
гипотезы однородности на уровне значимости 0.05 имеет мощность 0.9
уже при длине выборок n = 23.
m
n
power
1
23
0.9
10
23
36
0.67 0.9
100
23
49
0.37 0.9
1000
23
62
0.16 0.9
Если проверяется одновременно 1000000 гипотез, при размере выборок
n = 10 мощность 0.9 достигается при расстоянии между средними
выборок в пять стандартных отклонений.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Пример
m = 500, m0 = 50
1
true hypotheses
false hypotheses
unadjusted critical values
Bonferroni critical values
p(i)
0,75
0,5
0,25
0,05
0
50
100
150
200
250
300
350
400
450
500
(i)
Без поправки на множественные сравнения: R = 71, V = 23.
С поправкой Бонферрони: R = 9, V = 0.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Метод Холма
Вариационный ряд достигаемых уровней значимости:
p(1) ≤ p(2) ≤ . . . ≤ p(m) ,
H(1) , H(2) , . . . , H(m) — соответствующие нулевые гипотезы.
Нисходящая процедура Холма:
1
2
3
Если p(1) ≥ α1 = α/m, принять все нулевые гипотезы
H(1) , H(2) , . . . , H(m) и остановиться; иначе отвергнуть H(1) и
продолжать.
Если p(2) ≥ α2 = α/ (m − 1) , принять нулевые гипотезы
H(2) , H(3) , . . . , H(m) и остановиться; иначе отвергнуть H(2) и
продолжать.
...
α(1) = α/m, α(2) = α/(m − 1), . . . , α(m) = α.
F W ER ≤ α обеспечивается при любых pi .
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Метод Холма
Метод Холма равномерно мощнее поправки Бонферрони, однако на
практике различия между ними невелики.
1
p(i)
0,75
true hypotheses
false hypotheses
unadjusted
Bonferroni
Holm
0,5
0,25
0,05
0
50
100
150
200
250
300
350
400
450
500
(i)
Без поправки на множественные сравнения: R = 71, V = 23.
С поправкой Бонферрони: R = 9, V = 0.
С поправкой методом Холма: R = 10, V = 0.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Другие методы
Если совместное нулевое распределение статистик T1 , . . . , Tm
известно, константы α(i) могут быть найдены точно:
P0,...,0 max (T1 , . . . , Ti ) ≥ c(m−i+1) = α.
Если статистики независимы, можно брать
1
α(i) = 1 − (1 − α) m−i+1 .
Если между статистиками положительная регрессионная
зависимость, то α(i) лежат в диапазоне
1
1 − (1 − α) m−i+1 ≤ α(i) ≤ α.
Если выполняется свойство subset pivotality (нулевое распределение
любого подмножества статистик Ti не зависит от того, верны или
неверны соответствующие оставшимся статистикам гипотезы), то
можно найти αi по нулевому распределению максимальной
−1
(1 − α) .
статистики MT = maxi Ti : c = FM
T |∪i∈M Hi
Если статистики можно представить как реализацию случайного
поля, используются топологические методы.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
FDR
Ожидаемая доля ложных отклонений гипотез среди всех отклонений
(false discovery rate):
V
· I{R>0} = E (F DP )
F DR = E
R
(F DP — доля ложных отклонений, false discovery proportion).
Контроль над ожидаемой долей ложных отклонений на уровне q означает
V
· I{R>0} ≤ q ∀P.
F DR = E
R
α1 , . . . , αm — уровни значимости, на которых необходимо проверять
гипотезы H1 , . . . , Hm ; задача — выбрать их так, чтобы обеспечить
F DR ≤ q.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Байесовский вариант
Пусть Ti ∼ F0 (t), i ∈ M0 ,
Ti ∼ F1 (t), i ∈ M \ M0 .
Функция распределения смеси:
F (t) =
m0
m − m0
F0 (t) +
F1 (t).
m
m
F DR(t) =
Рябенко Евгений
m0
F0 (t)/F1 (t).
m
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Методы контроля FDR
Вариационный ряд достигаемых уровней значимости:
p(1) ≤ p(2) ≤ . . . ≤ p(m) ,
H(1) , H(2) , . . . , H(m) — соответствующие нулевые гипотезы.
Нисходящие методы:
1
2
3
q
1
, принять все нулевые гипотезы H(1) , H(2) , . . . , H(m)
Если p(1) ≥ m
c(m)
и остановиться; иначе отвергнуть H(1) и продолжать.
q
2
Если p(2) ≥ m
, принять нулевые гипотезы H(2) , H(3) , . . . , H(m) и
c(m)
остановиться; иначе отвергнуть H(2) и продолжать.
...
При c(m) = 1 получаем метод Бенджамини-Хохберга; F DR ≤ m0 /mq ≤ q,
если между статистиками Ti , i ∈ M0 , положительная регрессионная
зависимость P
(или они независимы).
1
При c(m) = m
i=1 i получаем метод Бенджамини-Йекутиели;
F DR ≤ m0 /mq ≤ q безусловно.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Метод Бенджамини-Хохберга
1
p(i)
0,75
true hypotheses
false hypotheses
unadjusted
Bonferroni
Holm
Benjamini−Hochberg
0,5
0,25
0,05
0
50
100
150
200
250
300
350
400
450
500
(i)
Без поправки на множественные сравнения: R = 71, V = 23.
С поправкой Бонферрони: R = 9, V = 0.
С поправкой методом Холма: R = 10, V = 0.
С поправкой Бенджамини-Хохберга: R = 33, V = 1.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Метод Бенджамини-Йекутиели
1
p(i)
0,75
true hypotheses
false hypotheses
unadjusted
Bonferroni
Holm
Benjamini−Hochberg
Benjamini−Yekutieli
0,5
0,25
0,05
0
50
100
150
200
250
300
350
400
450
500
(i)
Без поправки на множественные сравнения: R = 71, V = 23.
С поправкой Бонферрони: R = 9, V = 0.
С поправкой методом Холма: R = 10, V = 0.
С поправкой Бенджамини-Хохберга: R = 33, V = 1.
С поправкой Бенджамини-Йекутиели: R = 16, V = 0.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Способы улучшения
Если ожидается, что значение m0 невелико, можно оценить его и
увеличить критические константы.
m̂0 = 2 × ] {pi > 0.5} ;
m̂0 —число гипотез, не отвергаемых методом Бенджамини-Хохберга
при q 0 = q/ (q + 1) ;
...
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Экспрессия на срезах мозга
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Мёртвый лосось
(Использовано отсечение по p с порогом α = 0.001)
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Now you see it, now you don’t
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Now you see it, now you don’t
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
FDR vs. FWER
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Семейства гипотез
Гипотезы могут быть объединены в семейства.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Типы контроля при наличии семейств
Далее рассматриваются меры ошибок первого рода, которые можно
представить в виде E(C) для некоторой случайной меры ошибок первого
рода C.
F W ER = P (V ≥ 1) =
E I{V ≥1}
V
F DR = E R · I{R>0} = E (F DP )
Контроль на уровне семейств
Контроль внутри каждого семейства
Контроль в среднем по отобранным
семействам
E (Cf am ) ≤ q
E (Ci ) ≤ q, i = 1, . . . , m
S — индексы отобранных
семейств,
P
i∈S Ci
E
≤q
max (|S|, 1)
Глобальный контроль
E (Ccomb ) ≤ q
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Два экстремальных подхода
Агрегированная проверка:
проверяется множество индивидуальных гипотез, игнорируя
семейства;
обеспечен глобальный контроль;
агрегированная проверка с глобальным контролем F DR не
обеспечивает контроля F DR внутри семейств.
Раздельная проверка:
гипотезы каждого семейства проверяются независимо;
обеспечен контроль внутри каждого семейства;
мощность выше, чем при агрегированной проверке;
не гарантируется глобальный контроль.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Проблемы агрегированной проверки
Внутри семейств выводы могут быть искажены в обоих направлениях
(в каких-то семействах получаем высокий уровень F DR, в каких-то —
низкую мощность.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Проблемы агрегированной проверки
Внутри семейств выводы могут быть искажены в обоих направлениях
(в каких-то семействах получаем высокий уровень F DR, в каких-то —
низкую мощность.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Случай однородных семейств
Если распределение статистик F (t) =
семействах одинаково, то:
m0
F0 (t)
m
+
m−m0
F1 (t)
m
во всех
агрегированная проверка ≈ раздельная проверка;
контроль F DR обеспечен глобально и внутри каждого семейства;
улучшать мощность некуда.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Случай неоднородных семейств
Если для разных семейств либо moi ≈ 0, либо moi ≈ 1, то:
ни агрегированная, ни раздельная проверка методом
Бенджамини-Хохберга не гарантирует контроль над F DR
одновременно глобально и внутри каждого семейства;
при большой размерности раздельная проверка будет иметь
значительно большую мощность.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Идея
На первом этапе отобрать подающие надежды семейства (в которых
есть признаки содержания ложных нулевых гипотез).
На втором этапе сделать раздельную проверку гипотез в отобранных
семействах.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Раздельная проверка
В каждом семействе i = 1, . . . , m
применяется процедура, обеспечивающая контроль E (C)
E (Ci ) ≤ q, i = 1, . . . , m
Контроль в среднем по всем семействам:
Pm
i=1 Ci
E
≤q
m
Рябенко Евгений
Иерархическая проверка гипотез
Выводы
Проверка с отбором
В каждом отобранном семействе
i∈ S применяется процедура, обеспечивающая контроль E (C)
E (Ci |i ∈ S ) ≤ q, i = 1, . . . , m
Контроль в среднем по отобранным
семействам:
P
i∈S Ci
E
≤q
max (|S|, 1)
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Контроль в среднем по отобранным семействам
E (CS ) = E
E (C)
F DR = E (F DP )
Ci
max (|S|, 1)
i∈S
E (CS )
F W ER
P (V ≥ 1)
E I{V ≥1}
P
E
P
E
I{V ≥1}
max (|S|, 1)
i∈S
P
i∈S F DPi
max (|S|, 1)
Рябенко Евгений
E
] семейств с V ≥ 1
] отобранных семейств
Ожидаемое среднее значение
F DP по отобранным семействам
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Проблема
Проверка с отбором не обеспечивает контроль в среднем:
рассмотрим m семейств по n верных гипотез;
семейство отбирается, если pi в нём меньше 0.05;
каждое отобранное семейство проверяется с поправкой Бонферрони
на уровне α = 0.05;
E (C) = F W ER.
m
20
100
100
100
n
100
20
10
2
E (] отобранных/m)
0.99
0.64
0.40
0.10
Рябенко Евгений
E (CS )
0.049
0.076
0.122
0.506
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Исправленная процедура проверки с отбором
На первом этапе к множеству достигаемых уровней значимости P
применяется правило отбора S; S(P ) — множество отобранных
семейств.
На втором этапе в каждом отобранном семействе сделать раздельную
проверку, применяя E(C)-контролирующую процедуру на уровне
q|S(P )|/m.
Контроль на уровне семейств
Контроль внутри каждого семейства
Контроль в среднем по отобранным семействам
Глобальный контроль
Рябенко Евгений
Нет
Да
Да
Нет
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Исправленная процедура проверки с отбором
Требования.
Правило отбора семейств должно быть простым: для каждого
отбираемого семейства i при фиксированных достигаемых уровнях
значимости всех гипотез все семейства и любом распределении
достигаемых уровней значимости внутри семейства, при котором
i ∈ S(P ), число отобранных семейств не меняется.
Ограничения на структуру зависимости достигаемых уровней
значимости.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Иерархическая процедура проверки гипотез
Чтобы добавить контроль на уровне семейств, отбор нужно тоже
проводить в соответствии с какой-либо процедурой множественной
проверки гипотез.
Каждому семейству поставить в соответствие его полную нулевую
гипотезу.
Скомбинировать пи-величины внутри каждого семейства, получить
пи-величины для проверки полных нулевых гипотез.
Выбрать и применить процедуру множественной проверки,
контролирующую желаемую меру ошибки с учётом зависимости
между пи-величинами полных нулевых гипотез.
Отобрать семейства, для которых полная нулевая гипотеза была
отвергнута.
Сделать раздельную проверку, применяя E(C)-контролирующую
процедуру на уровне q|S(P )|/m.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Иерархическая процедура проверки гипотез
Контроль на уровне семейств
Контроль внутри каждого семейства
Контроль в среднем по отобранным семействам
Глобальный контроль
Да
Да
Да
Нет
Все одношаговые, нисходящие и восходящие методы контроля подходящих
мер ошибок — простые.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез
Множественная проверка гипотез
1
2
3
4
Проверка гипотез на поверхностях
Иерархическая проверка гипотез
Выводы
Раздельная проверка гипотез на семействах не обеспечивает
глобальный контроль над мерой ошибки.
При раздельной проверке гипотез только на предварительно
отобранных семействах, не обеспечивается даже контроль в среднем.
Необходимо самостоятельно выбирать, какие виды контроля
необходимы для интерпретации результатов.
Иерархическая процедура проверки может позволить увеличить
мощность.
Рябенко Евгений
Иерархическая процедура множественной проверки гипотез