Крупкина Т.В. Математическая статистика
Подождите немного. Документ загружается.
– вероятность совершения ошибки первого рода и
β = P (X ∈ V /θ
1
) = 1 − P (X ∈ V/θ
1
) = 1 − W (V, θ
1
) (105)
– вероятность совершения ошибки второго рода. Таким образом,
W (V, θ) =
α, θ = θ
0
,
1 − β, θ = θ
1
.
Величину 1 − β будем называть мощностью критерия K
V
и обозна-
чать M(K
V
) или просто M(K). Тогда
W (V, θ) =
(
α, θ = θ
0
,
M(K), θ = θ
1
.
Замечание 12.1. Понятие мощности критерия введено для случая
простых H
0
, H
1
; существенно, что множество Θ
1
состоит из един-
ственной точки θ
1
.
12.5. Контрольные вопросы
1. Дайте определение статистической гипотезы.
2. Приведите примеры статистических гипотез.
3. Что такое нулевая и альтернативная гипотезы?
4. Что такое простая и сложная гипотезы?
5. Приведите примеры простых и сложных гипотез.
6. Что выражает уровень значимости при проверке гипотезы?
7. Что выражает доверительная вероятность?
8. Дайте определение ошибки первого рода.
9. Как связаны уровень значимости и вероятность ошибки первого
рода?
10. Дайте определение ошибки второго рода.
11. Можно ли неограниченно уменьшать вероятность ошибки пер-
вого рода?
111
12. Можно ли неограниченно уменьшать вероятность ошибки вто-
рого рода?
13. Дайте определение мощности критерия.
14. Как связаны мощность критерия и вероятность ошибки второ-
го рода?
15. Сформулируйте гипотезу о виде распределения.
16. Сформулируйте гипотезу однородности.
17. Сформулируйте гипотезу независимости.
18. Сформулируйте гипотезу случайности.
19. Какие гипотезы называются параметрическими?
20. Приведите примеры параметрических гипотез.
112
Лекция 13. Подходы к сравнению критериев
Следующее замечательное утверждение, по недоразумению называемое леммой,
заявляет, что оптимальные во всех трех смыслах (минимаксные, байесовские,
наиболее мощные) критерии могут быть построены в самом общем случае
простым выбором различных констант в одном и том же критерии
– критерии отношения правдоподобия.
Н. И. Чернова
План лекции: сравнение мощности критериев, критерий Нейма-
на – Пирсона, состоятельность критерия, рандомизированные
критерии, байесовские и минимаксные критерии, лемма Нейма-
на – Пирсона.
13.1. Сравнение мощности критериев
Желательно выбрать критерий так, чтобы вероятности всех ошибок
были по возможности малы
33
(речь идет об ошибках первого и второго рода
в случае двух гипотез, ошибках i-го рода в общем случае). Напомним, что
ошибка i-го рода состоит в отвержении критерием гипотезы H
i
в то время
как она верна. Ошибки i-го рода связаны между собой: при попытке умень-
шить одну из ошибок критерия другие обычно (но не обязательно) увели-
чиваются. На множестве всех критериев для проверки гипотез H
1
, . . . , H
k
можно ввести частичный порядок следующим образом.
Определение 13.1. Критерий K
1
мощнее критерия K
2
, если для
всех i = 1, . . . , k вероятности ошибок α
i
(K
1
) 6 α
i
(K
2
) и хотя бы для
одного i имеет место строгое неравенство.
Данное понятие легко распространить на случай нескольких критери-
ев.
Определение 13.2. Пусть значения всех ошибок, кроме одной (i-й),
зафиксированы и все критерии, имеющие данные ошибки, образуют
класс S. Критерий K называется наиболее мощным критерием
(н.м.к.) в классе S, если α
i
(K) 6 α
i
(K
0
) ∀K
0
∈ S.
Для ясности далее будем рассматривать две простые гипотезы. В этом
случае определение означает, что лучше тот критерий, у которого хотя бы
одна из ошибок строго меньше, а вторая не больше соответствующих оши-
бок другого критерия. Однако не любые критерии сравнимы в этом смыс-
ле, например, типичной является ситуация: α
1
(K
1
) 6 α
1
(K
2
), но α
2
(K
1
) >
33
Употребляется также выражение «малая ошибка», имеющее смысл «ошибка, имеющая малую вероят-
ность».
113
α
2
(K
2
). Один из подходов к решению этой проблемы – зафиксировать одну
из ошибок и минимизировать вторую.
Что для нас критичнее: совершить ошибку первого или второго ро-
да? Вспомним пример 12.4, что опаснее, забраковать годное (ошибка пер-
вого рода), или пропустить негодное (ошибка второго рода)? Обычно (но не
всегда) для практики важнее не совершить ошибку второго рода. Поэтому
поступают таким образом: фиксируют ошибку первого рода на достаточно
низком безопасном уровне и выбирают критическую область V так, чтобы
ошибка второго рода была бы минимальна (что соответствует наибольшей
вероятности отклонения гипотезы H
0
, когда она неверна), то есть была бы
максимальна функция мощности критерия при H
1
.
В случае, когда альтернативная гипотеза H
1
простая, наилучшим бу-
дет критерий, который имеет наибольшую мощность среди всех других кри-
териев с заданным уровнем значимости α. Если альтернативная гипотеза H
1
сложная, то мощность критерия будет функцией, определенной на классе
простых альтернатив, составляющих H
1
.
Определение 13.3. Равномерно наиболее мощным критерием
(р.н.м.к.) размера α называется статистический критерий с за-
данным размером (уровнем значимости) α для проверки сложной
гипотезы H
0
против сложной альтернативы H
1
, мощность которо-
го не меньше мощности любого другого статистического критерия,
предназначенного для проверки H
0
против H
1
и имеющего тот же
размер α.
Таким образом, р.н.м.к. – это критерий, имеющий наибольшую мощность
при каждой альтернативной гипотезе из класса H
1
.
Такой критерий не обязательно существует и не обязательно един-
ствен.
Наиболее мощные критерии существуют в случае двух простых гипо-
тез
34
.
Определение 13.4. В случае двух простых гипотез наилучшей кри-
тической областью (НКО) называется область V , которая при за-
данном уровне значимости α обеспечивает min β – ошибки второго
рода.
Таким образом, НКО – критическая область, обеспечивающая мак-
симальную мощность, и критерий, использующий НКО, является наиболее
мощным критерием (н.м.к.).
34
В случае когда альтернативная гипотеза простая, вместо термина р. н. м. к. используют термин «наиболее
мощный критерий» (н.м.к.).
114
НКО можно найти с помощью следующей теоремы.
13.2. Критерий Неймана – Пирсона
Теорема 13.1 (критерий Неймана – Пирсона). Пусть F
θ
i
абсолютно
непрерывны и f
θ
i
> 0, i = 1, 2; H
0
: θ = θ
0
, H
1
: θ = θ
1
. Тогда НКО за-
данного уровня значимости α состоит из точек выборочного про-
странства, удовлетворяющих неравенству
L(x, θ
1
)
L(x, θ
0
)
> c
α
, (106)
где c
α
– константа, зависящая от α, L – функция правдоподобия.
Доказательство. Пусть V – критическая область, удовлетворяющая
(106), то есть
V =
x :
L(x, θ
1
)
L(x, θ
0
)
> c
α
,
и пусть V
1
– некоторая другая критическая область того же уровня значи-
мости α.
Рассмотрим
W (V
1
, θ
1
) = P (X ∈ V
1
/θ
1
) =
Z
V
1
L(x, θ
1
) dx =
=
Z
V
1
V
L(x, θ
1
) dx +
Z
V
1
V
L(x, θ
1
) dx.
Теперь найдем W (V, θ
1
):
W (V, θ
1
) = P (X ∈ V/θ
1
) =
Z
V
L(x, θ
1
) dx =
=
Z
V
1
V
L(x, θ
1
) dx +
Z
V V
1
L(x, θ
1
) dx.
Выразим одну функцию мощности через другую:
W (V
1
, θ
1
) = W (V, θ
1
) +
Z
V
1
V
L(x, θ
1
) dx −
Z
V V
1
L(x, θ
1
) dx.
115
По условию точки области V удовлетворяют условию
L(x, θ
1
) > c
α
L(x, θ
0
).
Значит, это верно и для подмножества V области V V
1
. Соответственно, точ-
ки области V ( в частности, точки V
1
V ) удовлетворяют противоположному
условию:
L(x, θ
1
) < c
α
L(x, θ
0
).
Таким образом,
−L(x, θ
1
) 6 −c
α
L(x, θ
0
), x ∈ V V
1
,
L(x, θ
1
) < c
α
L(x, θ
0
), x ∈ V
1
V .
Тогда
W (V
1
, θ
1
) 6 W (V, θ
1
) + c
α
Z
V
1
V
L(x, θ
0
) dx − c
α
Z
V V
1
L(x, θ
0
) dx =
= W (V, θ
1
) + c
α
Z
V
1
V
L(x, θ
0
) dx −
Z
V V
1
L(x, θ
0
) dx
. (107)
Рассмотрим теперь два последних интеграла:
Z
V
1
V
L(x, θ
0
) dx =
Z
V
1
L(x, θ
0
) dx −
Z
V
1
V
L(x, θ
0
) dx,
Z
V V
1
L(x, θ
0
) dx =
Z
V
L(x, θ
0
) dx −
Z
V
1
V
L(x, θ
0
) dx.
Подставим в (107):
W (V
1
, θ
1
) 6 W (V, θ
1
) + c
α
Z
V
1
L(x, θ
0
) dx −
Z
V
L(x, θ
0
) dx
.
Но
Z
V
1
L(x, θ
0
) dx −
Z
V
L(x, θ
0
) dx = α,
так как это вероятность совершения ошибки первого рода, см. (104). Окон-
чательно получаем
W (V
1
, θ
1
) 6 W (V, θ
1
),
то есть критическая область V , заданная неравенством (106), обеспечива-
ет максимальную мощность, или, что то же, минимальную ошибку второго
рода. Следовательно, V – наилучшая критическая область (НКО).
116
Определение 13.5. Построенный критерий вида
H
d
(X) =
(
H
0
,
L(x,θ
1
)
L(x,θ
0
)
< c,
H
1
,
L(x,θ
1
)
L(x,θ
0
)
> c
(108)
называется критерием отношения правдоподобия (КОП) или кри-
терием Неймана – Пирсона.
Смысл критерия вполне прозрачен: действительно, функция правдоподобия
выражает вероятность получения данной выборки. В случае, когда L(x, θ
1
)
больше L(x, θ
0
), альтернативная гипотеза более вероятна. По критерию мы
должны принимать H
1
, если L(x, θ
1
) больше L(x, θ
0
) в c «раз», причем c
находится по заданному уровню значимости. Наилучшая критическая об-
ласть, получаемая в результате решения неравенства (106), обычно имеет
вид
V = {x : T (x) 6 C}, или {x : T (x) > C}, или {x : |T (x)| > C},
где C – критическое значение статистики T(x) (берется из таблиц распре-
деления).
Пример 13.1. hN(θ, σ)i. H
0
: θ = a
0
, H
1
: a = a
1
, a
1
> a
0
. Найти НКО.
J
L(x, θ
1
)
L(x, θ
0
)
=
1
(σ
√
2π)
n
e
−
P
n
i=1
(x
i
−a
1
)
2
2σ
2
1
(σ
√
2π)
n
e
−
P
n
i=1
(x
i
−a
0
)
2
2σ
2
= e
−
1
2σ
2
(na
2
1
−na
2
0
−2(a
1
−a
0
)
P
x
i
)
> c
α
.
−
1
2σ
2
(na
2
1
− na
2
0
− 2(a
1
− a
0
)
X
x
i
> ln c
α
.
Выразим член, содержащий статистику (функцию от x), и переобозначим
для простоты константу:
−2(a
1
− a
0
)
X
x
i
6 b.
a
1
> a
0
, поэтому
X
x
i
> d
(где d – новая константа). Таким образом, мы нашли статистику
T (x) =
X
x
i
и форму НКО:
V = {x :
X
x
i
> d}. (109)
117
Чтобы найти границу критической области, перейдем к стандартной стати-
стике (то есть к статистике, которая зависит от T (x) =
P
x
i
и распределе-
ние которой нам известно). Такой статистикой является
Z =
X − a
0
σ
√
n.
Ранее было показано, что Z ∈ N(0, 1). Неравенство
P
x
i
> d равносильно
неравенству Z > u, где u – новая константа. Поэтому НКО, заданная через
Z, будет иметь форму
V = {x : Z > u}.
По заданному α из соотношения α = P (Z ∈ V/a
0
) = P (Z > u) найдем u:
P (Z > u) = 1 − F
Z
(u) = 1 − Φ(u) = α,
следовательно,
Φ(u) = 1 − α, u = u
1−α
,
а НКО:
X − a
0
σ
√
n > u
1−α
.
I
Пример 13.2. В условиях предыдущего примера найти мощность
критерия.
J В предыдущем примере была найдена НКО для проверки гипотез H
0
:
a = a
0
, H
1
: a = a
1
, a
1
> a
0
в нормальной модели hN(θ, σ)i:
X − a
0
σ
√
n > u
1−α
.
По определению, мощность критерия M(K) равна 1 − β, где
β = P (T (x) ∈ V /θ
1
) = 1 − P (T (x) ∈ V/θ
1
).
Тогда
M(K) = P (T (x) ∈ V/θ
1
).
Статистика T (x) в данном случае равна
X−a
0
σ
√
n, θ
1
= a
1
, а критическая
область V = [u
1−α
, ∞). Таким образом,
M(K) = P
a
1
X − a
0
σ
√
n > u
1−α
.
118
(P
a
1
означает, что вероятность рассчитывается на основе модели N(a
1
, σ).)
M(K) = P
a
1
X − a
0
σ
√
n > u
1−α
= P
a
1
X >
σu
1−α
√
n
+ a
0
=
= 1 − P
a
1
X <
σu
1−α
√
n
+ a
0
.
Вспомним, что в N(a
1
, σ) X имеет распределение N(a
1
,
σ
√
n
). Тогда
P
a
1
X <
σu
1−α
√
n
+ a
0
= F
X
σu
1−α
√
n
+ a
0
= Φ
σu
1−α
√
n
+ a
0
− a
1
σ
√
n
!
и
M(K) = 1 − Φ
σu
1−α
√
n
+ a
0
− a
1
σ
√
n
!
.
Можно слегка преобразовать последнее выражение, используя свойство
Φ(x): Φ(−x) = 1 − Φ(x), и свойство квантилей стандартного нормально-
го распределения: u
α
= −u
1−α
. Окончательно получим
M(K) = Φ
u
α
+
(a
1
− a
0
)
√
n
σ
.
I
Пример 13.3. В условиях предыдущего примера найти мощность
критерия H
0
: a = 1, H
1
: a = 2, в нормальной модели hN(θ, 2)i по
выборке объема n = 100 при уровне значимости α = 0, 05.
J
M(K) = Φ
u
0,05
+
(2 − 1)
√
100
2
!
.
Из таблиц находим (или вспоминаем), что u
0,05
= −1, 64.
M(K) = Φ
−1, 64 +
(2 − 1)
√
100
2
!
= Φ(3, 36) = 0, 999610288.
Как видим, мощность данного критерия (то есть его способность правильно
отвергнуть гипотезу) практически равна 1.I
Замечание 13.1. Критерий Неймана – Пирсона применим и к про-
стым гипотезам о виде распределения.
119
13.3. Состоятельность критерия
Важным желательным свойством критерия является увеличение его
мощности при возрастании объема выборки. Пусть имеется выборка X =
(X
1
, . . . , X
n
), X
i
∈ F и проверяется простая основная гипотеза H
0
против
сложной альтернативы H
1
.
Любой критерий для различения этих гипотез K имеет вполне опре-
деленную ошибку 1-го рода α(K) = P (H
d
6= H
0
/H
0
) = P
F
0
(H
d
6= H
0
). Но
ошибка 2-го рода может быть вычислена только если известно конкретное
распределение выборки (одна из альтернатив).
Будем рассматривать ошибку второго рода как функцию от H
1
:
β
H
1
(K) = P
H
1
(K = H
0
).
Сначала зафиксируем H
1
.
Определение 13.6. Критерий K для проверки гипотезы H
0
против
простой альтернативы H
1
называется состоятельным, если
β(K) = P
H
1
(H
d
(X) = H
0
) → 0 при n → ∞.
Эквивалентная формулировка этого определения в терминах мощности
M(K):
критерий K для проверки гипотезы H
0
против простой альтернативы
H
1
называется состоятельным, если
M(K) = P
H
1
(H
d
(X) = H
1
) → 1 при n → ∞.
Теперь представим сложную альтернативу как объединение простых аль-
тернатив H
1
6= H
0
по всем возможным H
1
.
Определение 13.7. Критерий K для проверки гипотезы H
0
против
сложной альтернативы H
1
называется состоятельным, если для
любой простой альтернативы H
1
β
H
1
(K) = P
H
1
(H
d
(X) = H
0
) → 0 при n → ∞.
Пример 13.4. В условиях примеров 13.1–13.3 проверить состоятель-
ность критерия.
J В примерах рассматривается критерий со статистикой
Z =
X − a
0
σ
√
n,
120