Рыков В.В., Иткин В.Ю. Математическая статистика и планирование эксперимента

Подождите немного. Документ загружается.

Глава 2 Точечное оценивание параметров 50

Согласно определению (4.4) оценка, на которой в неравенстве

Рао-Крамера (5.5) достигается равенство, является эффективной.

5.3 Эффективные оценки

Рассмотрим некоторые свойства эффективных оценок:

(a) Эффективная оценка, как НОМД, единственна.

(b) Может существовать не эффективная НОМД. Тогда в неравен-

стве Рао-Крамера имеет место строгое неравенство.

нение условия

T (x) = τ(θ) + b(θ)

∂ ln p(x; θ)

∂θ

, где (5.9)

b(θ) - некоторая функция от параметра.

Справедливо и обратное утверждение: для эффективности оценки

достаточно, чтобы она могла быть представлена в виде (5.9)

Теорема 5.3. Необходимым и достаточным условием эффектив-

ности несмещенной оценки T (X) функции τ (θ) от параметра θ яв-

ляется выполнение соотношения (5.9). При этом

T (X) =

[τ

(θ)]

∂ ln p(x;θ)

∂θ

= b(θ)τ

(θ). (5.10)

Доказательство. Действительно, согласно (5.2)

(θ) =

[T (X) − τ(θ)]

∂ ln p(x; θ)

∂θ

p(x; θ) dx =

= k(θ)

[T (X) − τ(θ)]

p(x; θ) dx = k(θ)D

T (X),

где b(θ) = k

−1

(θ), что доказывает утверждение теоремы.

Глава 2 Точечное оценивание параметров 51

Пример 5.1. Рассмотрим оценку неизвестного математического

ожидания нормально распределенной с.в., т.е. статистическую мо-

дель (X, P

), где X = R и P

= N(θ, σ

). В этом случае

p(x; θ) =



√

2πσ



· exp{−

2σ

1≤i≤n

− θ)

}

∂ ln p(x; θ)

∂θ

1≤i≤n

− θ)} =

(¯x − θ).

Таким образом, для τ(θ) = θ статистика ¯x является эффективной

оценкой параметра θ, т.к. имеет место представление (5.6).

Пример 5.2. Рассмотрим оценку параметра θ распределения Коши,

плотность которого равна

p(x; θ) =

π(1 + (x − θ)

)

, −∞ < x < ∞.

Имеем

p(x; θ) =

1≤i≤n

(1 + (x

− θ)

)

, −∞ < x < ∞.

∂ ln p(x; θ)

∂θ

= 2

1≤i≤n

− θ

1 + (x

− θ)

Эффективной оценки параметра θ не существует, т.к. правая часть

последнего равенства не представима в виде (5.6).

5.4 Дополнения

Вопросы для контроля

1. Дайте определение НОМД и сформулируйте теорему о ее един-

ственности.

2. Сформулируйте условия, при которых выполняется неравенство

Рао-Крамера.

3. Дайте определение эффективной оценки и сформулируйте необ-

ходимое и достаточное условие эффективности оценки.

Глава 2 Точечное оценивание параметров 52

Упражнения

1. Найти эффективную оценку неизвестной дисперсии нормальн о-

го распределения при известном м.о., т.е. рассмотреть статистиче-

скую м одель (X, P

), где X = R и P

= N(µ, θ).

2. Найти эффективные оценки параметров в модели (X, P

), где

X = R и P

= N(θ

, θ

3. Найти эффективную оценку не извес тного параметра пуассо-

новского распределения, т.е. рассмотреть статистическую модель

(X, P), где X = {0, 1, 2, . . . }, а P задается семейством распределе-

ний p(x; θ) =

−θ

§ 6 Достаточные статистики

6.1 Определение. Примеры

При практиче ской работе со статистическими данными большого

объема очень важно уметь сжато представить содержащуюся в этих

данных информацию. Это важно для сбора, хранения, передачи и пе-

реработки информации, содержащейся в этих данных. Важно отда-

вать себе отчет в том, что правильное представление статистической

информации в сжатой форме зависит от решаемой задачи. Прим ени -

тельно к задаче оценки параметров проблема сжатого представления

статистических данных решается с помощью понятия достаточной

статистики.

Определение 6.1. Статистика T = T (x), (T = (T

, . . . , T

)), x =

, . . . , x

) называется достаточной для семейства P = {P

} (пара-

метра θ), если условное распределение выборки x = (x

, . . . , x

) при

условии T (x) = t не завис ит от члена семейства P = {P

} (параметра

θ), т.е. если

p(x; θ|T (x) = t) = f(x, t). (6.1)

Пример 6.1. В задаче оценки параметров нормального распреде-

Глава 2 Точечное оценивание параметров 53

ления X ∈ N (θ

, θ

) им ее м

= ¯x =

1≤i≤n

= T

(

1≤i≤n

n − 1

1≤i≤n

− ¯x)

n − 1





1≤i≤n

− n¯x





= T





1≤i≤n





В качестве упражнения предлагается проверить, что функции

1≤i≤n

являются достаточными статистиками.

Для решения той или иной статистической задачи достаточ-

но помнить лишь значения достаточных статистик или некоторых

функций от выборки (а не всю выборку), чтобы найти не худшее

решение этой задачи.

6.2 Необходимое и достаточное условие достаточности

статистики

Теорема 6.1 (Неймана-Фишера). Для того чтобы статистика

T (x) была д остаточной для семейства распределений P = {P

} (па-

раметра θ) необходимо и достаточно выполнения условия

p(x; θ) = g(T (x); θ) · h(x). (6.2)

где p(x; θ) – распределение (плотность распределения), отвечающее

семейству мер P = {P

Доказательство. Доказательство проведем для случая дискретной

статистической модели (X – дискретное множество).

Достаточность. Пусть имеет место (6.2). Рассмотрим

{X = x|T (x) = t} =

{X = x, T (x) = t}

{T (x) = t}

g(T (x); θ) · h(x)

g(T (x); θ) ·

x:T (x)=t

h(x)

= f(x, t),

Глава 2 Точечное оценивание параметров 54

откуда следует достаточность условия.

Необходимость. Для x : T (x) = t имеем в соответствии с (6.1)

p(x; θ) = P

{X = x} = P

{X = x, T (x) = t} =

= P

{X = x|T (x) = t} · P

{T (x) = t},

т.е. выполняется соотношение (6.2), где P

{T (x) = t} = g(T (x); θ), а

первый сомножитель в силу (6.1) не зависит от θ.

Замечание. В случае абсолютно непрерывного распределения с

плотностью p(x, θ) доказательство теоремы аналогично и лишь со-

провождается некоторыми техническими сложностями.

Следствие. Всякая эффективная оценка - достаточна.

Доказательство. Действительно, если T (x) - эффективна, то

∂ ln p(x; θ)

∂θ

= k(θ)[T (x) − τ (θ)]

и, следовательно, распределение p(x; θ) зависит от выборки x только

через статистику T (x).

6.3 Теорема Блекуэлла-Колмогорова

Теорема 6.2 (Блекуэлла-Колмогорова). Пусть T

(x) – достаточ-

ная статистика для τ(θ), и T

(x) – НОМД для τ (θ). Тогда T

(x) =

f(T

(x)) с вероятностью 1.

Доказательство. Обозначим M

(x)|T

(x) = y] = f (y), и по-

кажем, что T

(x) = f(T

(x)). Действительно, пусть F

(y; θ) =

(x) ≤ y} – ф.р. с.в. T

(x), тогда

τ(θ) = M

(x) =

(x)|T

(x) = y] dF

(y; θ) =

f(y)dF

(y; θ) = M

f(T

(x)),

т.е. f (T

(x)) – несм еще нная оценка для τ (θ).

Глава 2 Точечное оценивание параметров 55

По неравенству Иенсена, Mφ(X) ≥ φ(M[X]) (см. упражнение 5)

для выпуклой вниз функции φ(x) = (x − a)

имеем



(x) − τ (θ))

(x)



≥



(x) − τ (θ))

(x)



= (f(T

(x)) − τ (θ))

Откуда

(x) = M



(x) − τ (θ))



(x) − τ (θ)|T

(x) = y]

(y; θ) ≥

≥

[f(y) − τ (θ)]

|dF

(y; θ) = D

f(T

(x)).

Но т.к. T

(x) – НОМД для τ(θ), и, стало быть, единственна (теорема

5.1), то D

f(T

(x)) = D

(x) и T

(x) = f (T

(x)) с вероятностью 1.

6.4 Дополнения

Вопросы для контроля

1. Дайте опр еде лен ие достаточной статистики.

2. Сформулируйте необходи мое и достаточное условие достаточно-

сти статистики.

3. Сформулируйте теорему Блекуэлла-Колмогорова.

Упражнения

1. Пусть x = (x

, . . . , x

) ПСВ из генеральной совокупности с нор-

мальным распределением N(θ, 1). Пользуясь определением или с по-

мощью необходимого и достаточного условия показать, ч то статисти-

ка T (x) = ¯x =

1≤i≤n

достаточна для θ.

2. Пусть x = (x

, . . . , x

) ПСВ из генеральной совокупности с нор-

мальным распределен ием N (θ

, θ

). Показать, что векторная ста-

тистика T = (T

, T

), T

(x) = ¯x =

1≤i≤n

, T

(x) = S

n−1

1≤i≤n

− ¯x)

достаточна для θ = (θ

, θ

Глава 2 Точечное оценивание параметров 56

3. Достаточная с татистика называется полной, если для любой из-

меримой функции f(x) из M

f(T (x)) = 0 следует, что f(x) = 0 с

вероятностью 1. Показать, что любая функция от полной достаточ-

ной статистики является НОМД для своего м.о.

Указание: пусть T (x) – полная достаточная статистика, t =

f(T (x)), M

t = τ. Рассмотреть

t(x) = E

(t − τ )

= M

− 2τ M

t + τ

= M

− τ

4. Пусть x = (x

, . . . , x

) ПСВ из генеральной совокупности с

равномерным на [0, θ] распределением. Показать, что статистика

T (x) = max

1≤i≤n

достаточна для θ.

5. Для выпуклой функции φ(x) и с.в. X таких, что Mφ(X) < ∞

докажите неравенство Иенсена:

Mφ(X) ≥ φ(MX)

Указание. Для двузначной с.в. X : P{X = a} = p, P{X = b} = 1 −p

это неравенство совпадает с определение выпуклой функции. Для

дискретных с.в. может быть получено индукцией. Для непрерыв-

ных — с помощью представления измеримых функций как предел

ступенчатых.

Глава 2 Точечное оценивание параметров 57

§ 7 Метод максимального правдоподобия

7.1 Пример

Рассмотрим задачу оценки неизвестной вероятности в схеме Бер-

нулли. Что можно сказать, если в n испытаниях k раз наблюдалось

событие A? Е сли ν

(A) –сл учайное чис ло появлений события A, то

{ν

(A) = k} =





(1 − p)

n−k

= b

(n, p).

Естественно предположить, что истинное значение параметра p

таково, которое обеспечивает максимум вер оятности события, кото-

рое мы наблюдали

(n, p) → max .

Тогда решая уравнение

∂b

(n, p)

∂p





k−1

(1 − p)

n−k

−





(n − k)(1 − p)

n−k−1

= 0

или

k(1 − p) = (n − k)p,

найдем, что ˆp =

= h

; эта оценка, как мы знаем, является несме-

щенной, состоятельной и эффективной, т.е. “хорошей” во всех смыс-

лах. Приведенные рассуждения лежит в основе общего метода мак-

симального правдоподобия (ММП) оценивания параметров.

7.2 Определения

Одним из общих приемов получения оценок , обладающих, по

крайней мере асимптотически, хорошими свойствами, является

предложенный в 1921г. Р.А. Фишером метод максимального прав-

доподобия.

Определение 7.1. Совместное распределение (плотность распреде-

ления) p(x) выборки x = (x

, . . . , x

), рассматриваемое как функция

неизвестного параметра θ = (θ

, . . . , θ

), называется функцией прав-

доподобия (ф.п.).

Глава 2 Точечное оценивание параметров 58

Чтобы подчеркнуть, что функция правдоподобия рассматрива-

ется как функция параметра будем обозначать ее буквой L: L =

L(θ; x) = p(x; θ)

Определение 7.2. Оценка

θ = (

, . . . ,

), на которой функция

правдоподобия достигает своего абсолютного максимума, н азывает-

ся оценкой максимального правдоподобия (ОМП).

Другими словами ОМП определяется из условия

θ(x); x) = sup

θ∈Θ

L(θ; x), (7.1)

или

θ(x); x) ≥ L(θ; x) для всех θ ∈ Θ и x ∈ X

. (7.2)

В случае, когда θ ∈ Θ ⊂ R

, а ФП дважды непрерывно диффе-

ренцируема ОМП определяется условиями

(a)

∂L(θ; x)

∂θ

= 0, (b)

∂

L(θ; x)

(∂θ)

< 0. (7.3)

Первое из этих условий выделяет все внутренние стационарные точ-

ки, второе является необходимым условием максимума.

Укажем некоторые простые свойства ОМП.

7.3 Свойства ОМП

Лемма 7.1. Если существует эффективная оценка скалярной (не

векторной) функции τ (θ) от параметра θ, то она может быть

найдена методом максимального правдоподобия.

Доказательство. Действительно, если существует эффективная

оценка T , то справедливо представление

∂ ln L

∂θ

= k(θ)(T (x) − τ (θ)), (7.4)

откуда видно, что решением уравнения правдоподобия (17.3) явля-

ется оценка ˆτ(θ) = T (x).

Глава 2 Точечное оценивание параметров 59

Лемма 7.2. ОМП является функцией от достаточной статисти-

ки, если последняя существует.

Доказательство. В этом случае, как следует из (6.2), ФП предста-

вима в вид е

L(θ; x) = g(T (x); θ) · h(x)

и, с тало быть, уравнение правдоподобия

∂ ln L

∂θ

∂ ln g(T (x; θ)

∂θ

= 0

приводит к оценке

θ =

θ(x) =

θ(T(x)).

Замечание. Как будет видно в дальнейшем в теоретических по-

строениях, а также, как будет видно в дальнейшем, и для практи-

ческих нужд для определения ОМП целесообразнее пользоваться не

ф.п. L а ее логарифмом, который будем обозначать l = l(θ; x) =

ln L(θ; x). В силу монотонности функции y = ln x точки максиму-

ма функций L и l совпадают, что приводит к определению ОМП из

уравнений

∂l(θ; x)

∂θ

∂L(θ; x)

∂θ

= 0,

∂

l(θ; x)

(∂θ)

∂

L(θ; x)

(∂θ)

< 0, (7.5)

первое из которых выделяет все стационарные точки функц ии l, а

второе является необходимым условием максимума.

В дальнейшем именно эти уравнения будем называть уравнения-

ми правдоподобия.

Рассмотрим другие существенные свойства ОМП.

7.4 Состоятельность ОМП

Приведем, следуя [12] (стр. 644), эвристические рассуждения, по-

казывающие состоятельность ОМП. По определению ОМП для лю-

бых θ ∈ Θ, в том числе для θ = θ

, где θ

- истинное (хотя и неиз-

вестное) значение параметра θ, имеем

θ(x), x) ≥ L(θ(x), x) θ ∈ Θ. (7.6)