Крупкина Т.В. Математическая статистика

Подождите немного. Документ загружается.

= C

Γ(α + β)

Γ(α)Γ(β)

X+α−1

(1 − p)

N−X+β−1

Одномерная плотность X равна

(x) =

X,p

dp = C

Γ(α + β)

Γ(α)Γ(β)

Γ(α + X)Γ(N − X + β)

Γ(N + α + β)

это бета-биномиальное распределение. Найдем условную плотность p/X:

p/X

X,p

Γ(N + α + β)

Γ(X + α)Γ(N − X + β)

X+α−1

(1 − p)

N−X+β−1

Это бета-распределение B(X + α, N − X + β). Байесовская оценка

ˆp равна математическому ожиданию E(p/X). Вспомним, что для бета-

распределения математическое ожидание равно отношению первого пара-

метра к их сумме и получим

ˆp =

X + α

α + β + N

Заметим, что математическое ожидание априорного распределения, то есть

априорная оценка до наблюдений, равна

α+β

, а оценка по наблюдению, иг-

норирующая априорное распределение, равна

. Байесовская оценка на-

ходится между ними. I

Определение 6.8. Минимаксной оценкой параметра θ называется

оценка

∗

, если для любой оценки

θ справедливо

sup

θ∈Θ

∗

) 6 sup

θ∈Θ

θ). (67)

При минимаксном оценивании добиваются наилучшего результата в наи-

худшем случае; поэтому минимаксная оценка будет байесовской при наи-

худшем априорном распределении (доставляющем самые большие средние

потери).

6.6. Контрольные вопросы

1. Дайте определение оптимальной оценки.

2. Дайте определение эффективной оценки.

3. Какова связь между эффективностью и оптимальностью?

4. Введите определение асимптотически эффективной оценки.

5. Каким образом можно выяснить, является ли оценка эффектив-

ной?

6. В любой ли модели существует эффективная оценка?

7. Каковы особенности регулярной статистической модели?

8. Является ли регулярной нормальная модель?

9. Существует ли эффективная оценка в равномерной модели

R[0, θ]?

10. В любой ли регулярной модели существует эффективная оцен-

ка?

11. Может ли смещенная оценка быть эффективной?

12. Может ли смещенная оценка быть асимптотически эффектив-

ной?

Лекция 7. Методы получения оценок

Дело к тому же минутное, если с умом.

М. Щербаков

План лекции: метод максимального правдоподобия, примеры,

некоторые свойства оценок максимального правдоподобия, ме-

тод моментов, некоторые свойства оценок метода моментов.

7.1. Метод максимального правдоподобия

Метод максимального правдоподобия для получения точечных оценок

был предложен Р. Фишером. Пусть генеральная совокупность определяет-

ся случайной величиной ξ с функцией распределения F (x, θ) и задана вы-

борка (X

, . . . , X

). Суть метода состоит в нахождении такого значения θ

∗

неизвестного параметра θ, при котором вероятность реализации (x

, . . . , x

)

вектора (X

, . . . , X

) была бы максимальна.

Пусть ξ – непрерывная случайная величина с плотностью f(x, θ), где

θ – неизвестный параметр. Тогда

f(x

, . . . , x

, θ) = f(x

, θ) · . . . · f(x

, θ)

– плотность распределения вектора (X

, . . . , X

Определение 7.1. Для непрерывной случайной величины функция

L(x

, . . . , x

, θ) = f(x

, θ) · . . . · f(x

, θ), (68)

рассматриваемая при фиксированных (x

, . . . , x

) как функция пара-

метра θ, называется функцией правдоподобия.

Для дискретной случайной величины закон распределения задается

вероятностями

P (ξ = x

) = p

;

ξ x

. . . x

p p

. . . p

Пусть имеется выборка (x

, . . . , x

). Тогда функция правдоподобия для

дискретной случайной величины определяется в виде

L(x

, . . . , x

, θ) = P (ξ = x

) · . . . · P (ξ = x

). (69)

Определение 7.2. Оценка θ

∗

, обеспечивающая по параметру θ мак-

симум функции правдоподобия, называется оценкой максимального

правдоподобия параметра θ (о.м.п.)

Для дискретной случайной величины это условие означает макси-

мум вероятности получения реализации (x

, . . . , x

) при θ = θ

∗

, а для

непрерывной величины плотность пропорциональна вероятности. Пусть

L(x

, . . . , x

, θ) дифференцируема по θ для любой реализации (x

, . . . , x

)

и достигает максимума по θ во внутренней точке Θ.

∂L

∂θ

= 0

или

∂L

∂θ

= 0, i = 1, . . . , k, (70)

если θ ∈ R

Функции L и ln L достигают максимума при одном и том же значении

θ, поэтому вместо отыскания максимума функции L часто удобнее находить

максимум функции ln L и решать уравнение правдоподобия

∂ ln L

∂θ

= 0. (71)

В результате решения уравнения правдоподобия мы найдем критическую

точку, необходимо еще убедиться, что это точка максимума.

Пример 7.1. Найдем о.м.п. параметра α в распределении Γ

α, β

при из-

вестном β.

L =

i=1

f(x

) =

i=1

Γ(β)

−αx

β−1



Γ(β)



i=1

β−1

· exp

(

−α

i=1

)

ln L = nβ ln α − n ln Γ(β) + (β − 1)

i=1

ln x

− α

i=1

∂ ln L

∂α

nβ

−

i=1

= 0 =⇒ α =

i=1

¯x

∂

ln L

∂α

= −

nβ

< 0 =⇒ α =

¯x

– точка максимума

=⇒ ˆα =

¯x

– о.м.п.

7.2. Примеры

Рассмотрим другие примеры использования метода максимального

правдоподобия.

Пример 7.2 (дискретная модель). Найдем о.м.п. параметра распре-

деления Пуассона.

L =

i=1

) =

−λn

ln L(X, λ) = −λn +

ln λ − ln

!).

Найдем max ln L(X, λ) :

∂ ln L(X, λ)

∂λ

= −n +

= 0.

Получаем

λ =

= ¯x. Очевидно, это точка максимума, так как

∂

ln L

∂λ

< 0 =⇒ ¯x – о.м.п. λ.

Пример 7.3 (двумерный параметр). Пусть величина ξ распределена

по нормальному закону, то есть имеет распределение N

, где θ =

(a, σ). Найдем о.м.п. параметра θ.

Функция правдоподобия для ξ имеет следующий вид:

L(x

, . . . , x

) =

(σ

√

2π)

−

i=1

−a)

2σ

Найдем логарифмическую функцию правдоподобия:

ln L(x, a, σ) = −n(ln σ + 0, 5 ln 2π) −

i=1

− a)

2σ

Найдем частные производные по a и по σ и приравняем их к нулю:

(

∂ ln L(x,a,σ)

∂a

i=1

−a)

= 0,

∂ ln L(x,a,σ)

∂σ

= −

i=1

−a)

= 0.

Из первого уравнения выразим a :

i=1

−a) = 0 ⇒

i=1

−n ·a = 0,

ˆa =

i=1

= ¯x.

Из второго уравнения выразим σ

: nσ

i=1

− a)

i=1

− a)

= S

, bσ = S.

Остается убедиться, что точка (¯x, S

) – точка максимума. Для этого надо

составить матрицу вторых производных

A(a, σ) =

∂

ln L(x,a,σ)

∂a

∂

ln L(x,a,σ)

∂a∂σ

∂

ln L(x,a,σ)

∂σ∂a

∂

ln L(x,a,σ)

∂σ

и проверить отрицательную определенность матрицы A в точке (a, σ) =

(¯x, S). I

Пример 7.4 (нерегулярная модель). Найдем о.м.п. параметра θ =

(a, b) в распределении R[a, b].

L =

i=1

f(x

) =

i=1

b − a

(b − a)

∂ ln L

∂θ

не обращается в 0. Но функция L монотонна по a и по b. Поэтому она

достигает своего наибольшего значения при минимально возможном значе-

нии b и максимально возможном значении a. Таким образом, о.м.п. будут

ˆa = y

min

= x

∗

b = x

max

= x

∗

Следует заметить, что не всегда существует максимум функции L по

параметру и не всегда возможно найти аналитическое решение уравнения

правдоподобия (71).

7.3. Некоторые свойства оценок максимального правдоподобия

1. Cвойство инвариантности. Если оценивается некоторая взаимно од-

нозначная параметрическая функция τ(θ), то ее о.м.п.

τ(θ) = τ (

θ). Это

свойство вполне очевидно, так как точки максимума L, найденные по θ

и по τ (θ), совпадают. Из свойства инвариантности следует, что для на-

хождения о.м.п. можно выбирать наиболее удобную параметризацию,

а о.м.п. получать затем с помощью соответствующих преобразований.

Пример 7.5. Найдем в условиях примера (7.1) о.м.п. α

J По свойству инвариантности

= (bα)



¯x



2. Оценки максимального правдоподобия асимптотически несмещены,

состоятельны и при некоторых дополнительных предположениях о

модели асимптотически нормальны. (Дополнительные предположе-

ния касаются мажорируемости третьей производной f по параметру и

обычно выполняются в регулярных моделях.)

3. Если оценки максимального правдоподобия асимптотически нормаль-

ны, то они и асимптотически эффективны, то есть

θ →

7.4. Метод моментов

Идея метода: выборочные моменты принимают в качестве оценок для

моментов распределения случайной величины ξ, которые суть функции от

неизвестного параметра θ (в общем случае многомерного). Рассмотрим слу-

чайную величину ξ с плотностью f(x, θ) и выборку объема n (x

, . . . , x

). У

случайной величины ξ существуют моменты α

, . . . , α

, которые являются

функциями от θ.

Выборочные моменты a

вычисляют по формуле

i=1

Приравнивая выборочные и теоретические моменты, получаем уравнения

относительно параметра θ. Пусть уравнения однозначно и непрерывно раз-

решимы относительно θ. Решая эти уравнения, получаем оценку

θпараметра

θ. Эта оценка называется оценкой метода моментов и обозначается

о.м.м.

Пример 7.6 (показательное распределение).

J Найдем о.м.м. параметра показательной модели. Плотность распределе-

ния ξ

f(x, a) = λe

−λx

, x > 0,

где λ – неизвестный параметр. Как мы знаем,

= E ξ =

, a

= X.

Приравняем α

(

λ) и a

= X

и получим оценку для λ:

λ =

Пример 7.7 (гамма-распределение).

J В распределении Γ

α, β

E ξ =

, D ξ =

Запишем систему уравнений











ˆα

= X

(ˆα)

= S

Решив эту систему, получим оценки

ˆα =

β =

Пример 7.8 (равномерное распределение).

J Рассмотрим равномерное распределение R[a, b], где a и b – неизвестные

параметры. Можно записать систему, разрешить ее относительно относи-

тельно параметров, а потом вместо теоретических моментов подставить вы-

борочные.

E ξ =

a + b

, D ξ =

(b − a)

a = 2 E ξ − b =⇒ D ξ =

(b − E ξ)

Отсюда b = E ξ + σ

√

3, a = E ξ − σ

√

3. Окончательно:

ˆa = X − s

√

b = X + s

√

Оценки метода моментов не единственны, можно брать различные мо-

менты и получать различные о.м.м.

Пример 7.9 (равномерное распределение R(0, θ)).

JНайдем о.м.м. по математическому ожиданию (первому моменту α

=⇒ a

θ = 2a

, или

θ = 2¯x.

Найдем о.м.м. по k-му моменту α

dx =

k + 1

⇒

θ =

(k + 1)a

7.5. Некоторые свойства оценок метода моментов

Из свойств оценок метода моментов отметим их состоятельность.

Теорема 7.1. Пусть

θ = g(a

, . . . , a

) – оценка параметра θ, получен-

ная по методу моментов, причем функция g

−1

непрерывна. Тогда

состоятельна.

Доказательство. Если

θ = g(a

, . . . , a

), то θ = g(α

, . . . , α

). По

свойству выборочных моментов a

сходятся по вероятности к α

при n →

∞. Тогда и g(a

, . . . , a

)

−→g(α

, . . . , α

) по теореме 2.1 о сходимости по ве-

роятности:

→ ξ

⇒ ϕ(ξ

, . . . , ξ

)

→ ϕ(ξ

, . . . , ξ

то есть

−→θ. 

7.6. Контрольные вопросы

1. Дайте определение функции правдоподобия.

2. Чем отличается функции правдоподобия от n-мерной плотно-

сти в непрерывной модели?

3. Как найти функцию правдоподобия в дискретной модели?

4. В чем состоит идея метода максимального правдоподобия?

5. Запишите уравнение правдоподобия.

6. Существует ли о.м.п. в нерегулярной модели?

7. Верно ли, что о.м.п. единственна?

8. Каким образом можно найти о.м.м.?

9. Верно ли, что о.м.м. единственна?

10. Какими свойствами обладают о.м.п.?

11. Какими свойствами обладают о.м.м.?

12. Любая ли оценка, полученная методом моментов, является со-

стоятельной?

13. Запишите известные вам о.м.п. для параметров различных мо-

делей.

14. Запишите некоторые известные вам о.м.м. для параметров раз-

личных моделей.

15. Приведите пример совпадающих о.м.м. и о.м.п.

16. Приведите пример не совпадающих о.м.м. и о.м.п.