Крупкина Т.В. Математическая статистика

Подождите немного. Документ загружается.

Лекция 8. Оценивание параметрической функции

Есть разные пути,

а истина одна.

Jay Thunder

План лекции: неравенство Рао – Крамера для параметрической

функции, эффективная оценка параметрической функции, теоре-

мы об эффективных оценках, экспоненциальное семейство.

8.1. Неравенство Рао – Крамера для параметрической функции

Определение эффективной оценки параметра 6.5 можно распростра-

нить и на параметрическую функцию. Рассмотрим задачу оценивания за-

данной параметрической функции τ (θ) в модели hF

i. Предположим, что

модель hF

iрегулярна, функция τ(θ) дифференцируема и пусть T

τ(θ)

– класс

всех несмещенных оценок τ (θ). Тогда для дисперсий несмещенных оценок

параметрической функции τ(θ) справедливо неравенство Рао – Крамера

для параметрической функции.

Теорема 8.1. Пусть hF

i – регулярная модель, T (x) ∈ T

τ(θ)

– оценка

параметрической функции τ(θ). Тогда выполняется неравенство

D T (x) >

(τ

)

. (72)

Доказательство проводится как в теореме (6.1).

Доказательство. По-прежнему используем упрощенные обозначе-

ния:

f(x

, x

, . . . , x

, τ(θ) = f;

+∞

−∞

. . .

+∞

−∞

. . . dx

dx.

По свойству плотности

fdx = 1. (73)

Из несмещенности оценки

T (x)fdx = E T (x) = τ(θ). (74)

Продифференцируем (73) по параметру. Это возможно, так как модель ре-

гулярна.

∂f

∂θ

dx = 0. (75)

Домножим (75) на τ (θ):

τ(θ)

∂f

∂θ

dx = 0. (76)

Продифференцируем (74) по параметру:

T (x)

∂f

∂θ

dx = τ

(θ). (77)

Вычтем (77) – (76):

(T (x) − τ (θ))

∂f

∂θ

dx = τ

(θ). (78)

Подставим в (78) выражение для

∂f

∂θ

∂f

∂θ

= f

∂ ln f

∂θ

(T (x) − τ (θ))

∂ ln f

∂θ

f dx = τ

(θ). (79)

Полученный интеграл совпадает с ковариацией, то есть

cov



T (x),

∂ ln f

∂θ



= τ

(θ). (80)

Из свойства коэффициента корреляции вытекает неравенство Коши – Бу-

няковского:

(θ) 6

D(T (x)) D



∂ ln f

∂θ



Преобразуем последнее выражение:

D T (x) >

(τ

(θ))



∂ ln f

∂θ





∂ ln f

∂θ



= E



∂ ln f

∂θ



− E



∂ ln f

∂θ



= E



∂ ln f

∂θ



= I

=⇒ D T (x) >

(τ

(θ))

Определение 8.1. Статистика T (x) ∈ T

τ(θ)

называется эффектив-

ной оценкой параметрической функции τ(θ), если

D T (x) =

(τ

(θ))

, (81)

где

I = E



∂

lnf(X)

∂θ



Из доказательства неравенства Рао – Крамера вытекает важное следствие:

равенство

D T (x) =

(τ

(θ))

(82)

имеет место тогда и только тогда, когда T (x) – линейная функция вклада

выборки, то есть

T (x) = a(θ)

∂lnf(X)

∂θ

+ τ(θ),

где a(θ) – некоторая функция от θ.

Это следствие можно переформулировать так:

Теорема 8.2. Статистика T (x) ∈ T

τ(θ)

является эффективной оцен-

кой параметрической функции τ(θ) тогда и только тогда, когда

T (x) – линейная функция вклада выборки, то есть

T (x) = a(θ)

∂lnf(X)

∂θ

+ τ(θ),

где a(θ) – некоторая функция от θ.

Мы уже рассматривали некоторые свойства оценок – несмещенность,

состоятельность, оптимальность, эффективность. Одна из задач статистики

– исследовать, обладает ли конкретная оценка этими свойствами. Подыто-

жим, что нам известно о методах решения такой задачи.

Исследовать оценку на несмещенность можно напрямую, по опре-

делению.

Доказать, что оценка состоятельна, можно с помощью теорем 5.1–

5.3. Эти теоремы дают достаточные условия состоятельности. Можно ис-

пользовать и происхождение оценки: о.м.п. и о.м.м. состоятельны. Для до-

казательства того факта, что оценка не является состоятельной, надо пока-

зывать, что нарушается определение сходимости по вероятности.

Эффективность оценки мы умеем проверять по определению, вычис-

ляя дисперсию оценки и информационное количество Фишера.

Про оптимальность нам известно меньше всего, а для проверки оп-

тимальности единственный (пока) инструмент – утверждение: «Эффектив-

ная оценка является оптимальной. Обратное, вообще говоря, не верно.»

Почему это так? Несмещенная оценка θ оптимальна, если она имеет наи-

меньшую дисперсию среди всех несмещенных оценок θ, и эффективна, если

она имеет минимальную возможную дисперсию, совпадающую с границей

Рао – Крамера. Разница примерно как между наименьшим значением из

реально существующих и теоретическим минимумом. Теоретический мини-

мум, соответствующий эффективной оценке, может и не достигаться в дан-

ной модели, оптимальной же оценке соответствует минимальное значение

из реально существующих. Кроме этого, эффективные оценки рассматри-

ваются только в регулярных моделях, а оптимальные существуют и в нере-

гулярных.

8.2. Другой подход к эффективным оценкам

Мы пойдем другим путем.

В.И. Ульянов

При исследовании эффективности, помимо прямого применения

неравенства Рао – Крамера, можно использовать его следствие (теорема

8.2):

Статистика T (x) ∈ T

τ(θ)

является эффективной оценкой па-

раметрической функции τ(θ) тогда и только тогда, когда T (x) – ли-

нейная функция вклада выборки, то есть

T (x) = a(θ)

∂lnf(X)

∂θ

+ τ(θ),

(83)

где a(θ) – некоторая функция от θ .

Посмотрим внимательно на (83). Оказывается, функциональная

часть эффективной оценки, зависящая от X, равна

∂ ln f(X)

∂θ

Важно помнить, что X тут – многомерная величина.

Попробуем применить этот подход.

Пример 8.1. Пусть ξ распределена по нормальному закону N(θ, σ).

Функция плотности

f(X) = f(x

, . . . , x

) = f(x

) · . . . · f(x

) =

(σ

√

2π)

−

i=1

−θ)

2σ

J Найдем логарифм плотности

ln f(X) = −n(ln σ + 0, 5 ln 2π) −

i=1

− θ)

2σ

f(X) можно записывать как L (функция правдоподобия).

Найдем частную производную по θ:

∂ ln f(X)

∂θ

i=1

− θ)

Функциональная часть представляет из себя

i=1

Таким образом, эффективная оценка любой функции параметра θ = a

должна зависеть от

i=1

(или, что то же самое, от X.) С учетом того,

что эффективная оценка должна быть несмещенной, это означает, что эф-

фективных оценок существует немного.I

Теорема 8.3. В модели hF

i эффективные оценки могут существо-

вать только для одного класса функций, то есть может существо-

вать τ(θ) такая, что ∀u(θ) ∈ {aτ(θ) + b |a, b − const} существует

эффективная оценка, и если T (x) – эффективная оценка τ(θ), то

aT (x) + b – эффективная оценка функции u(θ) = aτ(θ) + b. Для всех

других функций параметра θ эффективных оценок не существует.

Например, если θ имеет эффективную оценку, то у θ

уже не может суще-

ствовать эффективная оценка. Теорему несложно доказать напрямую, к то-

му же она является следствием теоремы об эффективных оценках в экспо-

ненциальном семействе (8.4), которую мы сейчас рассмотрим.

8.3. Экспоненциальное семейство

Нормальные герои

всегда идут в обход.

Песня из к/ф «Айболит-66»

Определение 8.2. Говорят, что распределение с плотностью f(x)

принадлежит экспоненциальному семейству (коротко будем запи-

сывать это f ∈ E), если f(x) представима в виде

f(x, θ) = e

A(x)·B(θ)+C(x)+D(θ)

. (84)

Теорема 8.4. Для того чтобы в модели существовала эффективная

оценка, необходимо и достаточно, чтобы модель принадлежала экс-

поненциальному семейству. При этом эффективной оценкой явля-

ется статистика

T (x) =

i=1

A(x

и она оценивает параметрическую функцию

τ(θ) = −

(θ)

Доказательство.

Достаточность. Пусть f(x, θ) ∈ E. Тогда

ln L =

i=1

ln f(x

, θ) = B(θ)

i=1

A(x

) +

i=1

C(x

) + nD(θ).

∂ ln L

∂θ

= B

(θ)

i=1

A(x

) + nD

(θ).

i=1

A(x

)

(θ)

∂ ln L

∂θ

−

(θ)

. (85)

По (83) несмещенная оценка T (x) параметрической функции τ(θ) является

ее эффективной оценкой тогда и только тогда, когда

T (x) = a(θ)

∂ ln L

∂θ

+ τ(θ), (86)

где a(θ) – некоторая функция от θ. Сравнивая (85) и (86), видим, что

T (x) =

i=1

A(x

)

, τ(θ) = −

(θ)

Следовательно, статистика

T (x) =

i=1

A(x

)

является эффективной оценкой параметрической функции

τ(θ) = −

(θ)

и других эффективных оценок в этой модели нет (с точностью до линейного

преобразования).

Необходимость. Пусть в модели hF

iсуществует эффективная оцен-

ка T (x). Покажем, что модель принадлежит экспоненциальному семейству.

Поскольку T (x) эффективна,

T (x) = a(θ)

∂ ln L(X)

∂θ

+ τ(θ),

отсюда

T (x) − τ (θ)

a(θ)

∂ ln L(X)

∂θ

Выразим L(X):

ln L(X) =

T (x)

a(θ)

dθ −

τ(θ)

a(θ)

dθ,

L(X) = exp



T (x)

a(θ)

dθ −

τ(θ)

a(θ)

dθ



. (87)

Сравним (87) с определением экспоненциального семейства:

L(x) = exp{A(x) · B(θ) + C(x) + D(θ)}.

Видим, что

A(x) = T (x), B(θ) =

dθ

a(θ)

, C(x) = 0, D(θ) = −

τ(θ)

a(θ)

dθ. 

Пример 8.2. Докажем, что N(a, σ) принадлежит экспоненциальному

семейству по каждому из параметров, взятых отдельно, и найдем

эффективные оценки.

f(x) =

√

2π

· exp

−

(x−a)

2σ

= exp

√

2π

−

2σ

x·a

−

2σ

Пусть параметром будет a, тогда

A(x) = x, B(a) =

, C(x) = ln

√

2π

−

2σ

, D(a) = −

2σ

Следовательно, распределение N(θ, σ) принадлежит экспоненциальному

семейству. Найдем эффективную оценку параметрической функции от па-

раметра θ = a :

τ(a) = −

(a)

= a,

T (x) =

i=1

A(x

) =

i=1

= ¯x.

Получили, что ¯x является эффективной оценкой a.

Пусть параметром будет σ, тогда

A(x) = (x − a)

, B(σ) = −

2σ

, C(x) = 0, D(σ) = −ln σ −

ln 2π.

Следовательно, распределение N(a, θ) также принадлежит экспоненциаль-

ному семейству. Найдем эффективную оценку параметрической функции от

параметра θ = σ :

τ(σ) = −

(a)

= σ

T (x) =

i=1

A(x

) =

i=1

− a)

По теореме 8.4 оценка

i=1

− a)

эффективна. I

Определение 8.3. В случае многомерного параметра θ = (θ

, . . . , θ

) и

непрерывной параметрической модели говорят, что распределение с

плотностью f(x) принадлежит экспоненциальному семейству, если

f(x) представима в виде

f(x) = exp{

i=1

(x) · B

(θ) + C(x) + D(θ)}.

Чтобы сделать представление по возможности более однозначным, мы бу-

дем предполагать, что функции линейно не зависимы на 0.

Примером могут служить семейства нормальных распределений

N(θ

, θ

), гамма-распределений Γ

,θ

8.4. Контрольные вопросы

1. Укажите три способа поиска эффективной оценки.

2. Дайте определение вклада выборки.

3. Дайте определение экспоненциального семейства.

4. Принадлежат ли экспоненциальному семейству распределения

N(a, θ), N(θ, σ), N(θ, θ)?

5. Принадлежит ли экспоненциальному семейству биномиальное

распределение B(N, θ)?

6. Принадлежит ли экспоненциальному семейству распределение

Пуассона?

7. Запишите закон распределения Пуассона в экспоненциальном

виде.

8. Существует ли эффективная оценка в биномиальном распреде-

лении?

9. Укажите необходимые и достаточные условия существования

эффективной оценки.

10. Могут ли в одной модели статистики X и

√

X являться эф-

фективными оценками (возможно, различных параметрических

функций)?

11. Могут ли в одной модели статистики X и S

являться эф-

фективными оценками (возможно, различных параметрических

функций)?

12. Могут ли в одной модели статистики X и 2

являться эф-

фективными оценками (возможно, различных параметрических

функций)?

13. Запишите плотность показательного распределения в экспо-

ненциальном виде.

14. Какая параметрическая функция имеет в показательной модели

эффективную оценку?

15. Какая статистика является в показательной модели эффек-

тивной оценкой ?

Лекция 9. Достаточные статистики

– Достаточная статистика – это статистика,

которой достаточно для оценивания.

– Смысл верный, теперь дайте определение.

С устного экзамена

План лекции: определения и примеры, критерий достаточности,

свойства достаточных статистик, свойства оценок максимально-

го правдоподобия.

9.1. Определение и примеры

Напомним, что мы по-прежнему рассматриваем параметрическую

модель hF

Определение 9.1. Статистика T = T (X) называется достаточной

для параметра θ, если условное распределение (плотность или веро-

ятность) случайной величины X = (X

, . . . , X

) (выборки) при усло-

вии T (X) = t не зависит от параметра θ.

Это означает, что в дискретном случае условная вероятность

P (X = x/T (X) = t),

а в непрерывном случае условная плотность f

X/T (X)=t

(x) не зависит от па-

раметра θ, вся информация о θ, имеющаяся в выборке, содержится в T (X).

Рассмотрим подробнее дискретный случай. Поскольку

P (A/B) =

P (AB)

P (B)

P (X = x/T (X) = t) =

P (X = x, T (X) = t)

P (T (X) = t)

(

P (X=x)

P (T (X)=t)

, x : T (x) = t

0, x : T (x) 6= t,

так как для x : T (x) = t событие {X = x, T (X) = t} влечет событие

{X = x}. Таким образом, в дискретной модели статистика T (X) достаточна,

если

P (X = x)

P (T (X) = t)

(88)

не зависит от параметра для x таких, что T (x) = t.