Крупкина Т.В. Математическая статистика

Подождите немного. Документ загружается.

Теорема 1.2. В модели hF

∗

(x) =

i=k

(x)(1 − F

(x))

n−i

Доказательство.

∗

(x) = P(X

∗

< x) = P(ν

(x) > k) =

i=k

P(ν

(x) = i) =

i=k

(x)(1 − F

(x))

n−i

. 

Эмпирическая частота равна абсолютному числу элементов выбор-

ки, меньших x. В качестве приближения функции распределения F

(x) це-

лесообразно взять относительную частоту попадания случайных величин

, . . . , X

) в интервал (−∞, x).

Определение 1.4. Эмпирической функцией распределения F

(x),

соответствующей выборке X, называется случайная функция от x,

вычисляемая по формуле

(x) =

, (3)

где ν

– число элементов выборки X = (X

, . . . , X

), значения кото-

рых меньше x.

Следовательно, эмпирическая функция распределения – сжатая характе-

ристика выборки. Для каждой реализации x = (x

, . . . , x

) функция F

(x)

однозначно определена и обладает всеми свойствами функции распределе-

ния: изменяется от 0 до 1; не убывает; непрерывна слева; F

(x) = 0 при

x 6 x

∗

и F

∗

(x) = 1 при x > x

∗

. При этом она кусочно-постоянна и воз-

растает только в точках последовательности (2). Если все составляющие

вектора x различны, то

(x) =







0 при x 6 x

∗

при x

∗

< x 6 x

∗

k+1

, k = 1, . . . , n − 1,

1 при x > x

∗

(4)

Заметим, что эмпирическая функция распределения имеет скачки в

точках выборки, величина скачка в точке x

∗

равна 1/n. Если же элемент

∗

встречается m раз, то величина скачка равна m/n.

График функции F

(x) имеет вид, изображенный на рис. 1.

(x)

∗

. . .

Рис. 1. Эмпирическая функция распределения

Эмпирическая функция распределения обладает важным свойством:

при увеличении числа испытаний над случайной величиной ξ (увеличении

объема выборки X ) она сближается с теоретической функцией F (x), то

есть ее можно считать статистическим аналогом для F (x). Это показывают

следующие свойства.

1. E F

(x) = F

(x).

Доказательство. E F

(x) = E



(x)



E ν

(x)

, но ν

(x) имеет би-

номиальное распределение B(n; F

(x)) с математическим ожиданием

(x). Поэтому E F

(x) =

E ν

(x)

= F

(x). 

2. D F

(x) =

(x)(1 − F

(x))

Доказательство. Аналогично D F

(x) = D



(x)



D ν

(x)

, но

(x) имеет биномиальное распределение B(n; F

(x)) с дисперси-

ей nF

(x)(1 − F

(x)), и D F

(x) =

D ν

(x)

(x)(1−F

(x))

(x)(1 − F

(x))

. 

√

n(F

(x) − F

(x)) ∼ N



(x)(1 − F

(x))



Доказательство. Асимптотическая нормальность следует из ЦПТ,

так как величину nF

(x) = ν

(x) можно представить в виде суммы

независимых случайных величин, имеющих распределение Бернулли

B(1, F

(x)) (каждое слагаемое при этом является индикатором I собы-

тия {X

< x}). По ЦПТ для суммы одинаково распределенных незави-

симых случайных величин справедливо:

n(F

(x)−F

(x))

√

(x)(1−F

(x))

−→ u ∈ N(0, 1).

Отсюда следует, что

√

n(F

(x)−F

(x))

√

(x)(1−F

(x))

−→ u ∈ N(0, 1), что и означает

асимптотическую нормальность. 

4. F

(x)

−→ F

(x).

Доказательство. Это следует, например, из ЗБЧ в форме Бернулли,

так как эмпирическая функция распределения F

(x) – это частота со-

бытия {X < x}, а F

(x) – вероятность этого события. Можно также

сослаться на свойство среднего арифметического n независимых сла-

гаемых, имеющих распределение Бернулли (ЗБЧ в форме Хинчина). 

5. F

(x)

п.н.

−−→ F

(x).

Доказательство. Следует из выполнимости УЗБЧ в форме Бореля. 

Рассмотрим еще несколько важных свойств эмпирической функции

распределения. Справедливы следующие теоремы [1, 2, 24].

Теорема 1.3 (теорема Гливенко). Пусть F

(x) – эмпирическая функ-

ция распределения, построенная по выборке X = (X

, . . . , X

) из рас-

пределения F

, и F (x) – соответствующая теоретическая функция

распределения. Тогда для любого −∞ < x < ∞

P( lim

n→∞

= 0) = 1, (5)

где

= D

(x) = sup

−∞<x<∞

(x) − F (x)|. (6)

Приведем еще две предельные теоремы для эмпирической функции

распределения, имеющие важное значение для проверки различных пред-

положений (гипотез) о выборках.

Теорема 1.4 (теорема Колмогорова). Если функция F (x) непрерывна,

то при любом фиксированном t > 0

lim

n→∞

P(|

√

< t|) = K(t) =

∞

j=−∞

(−1)

−2j

, (7)

Функция K(t) называется функцией Колмогорова, и ее можно с хоро-

шим приближением использовать для практических расчетов уже при объ-

еме выборки, равном или большим 20. Заметим, что теорема справедлива

для любой непрерывной функции распределения и позволяет найти грани-

цы, в которых с заданной вероятностью 0 < α < 1 находится теоретическая

функция F (x) (она в нашей статистической модели неизвестна). Если зада-

на вероятность α, то при больших n с вероятностью, близкой к α, функция

F (x) удовлетворяет неравенству

(x) − F (x)| 6

√

, (8)

где величина t

вычисляется как корень уравнения K(t) = α с помощью

таблиц для функции K(t). Обоснование данного неравенства можно найти

в [24].

Теорема 1.5 (теорема Смирнова). Пусть F

(x) и F

(x) – две эмпири-

ческие функции распределения, построенные на основе двух незави-

симых выборок объемов n и m из одного и того же распределения F

n,m

= sup

−∞<x<∞

(x) − F

(x)|. (9)

Тогда если теоретическая функция F (x) непрерывна, то для любого

фиксированного t > 0

lim

n,m→∞

nm/(n + m) D

n,m

6 t) = K(t), (10)

где функция K(t) определена равенством (7).

Эта теорема позволяет ответить на важный практический вопрос,

можно ли считать, что две выборки получены из одного и того же распреде-

ления.

Замечание 1.2. Поскольку эмпирическая функция распределения

близка к теоретической, выборочные характеристики (выборочное

среднее, выборочная дисперсия и другие) можно рассматривать как

обычные характеристики (математическое ожидание, дисперсия

и другие) случайной величины, принимающей значения X

, . . . , X

с равными вероятностями

. Таким образом, простую выборку

можно рассматривать не только как n-мерную случайную величину

, . . . , X

), но и как одномерную дискретную величину:

X X

. . . X

P 1/n 1/n . . . 1/n

1.5. Контрольные вопросы

1. Какая статистическая модель применима для выборки, получен-

ной следующим образом: 10 раз подсчитывалось число гербов при

бросании трех монет?

2. Какая статистическая модель применима для выборки действу-

ющих цен на литр молока в 50 различных магазинах г. Краснояр-

ска?

3. Дайте определение параметрической модели.

4. Является ли модель N(a, θ) параметрической?

5. Дайте определение регулярной модели.

6. Является ли модель R[θ, b] регулярной?

7. Дайте определение вариационного ряда реализации.

8. Дайте определение вариационного ряда выборки.

9. Можно ли восстановить по вариационному ряду выборку?

10. Дайте определение эмпирической функции распределения.

11. Какими свойствами обладает эмпирическая функция распреде-

ления?

12. Можно ли восстановить по эмпирической функции распределе-

ния вариационный ряд?

13. Верно ли, что все элементы простой выборки одинаково распре-

делены?

14. Верно ли, что все элементы вариационного ряда одинаково рас-

пределены?

Лекция 2. Основные выборочные характеристики

Дело не в числах, а в том, что вы с ними делаете.

К. Мэндервилл

План лекции: выборочные моменты, соответствие выборочных

и теоретических характеристик, свойства X и S

, другие харак-

теристики выборки, сходимость выборочных моментов.

2.1. Выборочные моменты и функции от выборочных моментов

Пусть X = (X

, . . . , X

) – выборка объема n из распределения F и

x = (x

, . . . , x

) – наблюдавшееся значение X. Любая функция от X пред-

ставляет собой также случайную величину с распределением, однозначно

определяемым распределением вектора X. В теории вероятностей введены

определения различных моментов случайной величины. Так, начальным мо-

ментом порядка k случайной величины ξ называется число

= E(ξ)

, (11)

а центральным моментом порядка k случайной величины ξ называется чис-

ло

= E(ξ − E ξ)

. (12)

Введем общее обозначение для моментов: E g(ξ) (g(ξ) = (ξ)

для началь-

ных моментов и (ξ − E ξ)

для центральных моментов k-го порядка). Каж-

дому теоретическому моменту g(ξ) можно поставить в соответствие его ста-

тистический аналог G = G(X), вычисляемый по формуле

G(X) =

i=1

g(X

Случайную величину G называют эмпирической или выборочной

характеристикой, соответствующей теоретической характеристике g.

Если g(ξ) = ξ

, то G – выборочный начальный момент k-го поряд-

ка, который будем обозначать a

Определение 2.1. Выборочным начальным моментом k-го поряд-

ка называют случайную величину

i=1

. (13)

Определение 2.2. Если k = 1, то величину a

называют выборочным

средним и обозначают символом X,

X =

i=1

Значения случайной величины X при конкретной реализации x вы-

борки X будем обозначать строчной буквой (x). Напомним, что теорети-

ческие моменты случайной величины ξ обозначают греческими буквами, а

соответствующие им выборочные – латинскими.

Определение 2.3. Выборочным центральным моментом k-го по-

рядка называют случайную величину

i=1

− X)

. (14)

Определение 2.4. При k = 2 величину m

называют выборочной дис-

персией и обозначают S

i=1

− X)

Выборочная дисперсия характеризует разброс значений.

Определение 2.5. Выборочным среднеквадратическим отклоне-

нием называют случайную величину

S =

√

i=1

− X)

Среднеквадратическое отклонение – линейная мера разброса вы-

борочных значений. При рассмотрении свойств плотности распределения

непрерывных величин вводили такие характеристики, как коэффициенты

асимметрии A и эксцесса E. Если график плотности распределения сим-

метричен, то A = 0. По значению A судят о степени отклонения от симмет-

рии, по знаку A – о правосторонней (A > 0) или левосторонней (A < 0)

асимметрии.

Для нормального распределения E = 0, и поэтому о кривых плотности

с E = 0 говорят, что у них нормальный эксцесс. Если E > 0 (E < 0), то

эксцесс кривой положительный, то есть кривая плотности островершинна

(отрицательный, то есть кривая плотности плосковершинна).

Пусть задана выборка X из распределения непрерывной случайной

величины ξ. Тогда для нее можно определить выборочные коэффициенты

асимметрии

A и эксцесса

E по следующим формулам.

Определение 2.6. Выборочным коэффициентом асимметрии назы-

вается величина

A =

. (15)

Определение 2.7. Выборочным коэффициентом эксцесса называется

величина

E =

− 3. (16)

Аналогично можно ввести и другие характеристики, например, абсо-

лютные моменты. Необходимо помнить, что выборочные характеристики

вводятся соответственно теоретическим характеристикам случайной вели-

чины (табл. 2).

Таблица 2

Соответствие выборочных и теоретических характеристик

Теоретические характеристики Выборочные характеристики

a = E ξ X =

i=1

математическое ожидание выборочное среднее

= D ξ S

i=1

− X)

дисперсия выборочная дисперсия

= E ξ

i=1

начальный k-й момент начальный выборочный k-й момент

= E(ξ − E ξ)

i=1

− X)

центральный k-й момент центральный выборочный k-й момент

A =

коэффициент асимметрии выборочный коэффициент асимметрии

E =

− 3

E =

− 3

коэффициент эксцесса выборочный коэффициент эксцесса

2.2. Свойства выборочного среднего X и S

Выборочные характеристики являются случайными величинами, и

поэтому можно говорить о их распределениях (выборочных распределени-

ях) и изучать различные характеристики этих распределений.

Будем считать, что выборка взята из совокупности с математическим

ожиданием E ξ = a и дисперсией D ξ = σ

; тогда E X

= a, D X

= σ

для

любого элемента выборки X

, при этом случайные величины X

независимы.

Свойства X =

i=1

1. E X = a.

Доказательство.

E X = E(

) =

E X

a =

= a. 

2. D X =

Доказательство.

Поскольку X

независимы и распределены так же, как случайная ве-

личина ξ, то

D X = D(

) =

nσ

. 

3. X

−→ a.

Доказательство.

i=1

−→ a, по ЗБЧ в форме Хинчина. 

4. X

п.н.

−−→ a.

Доказательство.

i=1

−→ a, по критерию УЗБЧ Колмогорова. 

(X−a)

√

∼ N(0, 1).

Доказательство.

Согласно обозначениям ξ ∼ N(a, σ) 

ξ−a

−→ u ∈ N(0, 1),

X − a

σ/

√

i=1

− a

σ/

√

i=1

− na

σ/

√

−→ u ∈ N(0, 1), по ЦПТ. 

Рассмотрим свойства выборочной дисперсии S

X+c

= S

Доказательство.

X+c

+ c − X + c)

= [X + c =

+c) =

c = X +c] =

−X)

= S

. 

= k

Доказывается аналогично.

− (X)

Доказательство.

− 2XX

+ X

) =

−

+ X

− 2X

+ X

− X

. 

= min

− c)

Доказательство.

− c)

− X + X − c)

− X)

+ n(X − c)

+ 2(X − c)

− X),

− X) =

− nX =

− n

= 0,

− c)

− X)

+ (X − c)

= S

+ (X − c)

> S

. 