откуда
A · A
T
= (T − (X
T
X)
−1
X
T
)(T
T
− X · (X
T
X)
−1
) = T · T
T
−
−(X
T
X)
−1
X
T
· T
T
− T · X · (X
T
X)
−1
+ (X
T
X)
−1
X
T
X · (X
T
X)
−1
=
= T · T
T
− (X
T
X)
−1
− (X
T
X)
−1
+ X
T
X
−1
=
= T · T
T
− (X
T
X)
−1
(так как T X = E и X
T
T
T
= (T X)
T
= E).
Но в матрице AA
T
диагональные элементы больше либо равны 0, так
как это скалярные квадраты строк. Следовательно, диагональные элемен-
ты T · T
T
больше либо равны диагональным элементам (X
T
X)
−1
, то есть
дисперсии оценок
ˆ
θ метода наименьших квадратов – наименьшие в классе
линейных несмещенных оценок. Это означает, что о.н.к. оптимальны в дан-
ном классе.
17.4. Нормальная регрессия
Раньше мы предполагали, что ошибки ε
1
, . . . , ε
n
некоррелированы,
имеют нулевые математические ожидания и одинаковую положительную
дисперсию: E ε = 0, K
ε
= cov
ε
= E(εε
T
) = σ
2
E
n
. Для нахождений веро-
ятностей отклонений о.н.к. от истинных значений рассматриваемых пара-
метров, расчета доверительных интервалов, проверки гипотез необходимо
сделать дополнительные предположения о виде распределения случайного
вектора Y =
Y
1
. . . Y
n
T
. Поскольку Y = X ·θ+ε, где X – неслучайная
переменная, закон распределения Y определяется законом распределения
ε. Будем считать, что ошибки подчиняются нормальному закону распреде-
ления N(0, σ) (распределение Y будет тогда тоже нормальным, с матема-
тическим ожиданием Xθ). В данной параметрической модели можно найти
оценку параметра θ с помощью метода максимального правдоподобия. Воз-
никает вопрос, как связаны о.м.п. и о.н.к. Легко видеть, что максимум функ-
ции правдоподобия достигается при минимуме R =
P
(Y
i
−
P
k
j=1
X
ij
θ
j
)
2
=
P
ε
2
i
, таким образом, оценки максимального правдоподобия совпадают с
оценками наименьших квадратов.
Из теоремы Гаусса – Маркова известно, что о.н.к. оптимальны в клас-
се несмещенных линейных оценок. В нормальной модели справедливо и бо-
лее сильное утверждение: оценки МНК имеют наименьшую дисперсию в
классе всех несмещенных оценок [2].
Выясним, каково распределение
ˆ
θ и связанных с ней статистик. Спра-
164