Носко В.П. Эконометрика для начинающих. Дополнительные главы
Подождите немного. Документ загружается.
Модели с дискретными объясняемыми переменными…
21
(
)
z
ezG −−= exp1)( – функция стандартного распределения
экстремальных значений (минимума) I-го типа (распределение
Гомпертца, гомпит-модель).
Заметим, что функции плотности первых двух распределений
являются четными функциями (графики этих плотностей
симметричны
относительно оси ординат), тогда как функция
плотности последнего из трех распределений не обладает таким
свойством. Ее график асимметричен
и скошен в сторону
отрицательных значений аргумента.
0
0.1
0.2
0.3
0.4
-6 -4 -2 0 2 4 6
Результаты оценивания указанных трех моделей по
смоделированным данным (1000 наблюдений) с использованием
пакета EVIEWS таковы:
1
1
В четвертом столбце приведены значения отношений оценок коэффициентов к
стандартным ошибкам, рассчитанным по асимптотическому нормальному
распределению оценок максимального правдоподобия. В связи с этим, здесь и в
последующих таблицах указанное отношение называется не t -статистикой, а
z
-
статистикой. P-значения, приводимые в пятом столбце, соответствуют
стандартному нормальному распределению.
Глава 1
22
Пробит-модель:
Variable Coefficient Std. Error z-Statistic Prob.
C -3.503812 0.200637 -17.46343 0.0000
X 0.003254 0.000178 18.25529 0.0000
Логит-модель:
Variable Coefficient Std. Error z-Statistic Prob.
C -6.357013 0.411837 -15.43576 0.0000
X 0.005892 0.000368 16.01461 0.0000
Гомпит-модель:
Variable Coefficient Std. Error z-Statistic Prob.
C -3.022612 0.162178 -18.63764 0.0000
X 0.003344 0.000168 19.93322 0.0000
Полученные значения оценок параметров
α
и
β
в первой
модели (
503812.3
ˆ
−=
α
, 003254.0
ˆ
=
β
) соответствуют оценкам
77.1076
ˆ
=
µ
и 31.307
ˆ
=
σ
параметров функции нормального
распределения, “сглаживающей” построенную ранее функцию
()
xG
n
, график которой представляет ломаную. Заметим, что в
действительности при моделировании данных мы использовали в
качестве
()
xG функцию нормального распределения с параметрами
1100=
µ
и 300=
σ
. Следующий график позволяет сравнить
поведение
• кусочно-линейной функции
()
xG
n
,
• теоретической функции
()
xG , соответствующей
нормальному распределению N(1100, 300
2
),
• оцененной функции
()
xG
ˆ
, соответствующей нормальному
распределению N(1076.77, 307.31
2
).
Модели с дискретными объясняемыми переменными…
23
На следующем графике добавлены для сравнения также и
оцененные функции
()
xG
ˆ
для логит- и гомпит-моделей
0.0
0.2
0.4
0.6
0.8
1.0
G_N THEOR PROBIT LOGIT GOMPIT
Кривые, получаемые по пробит- и логит-моделям, отличаются
очень мало как друг от друга, так и от теоретической кривой. В то
же время кривая, полученная по гомпит-модели, представляется
0.0
0.2
0.4
0.6
0.8
1.0
500 1000 1500 2000
X
G_N
THEOR
ESTIM
Глава 1
24
менее удовлетворительной. Разумеется, хотелось бы иметь
некоторые количественные критерии для сравнения разных моделей
и для проверки адекватности каждой из рассматриваемых моделей
данным наблюдений. Мы займемся теперь этой проблемой.
1.3. Показатели качества моделей бинарного
выбора, критерии согласия с имеющимися
данными, сравнение альтернативных моделей
Прежде всего обратим внимание на следующее обстоятельство.
Пусть методом наименьших квадратов оценивается обычная
линейная модель
iippii
xxy
εθθ
+++= L
11
, ni ,,1 K= ,
с
1
1
≡
i
x (модель с константой), в которой объясняемая переменная
y
может принимать непрерывный ряд значений. В таком случае
простейшим показателем качества оцененной модели является
коэффициент детерминации
2
R
,
()
()
∑
∑
=
=
−
−
−=−=
n
i
i
n
i
ii
yy
yy
TSS
RSS
R
1
2
1
2
2
ˆ
11
,
где
ippii
xxy
θθ
ˆˆ
ˆ
11
++= L ,
()
nyyy
n
++= L
1
. (Здесь TSS – “полная”,
а
RSS – “остаточная” сумма квадратов.) Если оценивать
“тривиальную” модель, в правую часть которой включается
единственная
объясняющая переменная 1
1
≡
i
x , т.е. модель
ii
y
εθ
+=
1
, ni ,,1 K= ,
то для такой модели
y=
1
ˆ
θ
, yy
i
==
1
ˆ
ˆ
θ
, так что TSSRSS = и 0
2
=R .
При добавлении в правую часть модели дополнительных
объясняющих переменных коэффициент
2
R
возрастает, и этот
Модели с дискретными объясняемыми переменными…
25
коэффициент будет тем больше, чем более выраженной является
линейная связь
объясняемой переменной с совокупностью
объясняющих переменных, включенных в правую часть. Своего
максимального значения
1
2
=
R
коэффициент детерминации
достигает в предельном случае, когда для всех
ni ,,1 K=
выполняются точные соотношения
ippii
xxy
θθ
++= L
11
.
Поскольку теперь мы имеем дело с нелинейными
моделями
(
)
iippii
xxGy
εθθ
+++= L
11
, ni ,,1 K= ,
то не можем пользоваться обычным коэффициентом детерминации
2
R
, и желательно определить какую-то другую меру качества
подобранной модели.
Одна из возможностей в этом отношении – сравнение количеств
неправильных предсказаний, получаемых по выбранной модели и по
модели, в которой в качестве единственной объясняющей
переменной выступает константа (“тривиальная модель”).
Естественным представляется предсказывать значение
1=
i
y ,
когда
(
)
2/1
ˆ
>
θ
T
i
xG . Для симметричных распределений последнее
равносильно условию
0
ˆ
>
θ
T
i
x , так что прогнозные значения равны
⎪
⎩
⎪
⎨
⎧
≤
>
=
.0
ˆ
если,0
,0
ˆ
если,1
ˆ
θ
θ
T
i
T
i
i
x
x
y
Количество неправильных предсказаний по выбранной модели
равно
()
∑∑
==
−=−=
n
i
ii
n
i
iiwrong
yyyyn
1
2
1
1,
ˆˆ
;
доля неправильных предсказаний по выбранной модели равна
()
∑
=
−=
n
i
iiwrong
yy
n
1
2
1,
ˆ
1
ν
.
Глава 1
26
В то же время, если рассмотреть тривиальную модель, то для нее
значение
1=
i
y предсказывается для всех ni ,,1 K= , когда 2/1
ˆ
1
>
θ
,
т.е. когда
2/1>y (значения 1=
i
y наблюдаются более, чем в
половине наблюдений). Соответственно, значение 0=
i
y
предсказывается для всех
ni ,,1 K= , когда 2/1
ˆ
1
≤
θ
, т.е. когда
2/1≤y (значения 1=
i
y наблюдаются не более, чем в половине
наблюдений). При этом доля неправильных предсказаний по
тривиальной модели равна
⎩
⎨
⎧
≤
>−
=
.2/1если,
,2/1если,1
0,
yy
yy
wrong
ν
В качестве показателя качества модели можно было бы взять
коэффициент
()
0,
1
2
0,
1,
2
ˆ
11
wrong
n
i
ii
wrong
wrong
yy
R
predict
νν
ν
∑
=
−
−=−=
.
Проблема, однако, в том, что выбранная модель может дать
предсказание хуже, чем тривиальная
, так что
0,1, wrongwrong
νν
> , и
тогда
0
2
<
predict
R . Отметим также, что вообще
5.0
0,
≤
wrong
ν
,
так что тривиальная модель может неправильно предсказать не
более половины наблюдений. А если оказывается, что в выборке
значения
i
y равны 1 для 90% наблюдений, то тогда 1.0
0,
=
wrong
ν
, и
чтобы получить
0
2
>
predict
R , необходимо, чтобы альтернативная
модель давала более
90% правильных предсказаний. Это означает,
что большая доля правильных предсказаний
1,
1
wrong
ν
− сама по себе
не говорит еще о качестве модели. Эта доля может быть большой и
для плохой модели.
Модели с дискретными объясняемыми переменными…
27
Рассмотрим теперь альтернативный подход к построению
аналога коэффициента
2
R
для моделей бинарного выбора.
Поскольку мы использовали для оценивания таких моделей метод
максимального правдоподобия, то естественным представляется
сравнение максимумов функций правдоподобия (или максимумов
логарифмических функций правдоподобия) для выбранной и
тривиальной моделей.
Пусть
1
L – максимум функции правдоподобия для выбранной
модели, а
0
L – максимум функции правдоподобия для тривиальной
модели. Заметим, что при этом
1
10
≤≤ LL , так что и 0lnln
10
≤≤ LL .
В рамках этого подхода cреди множества других были предложены
следующие показатели качества моделей бинарного выбора
()
nLL
pseudoR
/lnln21
1
1
01
2
−+
−=
[Aldrich, Nelson (1984)],
0
1
2
ln
ln
1
L
L
McFaddenR
−=
.
Последний показатель часто обозначают как LRI – индекс
отношения правдоподобий (likelihood ratio index).
Оба этих показателя изменяются в пределах от 0 до 1. Если для
выбранной модели
0
ˆˆ
2
===
p
θθ
L , то
10
LL = и оба показателя
равны нулю. Второй показатель может оказаться равным единице,
если
0ln
1
=L , т.е. 1
1
=L . Такая модель дает точное предсказание,
так что
ii
yy =
ˆ
для всех ni ,,1 K= . Но при этом для рассмотренных
выше моделей (пробит, логит и гомпит) оказывается невозможным
доведение до конца итерационной процедуры оценивания вектора
параметров
θ
из-за взрывного возрастания абсолютной величины
θ
T
i
x в процессе итераций. Это связано с тем, что у таких моделей
при конечных значениях
θ
T
i
x выполняются строгие неравенства
Глава 1
28
(
)
10 <<
θ
T
i
xG , и поэтому функция правдоподобия не может
достигать значения 1.
П р и м е р
Продолжая начатый выше статистический анализ
смоделированного множества данных, вычислим значения
альтернативных вариантов коэффициента
2
R
для трех оцененных
моделей бинарного выбора.
Требуемые для вычисления этих значений величины
представлены в следующей таблице.
Модель
1,wrong
ν
lnL
1
Пробит 0.125 -275.7686
Логит 0.124 -275.4592
Гомпит 0.121 -292.6808
0,wrong
ν
lnL
0
Тривиальная 0.490 -692.9472
(Напомним, что в смоделированной выборке количество семей,
имеющих собственный автомобиль, равно 510, что составляет более
половины семей. Поэтому тривиальная модель дает для всех 1000
наблюдений прогноз
1=
i
y , что приводит к 49% ошибок.)
Соответственно, для различных вариантов коэффициента
2
R
получаем:
Пробит-модель
745.0
490.0
125.0
11
0,
1,
2
=−=−=
wrong
wrong
predict
R
ν
ν
,
Модели с дискретными объясняемыми переменными…
29
()
,4548.0
1000/)9472.6927686.275(21
1
1
/lnln21
1
1
01
2
=
+−+
−=
=
−+
−=
nLL
pseudoR
6020.0
9472.692
7686.275
1
ln
ln
1
0
1
2
=
−
−
−=−=
L
L
McFaddenR
.
Логит-модель
7470.0
490.0
124.0
11
0,
1,
2
=−=−=
wrong
wrong
predict
R
ν
ν
,
()
,4550.0
1000/)9472.6924592.275(21
1
1
/lnln21
1
1
01
2
=
+−+
−=
=
−+
−=
nLL
pseudoR
6025.0
9472.692
4592.275
1
ln
ln
1
0
1
2
=
−
−
−=−=
L
L
McFaddenR
.
Гомпит-модель
7531.0
490.0
121.0
11
0,
1,
2
=−=−=
wrong
wrong
predict
R
ν
ν
,
()
,4446.0
1000/)9472.6926808.292(21
1
1
/lnln21
1
1
01
2
=
+−+
−=
=
−+
−=
nLL
pseudoR
Глава 1
30
5776.0
9472.692
4592.275
1
ln
ln
1
0
1
2
=
−
−
−=−=
L
L
McFaddenR
.
Сведем полученные значения в общую таблицу.
Модель
2
predict
R
2
pseudoR
2
McFaddenR
Пробит 0.7450 0.4548 0.6020
Логит 0.7470 0.4550 0.6025
Гомпит 0.7531 0.4446 0.5776
Отметим близость всех вариантов коэффициента
2
R
для пробит-
и логит-моделей. Гомпит-модель дает несколько лучшее
предсказание, в то время как логит-модель несколько лучше двух
других с точки зрения коэффициентов
2
pseudoR и
2
McFaddenR .
Представим теперь, что в нашем примере вместо
смоделированных значений
i
y наблюдались бы следующие
значения:
0=
i
y для 1100≤
i
x , 1=
i
y для 1100>
i
x .
Тогда 100% точное предсказание этих значений дала бы модель
{}
⎩
⎨
⎧
>
≤
==
1100если,1
1100если,0
1
i
i
i
x
x
yP
.
Вместе с тем, в рамках пробит-, логит- и гомпит-моделей оценки
максимального правдоподобия в такой ситуации не определены
, т.к.
максимум функции правдоподобия не достигается при конечных
значениях параметров.
Если речь идет о сравнении нескольких альтернативных моделей
бинарного выбора с разным
количеством объясняющих переменных,
то, как и в случае обычных линейных моделей, сравнивать качество