Носко В.П. Эконометрика для начинающих. Дополнительные главы
Подождите немного. Документ загружается.
Модели с дискретными объясняемыми переменными…
11
такую модель обычным методом наименьших квадратов (OLS –
ordinary least squares) наталкивается на определенные трудности.
При обычном предположении
0)( =
ii
xE
ε
, ni ,,1 K= , мы
получаем
θθθ
T
iippiii
xxxxyE =++= L
11
)( ,
где
()
T
p
θθθ
,,
1
K= – вектор-столбец (неизвестных) коэффициентов,
(верхний индекс T указывает на транспонирование вектора или
матрицы), а
()
ipi
T
i
xxx ,,
1
K= – вектор-строка (известных) значений
объясняющих переменных в
i -м наблюдении.
Вместе с тем, поскольку
i
y – случайная величина,
принимающая только два значения 0 и 1, то ее условное
математическое ожидание (при заданном значении
i
x ) равно
{}{}{}
iiiiiiii
xyPxyPxyPxyE 10011)( ===⋅+=⋅= .
Таким образом,
{}
iiippi
xyPxx 1
11
==++
θθ
L ,
т.е.
ippi
xx
θθ
++L
11
– вероятность, а значит должно выполняться
соотношение
10
11
≤++≤
ippi
xx
θθ
L .
Это первая из трудностей, с которыми мы сталкивамся при
обращении к таким моделям.
Далее, при
1=
i
y получаем
θε
T
ii
x−= 1 , а при 0=
i
y имеем
θε
T
ii
x−= , так что (при фиксированном
i
x )
i
ε
может принимать в
i -м наблюдении только два значения, и (условные) вероятности
этих значений равны
{
}
{}
θθε
T
iiii
T
ii
xxyPxxP ===−= 11 ,
{
}
{}
θθε
T
iiii
T
ii
xxyPxxP −===−= 10 .
Глава 1
12
Соответственно, случайная величина
i
ε
имеет условное
математическое ожидание
(
)
{
}
(
)
{
}
=−=⋅−+−=⋅−=
i
T
ii
T
ii
T
ii
T
iii
xxPxxxPxxE
θεθθεθε
11)(
(
)
(
)
011 =−⋅−⋅−=
θθθθ
T
i
T
i
T
i
T
i
xxxx
и условную дисперсию
()
()
()
==−=
iiiiiiii
xExExExD
2
2
2
)()(
εεεε
() ()()
=−⋅−+⋅−=
θθθθ
T
i
T
i
T
i
T
i
xxxx 11
22
(
)
(
)
[
]
(
)
θθθθθθ
T
i
T
i
T
i
T
i
T
i
T
i
xxxxxx −⋅=−+⋅−⋅= 111 .
Таким образом, здесь возникает также проблема
гетероскедастичности, осложненная еще и тем, что в выражения
для дисперсий
i
ε
входит и (неизвестный) вектор параметров
θ
.
Предположим, что
i
y индексирует наличие или отсутствие
собственного автомобиля у
i -й семьи, а
i
x – средний ежемесячный
доход, приходящийся на каждого члена этой семьи (в условных
единицах). Естественно предполагать, что вероятность наличия
автомобиля возрастает с ростом
i
x . Если использовать линейную
модель
iii
xy
εβα
++= , ni ,,1 K= ,
то
{}
iiiii
xxyPxyE
βα
+=== 1)( ,
так что если значение
i
x увеличить на единицу, то вероятность
наличия автомобиля увеличится на величину, равную
()()()
ββαβα
=+−++
ii
xx 1 ,
независимо от того
, сколь большим или малым является
среднедушевой доход
i
x .
Между тем такое положение вряд ли можно считать
оправданным. Скорее можно предположить, что для семей с малыми
доходами наличие автомобиля – большая редкость, и некоторое
Модели с дискретными объясняемыми переменными…
13
увеличение среднедушевого дохода лишь ненамного увеличит
вероятность приобретения автомобиля такой семьей. Для семей с
весьма высокими доходами возрастание вероятности наличия
автомобиля также не может быть существенным, поскольку такие
семьи, как правило, уже обладают автомобилем. Большее влияние
увеличения дохода на возрастание вероятности наличия автомобиля
должно наблюдаться для семей со “средними” доходами, т
.е. в
“переходной зоне” от доходов, еще
не позволяющих обзавестись
собственным автомобилем, к доходам, уже
обеспечившим
возможность приобретения собственного автомобиля.
Возьмем прямоугольную систему координат, в которой по оси
абсцисс будем откладывать размеры среднедушевых семейных
доходов. Пусть
{} {}
nnn
xxxxxx ,,max,,,min
1)(1)1(
KK == ,
так что
)()1( n
xxx ≤≤ – интервал значений среднедушевых доходов
рассматриваемых семей. Разобъем этот интервал на некоторое
количество m подинтервалов одинаковой длины
(
)
mxxl
n
/
)1()(
−= .
Построим над каждым таким подинтервалом прямоугольник,
нижнее основание которого совпадает с этим подинтервалом. Пусть
в пределы
j
-го подинтервала ( mj ,,1 K= ) попадают среднедушевые
доходы
j
n семей, и при этом лишь у
1,j
n из этих семей имеется
автомобиль. (Для определенности, значения x
i
, лежащие на границе
двух соседних подинтервалов, будем относить к подинтервалу,
расположенному левее.) Тогда высоту прямоугольника,
построенного над
j
-м подинтервалом, положим равной
jjj
nnh /
1,
= .
При этом мы предполагаем, что общее количество
рассматриваемых семей n достаточно велико, так что можно взять
не слишком малое количество подинтервалов m, и при этом все еще
иметь достаточное количество значений x
i
в каждом подинтервале.
Глава 1
14
Построим теперь ломаную с концами в точках
(
)
0,
)1(
x и
(
)
1,
)(n
x ,
узлы которой совпадают с серединами верхних сторон построенных
прямоугольников. Эта ломаная является графиком некоторой
кусочно-линейной функции )(xG
n
. И если
{}
)(1 xGxxyP
ii
=== , то
функция
)(xG
n
в какой-то мере “оценивает” функцию )(xG .
Правда, если функцию
)(xG естественно считать неубывающей
(возрастающей) по x, то в силу случайных причин функция
)(xG
n
вполне может иметь и участки убывания. Тем не менее при
большом количестве наблюдений и достаточном количестве
подинтервалов график функции
)(xG
n
отражает в общих чертах
форму “истинной” функции
)(xG , так что по поведению функции
)(xG
n
можно судить о совместимости или о несовместимости
линейной модели с данными наблюдений.
Рассмотрим (искусственно смоделированную) выборку,
состоящую из 1000 семей со среднедушевыми месячными доходами
от 100 до 2100 условных единиц, среди которых 510 семей имеют
собственный автомобиль.
Построенная по этим данным ломаная (график функции
)(xG
n
)
имеет следующий вид:
Модели с дискретными объясняемыми переменными…
15
0
0.2
0.4
0.6
0.8
1
100 600 1100 1600 2100
X
G_n
и указывает на то, что “истинная” функция
)(xG имеет скорее не
линейную, а S-образную форму.
Если, тем не менее, исходить из линейной модели наблюдений,
то метод наименьших квадратов дает для параметров такой модели
следующие оценки:
,237628.0
ˆ
−=
α
,000680.0
ˆ
=
β
так что условная
вероятность
{}
ii
xyP 1= оценивается как
{}
iii
xxyP 000680.0237628.01
ˆ
+−==
.
При
349≤
i
x правая часть принимает отрицательные значения, а
при
1821≥
i
x – значения, превышающие единицу, что выходит за
пределы интервала возможных значений вероятности.
Заметим теперь, что в число функций, имеющих S-образную
форму и значения в пределах от 0 до 1, входит целый ряд функций
распределения, используемых в теории вероятностей и
математической статистике, например, нормальные функции
распределения.
Глава 1
16
Если использовать функцию нормального распределения
(
)
2
,
σµ
N , имеющего математическое ожидание
µ
и дисперсию
2
σ
,
то тогда
()
∫
∞−
⎪
⎭
⎪
⎬
⎫
⎪
⎩
⎪
⎨
⎧
−
−=
x
dz
z
xG
2
2
2
exp
2
1
)(
σ
µ
πσ
.
Замена переменной
()
tz =−
σµ
/ приводит это соотношение к виду
⎟
⎠
⎞
⎜
⎝
⎛
−
==
∫
−
∞−
−
σ
µ
π
σµ
x
dtexG
x
t
Φ
/)(
2/
2
2
1
)(
,
где
∫
∞−
−
=
z
t
dtez
2/
2
2
1
)(
π
Φ – функция стандартного нормального
распределения
()
1,0N , математическое ожидание которого равно
нулю, а дисперсия равна единице.
Соотношение
⎟
⎠
⎞
⎜
⎝
⎛
−
=
σ
µ
x
xG
Φ)( можно записать также в виде
()
xxG
βα
+= Φ)( ,
где
σ
β
σ
µ
α
/1,/ =−= .
Таким образом, используя для аппроксимации
)(xG функцию
нормального распределения, мы приходим к модели
()
iii
xy
εβα
++= Φ , ni ,,1 K= .
Оценив параметры
α
и
β
этой модели, мы тем самым получим
и оценки параметров функции нормального распределения,
аппроксимирующего функцию
)(xG :
βσβαµ
ˆ
/1
ˆ
,
ˆ
/
ˆˆ
=−=
.
Проблема, однако, в том, каким образом производить
оценивание.
Модели с дискретными объясняемыми переменными…
17
Заметим, что функция
()
xxG
βα
+= Φ)( нелинейна по
параметрам, так что мы имеем здесь дело с нелинейной моделью
регрессии. Следуя принципу наименьших квадратов, для получения
оценок
α
ˆ
и
β
ˆ
надо минимизировать по
α
и
β
сумму квадратов
() ( )()
∑
=
+−=
n
i
ii
xyQ
1
2
,
βαβα
Φ .
Однако в отличие от линейной модели, получающиеся здесь
нормальные уравнения нелинейны, не имеют решения в явном виде,
и для получения приближенных значений оценок
α
ˆ
и
β
ˆ
приходится использовать итерационные процедуры. Как и в
рассмотренном ранее случае линейной модели, здесь возникает и
проблема гетероскедастичности: условные дисперсии ошибок
равны
()()()
iiii
xxxD
βαβαε
+−⋅+= ΦΦ 1)( .
Соответственно, для учета различия этих дисперсий при разных
i следует использовать взвешенный метод наименьших
квадратов, т.е. минимизировать по
α
и
β
сумму квадратов
() ( )()
∑
=
+−⋅=
n
i
iii
xywQ
1
2
,
βαβα
Φ ,
где веса
i
w определяются соотношением
()()()
[]
1
1)(/1
−
+−⋅+==
iiiii
xxxDw
βαβαε
ΦΦ .
К сожалению, эти веса зависят не только от x
i
, но и от значений
параметров
α
и
β
, которые нам не известны и которые как раз и
подлежат оцениванию. Поэтому для реализации итерационной
процедуры оценивания необходимы некоторые начальные оценки
весов
0
ˆ
i
w , ni ,,1 K= , а для этого необходимы начальные оценки
0
ˆ
i
G
значений
()
iii
xxGG
βα
+== Φ)( , которые дали бы оценки весов в
виде
()
[]
1
000
ˆ
1
ˆ
ˆ
−
−=
iii
GGw .
Глава 1
18
Поскольку же у нас 0=
i
y или 1=
i
y , то единственная разумная
возможность – положить
1
ˆ
0
=
i
G , если 1=
i
y , и 0
ˆ
0
=
i
G , если 0=
i
y .
Однако в обоих случаях вес
0
ˆ
i
w не определен (знаменатель равен
нулю).
Ввиду отмеченных выше трудностей в применении метода
наименьших квадратов к рассмотренным моделям, мы используем
альтернативный метод оценивания, широко применяемый в
прикладных исследованиях, а именно – метод максимального
правдоподобия.
Однако прежде чем переходить к изложению этого метода, мы
должны заметить, что в качестве объясняющих факторов в моделях
рассмотренного типа
могут выступать несколько переменных, и
тогда мы получаем модель вида
(
)
iippii
xxGy
εθθ
+++= L
11
, ni ,,1 K= ,
которую обычно называют моделью бинарного выбора.
1.2. Использование метода максимального
правдоподобия для оценивания моделей
бинарного выбора
Итак, пусть наша задача состоит в оценивании параметров
модели бинарного выбора
(
)
iippii
xxGy
εθθ
+++= L
11
, ni ,,1 K= ,
где
()
zG – S-образная функция распределения, имеющего
плотность
() ()
zGzg
′
= . В соответствии с введенными выше
обозначениями
θθθ
T
iippi
xxx =++L
11
, так что
()
(
)
θθθ
T
iippi
xGxxG =++ L
11
. Мы предполагаем, что при
фиксированных значениях объясняющих переменных в n
наблюдениях, что соответствует фиксированным значениям
Модели с дискретными объясняемыми переменными…
19
векторов
i
x , случайные ошибки
n
εε
,,
1
K статистически
независимы и
0)( =
ii
xE
ε
, так что
{}
(
)
θ
T
iiiii
xGxyExyP === )(1 .
Тогда при фиксированных
i
x статистически независимы и
случайные величины
(
)
iippi
xxG
εθθ
+++ L
11
, ni ,,1 K= , т.е.
статистически независимы
n
yy ,,
1
K . В силу этого (условная при
фиксированных
i
x , ni ,,1 K= ) совместная вероятность получения
конкретного набора наблюдений
n
yy ,,
1
K (конкретного набора
нулей и единиц) равна произведению
{}(){}()
===
∏
=
−
n
i
y
ii
y
ii
ii
xyPxyP
1
1
01
()() ()()
∏
=
−
−
n
i
y
T
i
y
T
i
ii
xGxG
1
1
1
θθ
.
Правая часть этого выражения является при фиксированных
i
x ,
ni ,,1 K= , функцией от вектора неизвестных параметров
θ
,
()
()() ()()
∏
=
−
−==
n
i
y
T
i
y
T
in
ii
xGxGxxLL
1
1
1
1,,)(
θθθθ
K
и интерпретируется как функция правдоподобия параметров
p
θθ
,,
1
K . Дело в том, что при различных наборах значений
p
θθ
,,
1
K
получаются различные
)(
θ
L , т.е. при фиксированных
i
x , ni ,,1 K= ,
вероятность наблюдать конкретный набор значений
n
yy ,,
1
K может
быть более высокой или более низкой, в зависимости от значения
θ
.
Метод максимального правдоподобия предлагает в качестве оценки
вектора параметров
θ
использовать значение
θθ
ˆ
=
,
максимизирующее функцию правдоподобия, так что
() ()
()() ()()
∏
=
−
−==
n
i
y
T
i
y
T
i
ii
xGxGLL
1
1
1max
ˆ
max
ˆ
θθθθ
θθ
.
Использование свойства монотонного возрастания функции
)ln(z , позволяет найти то же самое значение
θ
ˆ
, максимизируя
логарифмическую функцию правдоподобия
()
θ
Lln . В нашем
случае
Глава 1
20
()
()
()
()()
θθθ
T
i
n
i
i
T
i
n
i
i
xGyxGyL −−+=
∑∑
==
1ln1lnln
11
.
Мы не будем углубляться в технические детали
соответствующих процедур максимизации, имея в виду, что такие
процедуры “встроены” во многие прикладные пакеты
статистических программ для персональных компьютеров и
читатель при необходимости может ими воспользоваться. Заметим
только, что если не имеет место чистая мультиколлинеарность
объясняющих переменных (т.е. если матрица
(
)
ij
xX = значений
p
объясняющих переменных в
n наблюдениях имеет ранг
p
, так что
ее столбцы линейно независимы), то тогда функция
)(
θ
L имеет
единственный локальный максимум, являющийся и глобальным
максимумом, что гарантирует сходимость соответствующих
итерационных процедур к оценке максимального правдоподобия.
Мы рассмотрим теперь результаты применения метода
максимального правдоподобия для оценивания параметров
α
и
β
моделей
()
iii
xGy
εβα
++= , ni ,,1 K= ,
по упомянутым выше смоделированным данным. При этом мы
используем предусмотренную в пакете Econometric Views
(EVIEWS) возможность выбора в качестве
()
zG функций
∫
∞−
−
=
z
t
dtez
2/
2
2
1
)(
π
Φ – функция стандартного нормального
распределения
()
1,0N (пробит-модель),
z
z
e
e
z
+
=
1
)(
Λ – функция стандартного логистического
распределения (логит-модель),