6.5. Байесовский и минимаксный подходы к сравнению оценок
Пока что мы сравнивали несмещенные оценки параметра по их дис-
персии D
ˆ
θ для любого θ ∈ Θ, а произвольные оценки по величине d(
ˆ
θ) =
E(
ˆ
θ − θ)
2
(так называемый среднеквадратический подход). Оценку
ˆ
θ
1
в
соответствии со среднеквадратическим подходом мы считаем лучшей, чем
ˆ
θ
2
, если E(
ˆ
θ
1
− θ)
2
< E(
ˆ
θ
2
− θ)
2
∀θ ∈ Θ. Таким образом, задача сравнения
оценок приводит к вопросу о сравнении функций d(
ˆ
θ). Однако множество
функций d(
ˆ
θ) в общем случае неупорядоченное. Как же сравнить оценки, у
которых разность d(
ˆ
θ
1
) − d(
ˆ
θ
2
) при различных значениях параметра меня-
ет знак? Существуют два подхода, которые позволяют упорядочить множе-
ство всех оценок с помощью одной числовой характеристики – это байе-
совский и минимаксный подходы.
В качестве числовой характеристики используется среднее или мак-
симальное значение d
ˆ
θ по множеству Θ значений параметра θ. Первый из
этих способов называется байесовским, второй – минимаксным.
В первом случае неизвестный параметр θ рассматривается как слу-
чайная величина с некоторой (априорной) плотностью распределения q(t).
Определение 6.7. Байесовской оценкой параметра θ, соответству-
ющей априорному распределению с плотностью q(t), называется
оценка θ
∗
, определенная формулой (66):
θ
∗
= E(θ/X) =
Z
tq(t/X)dt. (66)
По свойствам условного математического ожидания для байесовской оцен-
ки безусловное среднеквадратическое уклонение E(θ
∗
−θ)
2
принимает наи-
меньшее возможное значение. Это означает, что если параметр θ – случай-
ная величина с плотностью распределения q(t), то байесовская оценка яв-
ляется наилучшей в среднеквадратическом смысле.
Пример 6.4. Пусть в модели hB(N, p)i параметр N известен, а пара-
метр p имеет априорное бета-распределение: B(α, β). Найдем по из-
меренному значению X ∈ B(N, p) байесовскую оценку ˆp.
J Совместная плотность f
X,p
и равна произведению одномерной плотности
p на условную плотность X/p при фиксированном значении p:
f
X,p
=
Γ(α + β)
Γ(α)Γ(β)
p
α−1
(1 − p)
β−1
· C
X
N
p
X
(1 − p)
N−X
=
60