Файлы
Обратная связь
Для правообладателей
Найти
Кудряшов Б.Д. Теория информации
Файлы
Академическая и специальная литература
Информатика и вычислительная техника
Теория информации и корректирующие коды
Назад
Скачать
Подождите немного. Документ загружается.
R
(
D
)
X
n
f
(
x
)
,
x
∈
X
n
X
n
I
(
X
n
;
Y
n
)
I
(
X
n
;
Y
n
)
/n
ϕ
n
(
y
|
x
)
D
(
ϕ
n
)
=
Z
X
n
Z
Y
n
f
(
x
)
ϕ
n
(
y
|
x
)
d
n
(
y
,
x
)
d
x
d
y
.
H
(
D
)
=
inf
n
min
ϕ
n
:
D
(
ϕ
n
)
≤
D
1
n
I
(
X
n
;
Y
n
)
.
R
(
D
)
H
(
D
)
D
H
(
D
)
H
(
D
)
H
(
D
)
D
H
(
D
)
H
(
D
)
H
(
D
)
H
(
D
)
≥
0
H
(
D
)
D
D
¤
H
(
D
)
=
min
ϕ
:
D
(
ϕ
))
≤
D
I
(
X
;
Y
)
,
ϕ
=
ϕ
(
y
|
x
)
Y
x
∈
X
I
(
X
n
;
Y
n
)
=
h
(
X
n
)
−
h
(
X
n
|
Y
n
)
=
(a)
=
n
X
i
=1
h
(
X
i
)
−
n
X
i
=1
h
(
X
i
|
X
1
...X
i
−
1
Y
1
...Y
n
)
≥
(b)
≥
n
X
i
=1
h
(
X
i
)
−
n
X
i
=1
h
(
X
i
|
Y
i
)
=
=
n
X
i
=1
I
(
X
i
;
Y
i
)
,
ϕ
n
(
y
|
x
)
=
n
Y
i
=1
ϕ
(
i
)
(
y
i
|
x
i
)
,
H
(
D
)
ϕ
(
i
)
i
I
(
X
n
;
Y
n
)
ϕ
n
I
(
X
n
;
Y
n
)
=
I
(
ϕ
n
)
1
n
I
(
ϕ
n
)
≥
1
n
n
X
i
=1
I
(
ϕ
(
i
)
)
.
∪
1
n
I
(
ϕ
n
)
≥
I
Ã
1
n
n
X
i
=1
ϕ
(
i
)
!
=
I
(
ϕ
0
)
,
ϕ
0
=
1
n
n
X
i
=1
ϕ
(
i
)
,
ϕ
0
=
ϕ
(
i
)
i
=
1
,
...,
n
I
(
X
n
;
Y
n
)
ϕ
n
n
ϕ
n
D
D
(
ϕ
n
)
=
M
[
d
n
(
x
,
y
)]
=
=
M
"
1
n
n
X
i
=1
d
(
x
i
,
y
i
)
#
=
=
1
n
n
X
i
=1
M
[
d
(
x
i
,
y
i
)]
=
=
1
n
n
X
i
=1
Z
X
Z
Y
f
(
x
)
ϕ
(
i
)
(
y
|
x
)
d
(
x,
y
)
dxdy
=
=
Z
X
Z
Y
f
(
x
)
Ã
1
n
n
X
i
=1
ϕ
(
i
)
(
y
|
x
)
!
d
(
x,
y
)
dxdy
=
=
Z
X
Z
Y
f
(
x
)
ϕ
0
(
y
|
x
)
d
(
x,
y
)
dxdy
=
=
D
(
ϕ
0
)
ϕ
n
(
y
|
x
)
=
n
Y
i
=1
ϕ
0
(
y
i
|
x
i
)
,
1
n
I
(
X
n
;
Y
n
)
=
I
(
ϕ
0
)
=
I
(
X
;
Y
)
,
I
(
X
;
Y
)
ϕ
(
x
|
y
)
=
ϕ
0
(
x
|
y
)
¤
H
(
D
)
∪
D
H
(
D
)
D
1
D
2
α
∈
[0
,
1]
H
(
D
α
)
≤
αH
(
D
1
)
+
(1
−
α
)
H
(
D
2
)
,
D
α
=
α
D
1
+
(1
−
α
)
D
2
ϕ
1
ϕ
2
H
(
D
1
)
H
(
D
2
)
ϕ
α
=
αϕ
1
+
(1
−
α
)
ϕ
2
H
(
D
α
)
(a)
≤
I
(
ϕ
α
)
=
=
I
(
αϕ
1
+
(1
−
α
)
ϕ
2
)
≤
(b)
≤
αI
(
ϕ
1
)
+
(1
−
α
)
I
(
ϕ
2
)
=
=
αH
(
D
1
)
+
(1
−
α
)
H
(
D
2
)
.
ϕ
α
I
(
X
;
Y
)
H
(
D
α
)
∪
¤
H
(
D
)
=
0
D
≥
D
0
=
min
y
Z
X
f
(
x
)
d
(
y
,
x
)
dx
H
(
D
)
y
0
y
ϕ
(
y
|
x
)
y
0
=
(
y
0
,
...,
y
0
)
x
∈
X
n
x
y
I
(
X
n
,
Y
n
)
=
0
H
(
D
)
=
0
D
0
¤
H
(
D
)
∪
X
=
{
0
,
1
}
p
(0)
=
1
−
p,
p
(1)
=
p
x
∈
X
n
y
∈
{
0
,
1
}
n
D
=
M
[
d
n
(
x
,
y
)]
=
1
n
M
[
d
H
(
x
,
y
)]
,
d
H
(
x
,
y
)
x
y
H
(
D
)
=
min
ϕ
:
D
(
ϕ
))
≤
D
I
(
X
;
Y
)
,
ϕ
(
y
|
x
)
ϕ
(
y
=
0
|
x
=
0)
ϕ
(
y
=
0
|
x
=
1)
ϕ
⊕
x
⊕
y
=
½
0
,
x
=
y
;
1
,
x
6
=
y
.
X
⊕
Y
=
{
x
⊕
y
}
X
Y
D
I
(
X
;
Y
)
I
(
X
;
Y
)
=
H
(
X
)
−
H
(
X
|
Y
)
=
(a)
=
H
(
X
)
−
H
(
X
⊕
Y
|
Y
)
≥
(b)
≥
H
(
X
)
−
H
(
X
⊕
Y
)
=
=
η
(
p
)
−
η
(
D
)
.
X
X
⊕
Y
Y
η
(
a
)
=
−
a
log
a
−
(1
−
a
)
log
(1
−
a
)
X
Y
H
(
D
)
1
D
−
1
D
−
D
D
Y
X
0
0
1
1
1
p
−
p
1
1
2
p
D
D
−
−
−
1
2
p
D
D
−
−
X
Y
p
(
y
=
0)
=
1
−
λ
p
(
y
=
1)
=
λ
x
∈
X
p
(
x
=
0)
=
1
−
p
p
(
x
=
1)
=
p
p
(
y
=
0
|
x
=
1)
=
p
(
y
=
1
|
x
=
0)
=
D
λ
(1
−
λ
)(1
−
D
)
+
λD
=
1
−
p.
λ
=
p
−
D
1
−
2
D
,
D
=
min
{
p,
1
−
p
}
ϕ
p
H
(
D
)
=
½
η
(
p
)
−
η
(
D
)
,
0
≤
D
≤
min
{
p,
1
−
p
}
0
,
D
>
min
{
p,
1
−
p
}
H
(
D
)
0
0.05
0.1
0.15
0.2
0.25
0.3
0.35
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
D
H(D)
p=0.3
σ
2
f
(
x
)
=
1
σ
√
2
π
e
−
x
2
2
σ
2
,
I
(
X
;
Y
)
=
h
(
X
)
−
h
(
X
|
Y
)
=
=
h
(
X
)
−
h
(
X
−
Y
|
Y
)
≥
≥
h
(
X
)
−
h
(
X
−
Y
)
=
=
log
√
2
π
eσ
2
−
log
√
2
π
eD
=
1
2
log
σ
2
D
.
H
(
D
)
Z
=
X
−
Y
D
Y
σ
2
y
=
σ
2
−
D
X
=
Y
+
Z
σ
2
y
+
D
=
σ
2
X
Y
ϕ
(
y
|
x
)
D
≤
σ
2
y
=
0
X
σ
2
D
>
σ
2
σ
2
H
(
D
)
=
½
1
2
log
σ
2
D
,
0
≤
D
≤
σ
2
0
,
D
>
σ
2
H
(
D
)
=
max
½
1
2
log
σ
2
D
,
0
¾
.
σ
2
h
(
X
)
H
(
D
)
≥
h
(
X
)
−
log
√
2
π
eD
.
0
0.2
0.4
0.6
0.8
1
1.2
0
0.5
1
1.5
2
2.5
3
3.5
4
4.5
5
D
H(D)
σ
2
=1
f
(
x
)
=
n
Y
i
=1
f
i
(
x
i
)
,
‹
1
2
...
11
12
13
14
15
16
17
18
19
›