Файлы
Обратная связь
Для правообладателей
Найти
Кудряшов Б.Д. Теория информации
Файлы
Академическая и специальная литература
Информатика и вычислительная техника
Теория информации и корректирующие коды
Назад
Скачать
Подождите немного. Документ загружается.
C
n
R
=
log
|
C
|
/n
N
u
∈
U
N
C
v
∈
V
N
nR
=
log
|
C
|
=
(a)
=
H
(
X
n
)
(b)
≤
H
(
U
N
)
=
=
H
(
U
N
)
−
H
(
U
n
|
V
N
)
+
H
(
U
N
|
V
N
)
=
(c)
=
I
(
U
N
;
V
N
)
+
H
(
U
N
|
V
N
)
≤
(d)
=
I
(
X
n
;
Y
n
)
+
H
(
U
N
|
V
N
)
≤
(e)
≤
nC
0
+
nγ
(
¯
P
e
)
.
U
N
X
n
γ
(
·
)
γ
(
¯
P
e
)
≥
R
−
C
0
>
δ.
γ
(
·
)
γ
(
¯
P
e
)
>
δ
ε
>
0
¯
P
e
≥
ε
¤
δ
)
ε
X
=
{
x
}
Y
=
{
y
}
P
=
{
p
(
y
|
x
)
}
x
=
(
x
1
,
...,
x
n
)
y
=
(
y
1
,
...,
y
n
)
p
(
y
|
x
)
p
(
y
|
x
)
=
n
Y
i
=1
p
(
y
i
|
x
i
)
.
C
0
=
sup
n
max
{
p
(
x
)
}
1
n
I
(
X
n
;
Y
n
)
.
P
C
0
=
max
{
p
(
x
)
}
I
(
X
;
Y
)
.
p
(
x
)
{
p
(
x
)
,
x
∈
X
n
}
I
(
X
n
;
Y
n
)
=
H
(
Y
n
)
−
H
(
Y
n
|
X
n
)
.
H
(
Y
n
|
X
n
)
=
M
[
−
log
p
(
y
|
x
)]
=
=
M
"
−
log
n
Y
i
=1
p
(
y
i
|
x
i
)
#
=
=
n
X
i
=1
M
[
−
log
p
(
y
i
|
x
i
)]
=
=
n
X
i
=1
H
(
Y
i
|
X
i
)
.
H
(
Y
n
)
≤
n
X
i
=1
H
(
Y
i
)
,
I
(
X
n
;
Y
n
)
≤
n
X
i
=1
[
H
(
Y
i
)
−
H
(
Y
i
|
X
i
)]
=
n
X
i
=1
I
(
X
i
;
Y
i
)
.
X
n
p
(
y
)
=
X
x
∈
X
n
p
(
x
)
p
(
y
|
x
)
.
p
(
y
)
=
X
x
∈
X
n
n
Y
i
=1
p
(
x
i
)
n
Y
i
=1
p
(
y
i
|
x
i
)
=
=
X
x
∈
X
n
n
Y
i
=1
p
(
x
i
)
p
(
y
i
|
x
i
)
=
=
X
x
1
∈
X
X
x
2
∈
X
·
·
·
X
x
n
∈
X
p
(
x
1
)
p
(
y
1
|
x
1
)
·
p
(
x
2
)
p
(
y
2
|
x
2
)
·
.
.
.
.
.
.
·
p
(
x
n
)
p
(
y
n
|
x
n
)
.
p
(
y
)
=
n
Y
i
=1
X
x
i
∈
X
p
(
x
i
)
p
(
y
i
|
x
i
)
=
n
Y
i
=1
p
(
y
i
)
,
C
0
=
sup
n
max
{
p
(
x
)
}
1
n
n
X
i
=1
I
(
X
i
;
Y
i
)
.
C
0
=
sup
n
1
n
n
X
i
=1
max
{
p
(
x
i
)
}
I
(
X
i
;
Y
i
)
.
C
0
=
sup
n
max
{
p
(
x
)
}
I
(
X
;
Y
)
=
max
{
p
(
x
)
}
I
(
X
;
Y
)
.
¤
P
=
{
p
(
y
|
x
)
,
x
∈
X
,
y
∈
Y
}
C
0
=
max
{
p
(
x
)
}
I
(
X
;
Y
)
.
P
C
0
=
max
{
p
(
x
)
}
{
H
(
Y
)
}
−
H
(
Y
|
x
)
,
x
∈
X.
2
1
0
0
1
0
0
1
0
1
ε
−
−
p
1
ε
ε
p
p
p
p
p
−
1
X
Y
0
1
X
Y
0
z
1
p
−
1
ε
−
−
p
1
а
)
ДСК
б
)
ДСтК
в
)
Симметричный
по
выходу
канал
p
p
p
p
P
−
−
=
1
1
ε
ε
ε
ε
−
−
−
−
=
p
p
p
p
P
1
1
1
1/2
0
0
2
/
1
1
=
P
C
0
≤
log
L
−
H
(
Y
|
x
)
,
x
∈
X
.
C
0
=
log
|
Y
|
−
H
(
Y
|
x
)
,
x
∈
X.
I
(
X
,
Y
)
=
H
(
Y
)
−
H
(
Y
|
X
)
.
H
(
Y
|
X
)
=
X
x
p
(
x
)
H
(
Y
|
x
)
.
H
(
Y
|
x
)
H
(
Y
)
H
(
Y
)
=
log
|
Y
|
Y
p
(
y
)
=
X
x
p
(
x
)
p
(
y
|
x
)
.
p
(
y
)
=
1
|
X
|
X
x
p
(
y
|
x
)
,
y
∈
Y
p
(
y
)
y
p
(
y
)
=
1
/
|
Y
|
¤
C
0
=
1
−
η
(
p
)
.
p
0
0.2
0.4
0.6
0.8
1
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
C=1−H(p)
H(p)
p
C
p
=
1
/
2
p
C
0
=
1
p
=
0
p
=
1
/
2
.
p
>
1
/
2
p
<
1
/
2
.
P
=
[
P
1
|
P
2
|
...
|
P
M
]
,
P
i
P
0
=
·
1
−
p
−
ε
p
p
1
−
p
−
ε
¯
¯
¯
¯
ε
ε
¸
.
Y
Y
1
,
...,
Y
M
Y
P
1
,
...,
P
M
Y
H
(
Y
)
=
−
M
X
i
=1
X
y
∈
Y
i
p
(
y
)
log
p
(
y
)
.
q
i
=
X
y
∈
Y
i
p
(
y
)
Y
i
q
1
,
...,
q
M
I
=
{
1
,
...,
M
}
q
1
,
...,
q
M
{
p
(
x
)
}
X
Y
i
x
P(
Y
i
|
x
)
=
X
y
∈
Y
i
p
(
y
|
x
)
x
x
P(
Y
i
|
x
)
=
q
i
H
(
Y
)
=
−
M
X
i
=1
q
i
X
y
∈
Y
i
p
(
y
)
q
i
log
µ
p
(
y
)
q
i
q
i
¶
=
H
(
I
)
+
M
X
i
=1
q
i
H
(
Y
i
)
,
H
(
I
)
=
−
M
X
i
=1
q
i
log
q
i
I
H
(
Y
i
)
=
−
X
y
∈
Y
i
p
(
y
)
q
i
log
p
(
y
)
q
i
Y
i
P
i
q
i
H
(
Y
)
¤
p
x
(0)
=
p
x
(1)
=
1
/
2
p
y
(0)
=
p
y
(1)
=
1
−
ε
2
,
p
y
(
z
)
=
ε.
C
0
=
(1
−
ε
)
µ
1
−
η
µ
p
1
−
ε
¶¶
.
p
=
0
C
0
=
1
−
ε.
‹
1
2
...
10
11
12
13
14
15
16
...
18
19
›