Файлы
Обратная связь
Для правообладателей
Найти
Кудряшов Б.Д. Теория информации
Файлы
Академическая и специальная литература
Информатика и вычислительная техника
Теория информации и корректирующие коды
Назад
Скачать
Подождите немного. Документ загружается.
H
(
D
)
f
i
(
x
)
=
1
√
2
π
σ
i
e
−
x
2
2
σ
2
i
.
I
(
X
n
;
Y
n
)
D
I
(
X
n
;
Y
n
)
=
h
(
X
n
)
−
h
(
X
n
|
Y
n
)
=
=
n
X
i
=1
h
(
X
i
)
−
n
X
i
=1
h
(
X
i
|
X
1
...X
i
−
1
Y
1
...Y
n
)
≥
≥
n
X
i
=1
h
(
X
i
)
−
n
X
i
=1
h
(
X
i
|
Y
i
)
=
=
n
X
i
=1
I
(
X
i
;
Y
i
)
.
D
i
=
M
[(
x
i
−
y
i
)
2
]
i
x
I
(
X
n
;
Y
n
)
≥
n
X
i
=1
H
(
D
i
)
≥
≥
n
X
i
=1
max
½
1
2
log
σ
2
i
D
i
,
0
¾
.
ϕ
(
y
|
x
)
D
1
,
...,
D
n
1
n
n
X
i
=1
D
i
=
D
.
D
i
≤
σ
2
i
,
i
=
1
,
...,
n,
D
1
,
...,
D
n
i
D
i
>
σ
2
i
j
D
j
<
σ
2
j
j
D
i
D
0
i
=
σ
2
i
D
j
D
0
j
=
D
j
+
D
i
−
σ
2
i
j
D
i
>
σ
2
i
∪
D
1
,
...,
D
n
∪
D
1
,
...,
D
n
D
i
θ
σ
2
i
,
i
=
1
,
...,
n
H
(
D
)
=
1
2
n
n
X
i
=1
max
½
log
σ
2
i
θ
,
0
¾
,
θ
1
n
n
X
i
=1
min
©
θ
,
σ
2
i
ª
=
D
.
θ
D
D
x
=
(
x
1
,
x
2
,
...,
x
n
)
K
n
x
K
n
H
(
D
)
n
K
n
H
(
D
)
=
1
2
n
n
X
i
=1
max
½
log
λ
i
θ
,
0
¾
,
λ
i
,
i
=
1
,
...,
n
K
n
θ
1
n
n
X
i
=1
min
{
θ
,
λ
i
}
=
D
.
x
1
,
x
2
,
...
K
(
τ
)
S
(
ω
)
=
∞
X
n
=
−∞
K
(
n
)
e
−
inω
,
ω
∈
(
−
π
,
π
]
ω
S
(
ω
)
n
S
(
ω
)
R
(
D
)
=
1
4
π
Z
π
−
π
max
½
log
S
(
ω
)
θ
,
0
¾
dω
.
θ
1
2
π
Z
π
−
π
min
{
θ
,
S
(
ω
)
}
dω
=
D
.
(
)
S
ω
ω
π
π
−
0
θ
θ
R
(
D
)
ω
θ
X
n
n
p
(
x
)
=
p
(
x
1
,
...,
x
n
)
=
Q
n
i
=1
p
(
x
i
)
R
M
=
2
Rn
Y
n
D
=
M[
d
n
(
x
,
y
)]
d
n
(
x
,
y
)
d
n
(
x
,
y
)
=
1
n
P
n
i
=1
d
(
x
i
,
y
i
)
D
R
H
(
D
)
X
=
{
x
}
X
=
{
x
}
{
d
(
x,
y
)
,
x
∈
X
,
y
∈
Y
}
R
D
R
≥
H
(
D
)
nR
(a)
≥
H
(
Y
n
)
≥
(b)
≥
H
(
Y
n
)
−
H
(
Y
n
|
X
n
)
=
(c)
=
I
(
X
n
;
Y
n
)
=
(d)
=
H
(
X
n
)
−
H
(
X
n
|
Y
n
)
=
(e)
=
Ã
n
X
i
=1
H
(
X
i
)
!
−
H
(
X
n
|
Y
n
)
≥
(f
)
≥
n
X
i
=1
(
H
(
X
i
)
−
H
(
X
i
|
Y
i
))
≥
(g)
≥
n
X
i
=1
I
(
X
i
;
Y
i
)
≥
(h)
≥
n
X
i
=1
H
(
D
i
))
≥
(i)
≥
nH
Ã
1
n
n
X
i
=1
D
i
!
=
(j)
=
H
(
D
)
.
D
i
X
i
Y
i
n
¤
R
D
H
(
D
)
D
=
0
D
D
X
=
{
x,
p
(
x
)
}
Y
=
{
y
}
d
(
x,
y
)
ε
δ
n
0
n
≥
n
0
D
R
≤
H
(
D
)
+
δ
D
+
ε
H
(
D
)
=
min
{
p
(
y
|
x
)
}
:M[
d
(
x,y
)]
≤
D
I
(
X
;
Y
)
−
D
H
(
D
)
D
H
(
D
)
H
(
D
)
‹
1
2
...
11
12
13
14
15
16
17
18
19
›