Теория информации

1
2.1. Комбинаторная мера информации Хартли.



Форм. 2.1
Форм. 2.2
Форм. 2.3
Форм. 2.4

2
2.2. Вероятностная теория информации.

Пусть имеется множество {X} отдельных событий: x1,

p(x1)+p(x2)+…+p(xm)=1

Форм. 2.5

Форм. 2.6

Форм. 2.7

Форм. 2.12

Форм. 2.13

Форм. 2.10

Форм. 2.11

Форм. 2.8

Форм. 2.9

3



2.2. Вероятностная теория информации.
Форм. 2.14
Форм. 2.15
Форм. 2.16
Форм. 2.17

4
2.2. Вероятностная теория информации.






Форм. 2.18
Форм. 2.22
Форм. 2.21
Форм. 2.23
Форм. 2.24
Форм. 2.25
Форм.

Форм. 2.20

Форм. 2.19

5





2.2. Вероятностная теория информации.
Форм. 2.27
Форм. 2.28
Форм. 2.29
Форм. 2.30
Форм. 2.31
Форм. 2.32

6
2.3. Количество информации, получаемое в опыте с конечным ансамблем случайных

Форм. 2.33

Форм. 2.34

7
2.4. Энтропия непрерывной случайной величины.







Форм. 2.40
Форм. 2.38
Форм. 2.39
Форм. 2.37
Форм. 2.36
Форм.

8
2.4. Энтропия непрерывной случайной величины.





может быть больше, меньше и равно

V - объем неопределенности

Форм. 2.41

Форм. 2.42

Форм. 2.43

Форм. 2.44

Форм. 2.45

Форм. 2.46

Энтропия непрерывной случайной величины.




Форм. 2.47
Форм. 2.48
Форм. 2.49
Форм. 2.50