Количество информации. Вероятностный подход к измерению информации

им. Н.Е. Момота
Преподаватель информатики: Зенченко О.С.

в основе нашего мира лежат 3 составляющие –
вещество, энергия,

информация.

А как много в мире вещества, энергии и информации?
Можно ли измерить количество вещества? В каких единицах?
Можно ли определить количество энергии?
Можно ли измерить количество информации? Как это сделать?

Оказывается, информацию тоже можно измерить и находить ее количество.
Существуют 2 подхода к измерению количества информации

«много» или «мало»?

Столица России - Москва
Сумма квадратов катетов

равна квадрату гипотенузы

Эйфелева башня имеет высоту 300 метров и вес 9000 тонн

Сообщение несет больше информации, если в нем содержатся Новые понятные сведения. Такое сообщение называется ИНФОРМАТИВНЫМ

ВЫВОД: количество информации зависит от информативности.

является информативным, следовательно , оно пополняет нас знаниями или уменьшает

нашу неопределенность знаний. Другими словами сообщение содержит информацию, если оно приводит нас к уменьшению неопределенности наших знаний.
Пример: подбрасывание монеты

Количество информации – мера уменьшения неопределенности знаний при получении информационных сообщений.

в сообщении, которое уменьшает неопределенность в 2 раза.


Формула Хартли

Где N-

Количество вариантов исхода
i- количество информации, которое несет сообщение

N = 2i

- спросили человека в автобусе. «Нет», - ответил он. Сколько

информации содержит ответ?
Решение: человек мог ответить только «Да» или «Нет», т.е. выбрать один ответ из двух возможных. Поэтому N = 2. Значит I = 1 бит.
Ответ: 1 бит.
№2
«Петя! Ты пойдешь сегодня в кино?» - спросил я друга. «Да», - ответил Петя. Сколько информации я получил?
Решение: Петя мог ответить только «Да» или «Нет», т.е. выбрать один ответ из двух возможных. Поэтому N = 2, значит I = 1 бит.
Ответ: 1 бит.
№3
Сколько информации содержит сообщение, уменьшающее неопределенность знаний в 8 раз?
Решение: так как неопределенность знаний уменьшается в 8 раз, следовательно, она было равна 8, т.е. существовало 8 равновероятных событий. Сообщение о том, что произошло одно из них, несет 3 бита информации.
Ответ: 3 бита.
№4
Какой объем информации содержит сообщение, уменьшающее неопределенность в 4 раза?
Решение: так как неопределенность знаний уменьшается в 4 раз, следовательно, она было равна 4, т.е. существовало 4 равновероятных событий. Сообщение о том, что произошло одно из них, несет 2 бита информации (4 = 22).
Ответ: 2 бита.

загорелся зеленый. Какое количество информации вы при этом получили?
Решение: из двух

сигналов (желтого и зеленого) необходимо выбрать один - зеленый. Поэтому N = 2, а I = 1 бит.
Ответ: 1 бит.
№6
Группа школьников пришла в бассейн, в котором 4 дорожки для плавания. Тренер сообщил, что группа будет плавать на дорожке номер 3. Сколько информации получили школьники из этого сообщения?
Решение: из 4 дорожек необходимо выбрать одну, т.е. N = 4. Значит по формуле I = 2, т.к. 4 = 22.
Пояснение: номер дорожки (3) не влияет на количество информации, так как вероятности событий в этих задачах мы приняли считать одинаковыми.
Ответ: 2 бита.
№7
На железнодорожном вокзале 8 путей отправления поездов. Вам сообщили, что ваш поезд прибывает на четвертый путь. Сколько информации вы получили?
Решение: из 8 путей нужно выбрать один. Поэтому N = 8, а I = 3, т.к. 8 = 2\ Пояснение: номер пути (4) не влияет на количество информации, так как вероятности событий в этих задачах мы приняли считать одинаковыми.
Ответ: 3 бита.
№8
В коробке лежат 16 кубиков. Все кубики разного цвета. Сколько информации несет сообщение о том, что из коробки достали красный кубик?
Решение: из 16 равновероятных событий нужно выбрать одно. Поэтому N = 16, следовательно, 1 = 4(16 = 24).
Пояснение: события равновероятны, т.к. всех цветов в коробке присутствует по одному. Ответ: 4 бита.