Вероятностный подход к определению количества информации. Формула Шеннона

событии используют следующую формулу:
I=log2(1/p)
где
I – это количество информации,

р – вероятность события.

по формуле:
р=K/N
где
К – величина, показывающая сколько раз произошло

интересующее нас событие,
N – общее число возможных исходов какого-то процесса.

повидлом. Маша съела один пирожок. Вычислить вероятность выбора пирожка с

разной начинкой и количество информации, которое при этом было получено.

Решение:
Пусть К1 – это количество пирожков с повидлом, К1=24
К2 – количество пирожков с капустой, К2=8
N – общее количество пирожков, N = К1 +К2=24+8=32
Вероятность выбора пирожка с повидлом: р1=24/32=3/4=0,75.
Вероятность выбора пирожка с капустой: р2=8/32=1/4=0,25.
Обращаем внимание учащихся на то, что в сумме все вероятности дают 1.
Вычислим количество информации, содержащееся в сообщении, что Маша выбрала пирожок с повидлом:
I1=log2(1/p1)= log2(1/0,75)= log21,3=1,15470 бит.
Вычислим количество информации, содержащееся в сообщении, если был выбран пирожок с капустой:
I2=log2(1/p2)= log2(1/0,25)= log24=2 бит.

в сообщении об этом событии можно выразить так: чем меньше

вероятность некоторого события, тем больше информации содержит сообщение об этом событии.

вида?
Ответить на этот вопрос нам поможет формула

вычисления количества информации для событий с различными вероятностями, которую предложил в 1948 г. американский инженер и математик К.Шеннон.
Если I-количество информации, N-количество возможных событий, рi - вероятности отдельных событий, где i принимает значения от 1 до N, то количество информации для событий с различными вероятностями можно определить по формуле:

можно расписать формулу в таком виде:

+ р2∙log2p2)
= - (0,25∙ log20,25+0,75∙ log20,75)
≈-(0,25∙(-2)+0,75∙(-0,42))
=0,815 бит

Среди них 4 клубка красной шерсти. Сколько информации несет сообщение,

что достали клубок красной шерсти? Сколько информации несет сообщение, что достали клубок шерсти любой окраски?

=Ki /N

Ii=log2(1/pi)

и щук по 6250. Какое количество информации несет сообщение о

ловле рыбы каждого вида. Сколько информации мы получим, когда поймаем какую-нибудь рыбу? Дано: Ко=12500; Кп=25000; Кк= Кщ=6250 Найти: Iо, Iп, Iк, Iщ, I Решение: Найдем общее количество рыбы: N= Ко+Кп+Кк+Кщ. Найдем вероятность ловли каждого вида рыбы: pо= Ко/N; pп= Кп/N; pк= pщ= Кк/N. Найдем количество информации о ловле рыбы каждого вида: Iо= log2( 1/pо); Iп=log2 (1/pп ); Iк= Iщ= log2 (1/pк ) Найдем количество информации о ловле рыбы любого вида: I= pо∙log2pо+ pп∙log2pп +pк∙log2pк +pщ∙log2pщ

дано в условии). - Подсчет общего количества числа возможных исходов

(формула N=K1+K2+…+Ki). - Подсчет вероятности каждого события (формула pi= Кi/N). - Подсчет количества информации о каждом происходящем событии (формула Ii= log2(1/pi)). - Подсчет количества информации для событий с различными вероятностями (формула Шеннона).

модель, сделать вычисления к задаче №2 результат вычисления занести в

тетрадь.

Задача №2
В классе 30 человек. За контрольную работу по информатике получено 15 пятерок, 6 четверок, 8 троек и 1 двойка. Какое количество информации несет сообщение о том, что Андреев получил пятерку?

желтых, 12 синих. Вычислите вероятность доставания кубика каждого цвета и

количество информации, которое при этом будет получено.
Задача№2
В непрозрачном мешочке хранятся 10 белых, 20 красных, 30 синих и 40 зеленых шариков. Какое количество информации будет содержать зрительное сообщение о цвете вынутого шарика?