Измерение информации

= 23 = 8 бит
1 Кб (килобайт) = 1024

байта = 210 байта
1 Мб (мегабайт) = 1024 Кб = 220 байта
1 Гб (гигабайт) = 1024 Мб = 230 байта
1 Тб (терабайт) = 1024 Гб = 240 байта
1 Пб (петабайт) = 1024 Тб = 250 байта

байт = 5120 байт
15 байт = 15 * 8 бит

= 120 бит
2048 Кбайт = 2048 / 1024 Мбайт = 2 Мбайта
1024 Mбайт = 1024/1024 Гбайт = 1 Гбайт
3 Мбайта =3 * 1024 Кбайт = 3072 Кбайта

бита
1000 байт

1 Кб
220 байт 0,25 Кб
1 Мб 1500 Кб
8192 бита 1 Кб

?

?

?

?

?

8 байт = ? бит

1,5 Кбайт = ? байт
512 бит = ? байт
2 Мбайта = ? Кбайт
4 бита = ? байт
3072 Кбайта = ? Мбайт

Задание 2

1024 Кбайт 220 байт
1024 Кбайт 2 Мбайт
1024 Кбайт

210 бит
1024 Кбайт 1 Гбайт

?

?

?

?

возрастания?
210 байт; 1 Тбайт; 1024 Мбайт
220 байт; 1 Мбайт; 1000

Кбайт
210 Кбайт; 1024 байт; 1 Гбайт
1 Кбайт; 220 байт; 1024 Мбайт

содержания
Алфавит – конечное множество различных символов (7, 2, «, а,

<, Л, …)
Мощность алфавита N – количество символов в алфавите
Информационный вес одного символа i = log2N бит (N = 2i)
Информационный объём сообщения из K символов
I = K i = K log2N бит

кодировка ASCII (American Standard Code for Information Interchange)

Кодировка Unicode (включает символы различных письменностей)

энциклопедического словаря»
Будем производить приблизительный расчет информационного объема текста

содержащегося в этой книге (без учета графичес-ких изображений) для этого найдем страницу равномерно за-полненную текстом:
1. На странице три столбца.
2. В столбце 100 строк.
3. В строке (судя по средней строке) 40 символов.
4. В книге1640 страниц.
5. Т.о., в книге 3*100*40*1640=19680000 символов.
6. Будем считать, что информационный объем одного символа
= 1 Byte, т.о. информационный объем всей книге составляет
19680000 Byte.
7. Осуществим перевод в более крупные единицы измерения:
19680000 / 1024 = 19218,75 Kbyte
19218,75 / 1024 = 18,7 Mbyte

Ответ. Приблизительный информационный
объем СЭС равен 18,7 MByte.

алфавит)?
считаем все символы K = 11
1 символ занимает i

= log232 = 5 бит
I = 11* 5 = 55 бит

Пример. Сообщение содержит 4096 символов. Объём сообщения составил 1/512 Мбайт. Чему равна мощность алфавита?

Переведём объём сообщения в биты
1/512 Мбайт = 1/512 * 1 024 * 1 024 * 8 = 16 384 бит
1 символ занимает i = 16384 / 4096 = 4 бит
Мощность алфавита равна N = 2i = 24 = 16

Алфавитный подход к измерению информации

благоприятствующих ему (m) к общему числу всех равновозможных несовместных случаев

(n)

Пример. В лотерее разыгрывается 4 диска, 5 книг, 6 ручек Какова вероятность выиграть диск?

русском языке, считая вероятности символов одинаковыми
Формула Хартли
Решение. В русском языке

34 символа (33 буквы + символ пробела) Информация о символе («это буква А») – исчерпывающая
Считая вероятности символов одинаковыми по формуле Хартли
I = Н = log234 = 5,09 бит

в сообщениях:

На игральном кубике выпала цифра 3.

В следующем

году ремонт в школе начнётся в феврале.

Я приобрёл абонемент в бассейн на среду.

Из 30 студентов группы старостой назначили Марию Петрову.

Формула Хартли

Щ» (вероятности символов считать одинаковыми)
Решение. Информация в сообщении не является

исчерпывающей
По формуле Хартли энтропия системы до получения сообщения
Н0 = log234 = 5,09 бит
После получения сообщения Н1 = log233 = 5,04 бит
Количество информации I = H0 – H1 = 0,05 бит

№5, которые ходят с одинаковой частотой. Определить количество информации в

сообщениях:
а) «Пришел автобус №1» б) «Это не автобус №2»

Формула Хартли

Решение.
Сообщения «Пришел автобус №…» равновероятны. По формуле Хартли:
а) I = Н0 = log23 = 1,58 бит б) I = Н0 – Н1 = log23 – log22 = 1,58 – 1 =0,58 бит

– «5», 25 – «4», 10 – «3», 5 –

«2». Определить количество информации в сообщениях об оценках.

Формула Шеннона

Пример. При бросании несимметричной четырёхгранной пирамидки вероятности падения на каждую из граней составляют: р1=1/2; р1=1/4; р1=1/8; р1=1/8. Определить количество информации, которое будет получено после реализации одного из случаев

Используем формулу Шеннона

и №5, причем №1 – вдвое чаще, чем №2 и

№5. Определить количество информации в сообщениях:
а) «Пришел автобус» б) «Пришел автобус №1» в) «Пришел автобус №2»

Решение. Сообщения «Пришел автобус №…» неравновероятны: р(№1)=0,5; р(№2)=0,25; р(№5)=0,25. По формулам Шеннона:
а) I = – (0,5 log2 0,5+0,25 log2 0,25+0,25 log2 0,25) = 1,5 бит
б) I = log2 1/р(№1) = log2 1/0,5 = log2 2 = 1 бит
в) I = log2 1/р(№2) = log2 1/0,25 = log2 4 = 2 бит

зелёных карандаша. Берут 1 карандаш. Определить количество информации в сообщении,

что взят зелёный карандаш.

Формула Шеннона