Информация – сведения об окружающем мире, которые повышают

повышают уровень
осведомленности человека, уменьшают меру неопределенности его знаний.

Данные – это результат наблюдений, зарегистрированные сигналы, которые не используются, а только хранятся. Как только данные начинают использоваться в практических целях, появляется информация.

Данные и информация

Р. Хартли первым ввел в теорию передачи информации методологию
«измерения количества информации». При этом Хартли считал, что
информация, которую он собирался измерять, это «…группа физических
символов – слов, точек, тире и т. п., имеющих по общему соглашению
известный смысл для корреспондирующих сторон».
Если передаётся последовательность из n символов а1, а2, а3,…, аn,
каждый из которых принадлежит алфавиту Аm, состоящему из m
символов, то число различных вариантов таких последовательностей K

для n = 1 (передаётся один символ) - K = m, а для n = 2 (передаётся 2 символа), то K = m2?
в общем случае для последовательности из n символов - K = mn.
Количество информации, содержащееся в такой последовательности, Хартли
предложил вычислять как логарифм числа K по основанию 2:
I = log2 K, где K = mn,
а количество информации, содержащееся в последовательности из n символов из
алфавита Am, в соответствии с формулой Хартли равно
I = log2(mn) = n log2m .

с равной частотой

встретиться в любом сообщении.
Замечание 2. Любое сообщение длины n в алфавите Am будет содержать одинаковое
количество информации. Это означает, что при вычислении количества
информации, содержащегося в сообщении, в расчет не берется его
смысловое содержание.

В своих работах К. Шеннон определял количество информации
через энтропию.
Им было введено понятие информационная энтропия – мера
неопределённости состояния некоторой физической системы с
конечным числом возможных состояний.
Если X – некоторая физическая система, которая может
принимать с одинаковой частотой n различных состояний x1, x2, … xN,
то ее энтропия вычисляется как:
H(X) = log2 N.

Замечание 1. Если система может находиться только в одном состоянии (N=1), то её
энтропия равна 0, так как её состояние предопределено.
Замечание 2. При оценке энтропии используется логарифм по основанию два. Это
означает, что за единицу измерения степени неопределенности принимается
неопределенность, содержащаяся в опыте, имеющем два равновероятных исхода, как при
подбрасывания монеты.
Такая единица измерения неопределенности принято называть бит.

наступлении некоторого события, его
результаты могут возникать с разной частотой,

поэтому использовал понятия теории
вероятности: случайное событие и вероятность события.
Если обозначать события заглавными буквами A, B, C и т.д, то количественная мера
возможности наступления некоторого события A называется его вероятностью.
Вероятность наступления события А обозначается как p(A) и определяется как отношение
количества наступления события А в опыте к общему числу возможных исходов.
Достоверное событие – событие, которое обязательно наступит, его вероятность
равна 1. Достоверное событие информации не несет.
Невозможным называют событие, которое никогда не произойдёт и его вероятность
равна 0.
Чем более возможно наступление случайного события, тем больше его вероятность:
если A более возможно чем B, то p(A) > p(B). Для события A вероятность ее наступления
колеблется в диапазоне 0 < p(A) < 1.
События A1, A2, …, An образуют полную группу, если в результате опыта обязательно
наступит хотя бы одно из них при этом сумма их вероятностей
p1 + p2 + … + pn = 1.
К. Шеннон, используя подход Р. Хартли, обратил внимание на то, что при передаче
словесных сообщений вероятность использования различных букв алфавитов
естественных языков не одинакова: некоторые буквы используются часто, другие – редко.

в любой позиции передаваемого сообщения, состоящего из n символов, то

общее количество информации, содержащееся в сообщении из n символов:

Если все символы алфавита Am появляются с равной вероятностью, то учитывая, что


получаем формулу Хартли.



Единицы измерения количества информации
Кроме наименьшей единицы измерения количества информации (Бит) используются и более крупные :
1 байт = 8 бит;
1 Кбайт (килобайт) = 1024 байта;
1 Мбайт (мегабайт) = 1024 Кбайта;
1 Гбайт (гигабайт) = 1024 Мбайта.

Представление числовой информации
Система

счисления – это способ представления чисел и правила действия над ними.
Существуют системы счисления непозиционные и позиционные.
В непозиционных системах от положения цифры в записи числа не зависит величина,
которую она обозначает. Примером может служить римская система. Так CCXXXII
складывается из 2-х сотен, 3-х десятков и 2-х единиц и равно 232.
В позиционных системах величина, обозначаемая цифрой, зависит от ее позиции.
Количество используемых цифр называется основанием системы счисления.







Развернутой формой записи числа в позиционной системе называется запись в виде:

Например развернутая форма десятичного числа 589 имеет вид:

Если все слагаемые в развернутой форме недесятичного числа представить в десятичной
системе и вычислить, то получится равное число в десятичной системе. Например:

из двоичной системы счисления
в восьмеричную и шестнадцатеричную

Кодирование текстовых данных

Для кодирования одного символа используется 8 бит – один байт информации. Такой
8-разрядный код позволяет закодировать 256 различных символов. Институт
стандартизации США ввел в действие систему кодирования ASCII (American Standard
Code for Information Interchange – стандартный код информационного обмена США).
В системе ASCII закреплены две таблицы – базовая и расширенная. Первые 128 кодов
(с 0 до 127) стандартные и обязательные для всех стран. Вторые – используется для
национальных стандартов.

в ранних «самопальных» русификаторах
Windows, совместно представителями «Параграфа», «Диалога» и

российского отделения
Microsoft была создана 8-битная кодировка Windows-1251, являющаяся стандартной
кодировкой для всех русских версий Microsoft Windows вплоть до 10-й версии.

В тоже время создается и новый международный стандарт, использующий два байта,
получивший название универсальный – Unicode.
Полная спецификация этого стандарта включает в себя существующие, вымершие и
искусственные алфавиты, а также математические, музыкальные, химические и прочие
символы.

Кодирование графических данных
Графические изображения могут быть представлены в цифровом виде путем их
сканирования. Полученный массив прямоугольников называется растром, а сами
прямоугольники элементами растра, или пикселами (picture’s element). Качество
растрового изображения определяется его разрешением (количеством точек по
горизонтали и вертикали) и используемой палитрой цветов.
При кодировании цветных графических изображений один байт может закодировать
256 различных цветов. Если использовать два байта, то 256*256 = 65 536 цветов. При
использовании трех байтов можно получить 16,5 миллионов цветов. Этот режим близок
к восприятию человеческого глаза красок живой природы.
Физиологические особенности цветового зрения таковы, что глаз воспринимает любой
цвет как сумму трех цветов: красного, зеленого и синего. Система кодирования цвета
по трем цветам: красный (Red), зеленый (Green) и синий (Blue) называется системой RGB.
При печати на бумаге действуют другие законы (краски не испускают, а поглощают
цвета). Поэтому на печатающих устройствах обычно используется голубой, пурпурный,
желтый и черный цвета в качестве основных (такой метод кодировки называется CМYK).

Кодирование звуковой информации

Звук представляет собой аналоговую волну с меняющейся амплитудой и частотой.
При преобразование звука в цифровой вид используют два основных метода:
Метод FM (Frequency Modulation) предусматривает разложение сложного звукового
сигнала на последовательность простейших гармонических сигналов разных частот с
последующим квантованием непрерывной волны. Эту работу выполняют специальное
устройство – аналого-цифровой преобразователь, расположенный на звуковой плате
компьютера. Качество кодирования звука зависит от частоты дискретизации. При таком
преобразовании сигналов неизбежны потери информации, поэтому качество звучания
имеет оттенок электронной музыки.
Метод таблично-волнового синтеза (Wave-Table). При этом методе в памяти
компьютера хранятся образы звуков различной природы (сэмплы). Синтез звука
основан на последовательном воспроизведении ограниченных по длительности
циклических волновых форм, расположенных в памяти в виде матрицы. Сама
последовательность вызова той или иной волны, динамическое изменение
воспроизводимых волн (синтез и фильтрация) различные способы модуляции и
наложение спецэффектов. Все эти изменения могут производиться с помощью
математических функций, описывающих степень влияния того или иного параметра
на генерируемый сигнал в каждый конкретный момент времени.