КОЛИЧЕСТВЕННАЯ ОЦЕНКА ИНФОРМАЦИИ

сообщения, т.е. в результате опыта. Сообщение, получаемое на приемной стороне,

несет полезную информацию лишь в том случае, если имеется неопределенность относительно состояния источника сообщений.
Если опыт имеет лишь один исход и не содержит никакой неопределенности, то наблюдатель заранее будет знать исход этого опыта. В результате осуществления такого опыта наблюдатель не получит никакой информации.

Р(Х1) и Р(Х2). Например, результат контроля должен указать, что проверяемый

параметр находится в пределах нормы или за ее пределами. Переда-ваемое сообщение может принимать два значения и содержит определенную информацию.
Если контролируемая в опыте величина (напряжение, температура, вес и т.п.) может принимать с опреде-ленными вероятностями, например 10 различных значений, то предварительная неопределенность относительно исхода опыта будет больше, а поступившее сообщение о конкретном исходе опыта дает более уточненную характеристику состояния источника (т.е. больше информации).

сообщений Х1, Х2,... Хn , с вероятностями Р(Х1), Р(Х2), ...

Р(Хn) соответ-ственно.
Естественно, чем меньше априорная вероятность события, тем больше неопределенность о возможности наступления этого события.
Поэтому хотелось бы принять в качестве меры неопределенности отдельного сообщения, а также передаваемой им информации, величину, обратную его априорной вероятности: 1 / P(Xi) .
Однако, такая мера неудобна тем, что в случае, когда опыт имеет только один исход, т.е. вероятность такого события равна единице, – количество информации, согласно принятой мере, равно единице. В действительности результат такого опыта не дает никакой информации.

информации в сообщении Xi. Оно характеризует также априорную неопреде-ленность этого

сообщения.

Эту величину, характеризующую неопреде-ленность одного i-того сообщения, принято называть ЧАСТНОЙ ЭНТРОПИЕЙ.

можно получить усреднением по всем событиям:





Эти зависимости выражают среднее на

одно событие (сообщение) КОЛИЧЕСТВО ИНФОРМА-ЦИИ и ЭНТРОПИЮ. Термин "энтропия" заимствован из термодинамики, где аналогичное выражение характеризует среднюю неопределенность состояния системы молекул вещества.

они принципиально различны.
ЭНТРОПИЯ H(X), выражающая среднюю неопределенность состояния

источника сообщений, является объективной характеристикой источника сообщений и может быть вычислена априорно (до получения сообщения).
КОЛИЧЕСТВО ИНФОРМАЦИИ I(X) опреде-ляется апостериорно (после получения сообщения). H(X) – энтропия – это мера недостатка информации о состоянии системы. С поступлением информации о состоянии системы энтропия (т.е. неопределенность) уменьшается.

место относительно источника сообщения до передачи информации.
КОЛИЧЕСТВО ИНФОРМАЦИИ рассматрива-ется

как мера уничтожения, снятия неопределен-ности.
При передаче сообщения за счет действия помех возможно получение искаженного сигнала. Это приводит к неполному снятию неопределенности (а иногда и к увеличению неопределенности). Поэтому количество информации I(X) численно может не совпадать с априорной неопределенностью H(X).

логарифма. При использовании десятичных логарифмов количество информации и энтропия определяются

в десятичных единицах – ДИТах.
При анализе информационных процессов в ЭВМ, функционирующих на основе двоичной системы счисления, удобно использовать двоичное основание логарифма, а количество информации и энтропия измеряются в двоичных единицах – БИТах.
При использовании натуральных логарифмов единицей измерения является – НИТ.

ограниченная (если учесть, что: 0 ≤ P(X) ≤ 1

).
⮚       Энтропия детерминированных сообщений равна нулю. Если заранее известно, что вероятность события Р(Х1) = 1, а вероятности остальных событий Р(Xi) = 0, то log (1) = 0, а остальные слагаемые равны нулю, поскольку предел lim (x log x) при x→0 также равен нулю.
⮚    Энтропия максимальна, если все события равновероятны.
⮚       Энтропия равновероятных событий возрастает с увеличением количества событий.

НЕЗАВИСИМЫМИ или ВЗАИМОСВЯ-ЗАННЫМИ.
Например, бросание игральной кости в нескольких опытах –

это независимые процессы.
Пример зависимых событий: при передаче телеграмм после согласной буквы более вероятно появление гласной буквы, чем второй согласной.
Классический пример с непрозрачным кувшином, из которого вынимаются белые или черные шары.

дома остана-вливаются трамваи трех маршрутов. Условно назовем их «маршрут 1»,

«маршрут 2» и «маршрут 3».
В результате многократных наблюдений мы установили: при ожидании трамвая вероятность прихода первым «маршрута 1» – Р(V1) = 0,15, вероятность прихода первым «маршрута 2» – P(V2) = 0,3, а – «маршрута 3» – P(V3) = 0,55.
Сумма всех вероятностей равна 1, потому что какой-нибудь маршрут приедет (независимо от времени ожидания).
Матрица вероятностей первого опыта имеет вид:

Вероятность того, что следующим подойдет трамвай этого маршрута P(U2/V2), –

очень мала; а вероятности прихода трамваев других маршрутов увеличиваются.
Можно составить матрицу условных вероятностей прихода во втором опыте (событие U) трамваев каждого маршрута, если известно, какой трамвай приходил в первом опыте (обозначим первый опыт – событие V):

от исхода первого опыта, во втором опыте какой-нибудь маршрут обязательно

приедет.
Кроме условных вероятностей можно составить матрицу вероятностей совместного появления двух событий:





где: P(U,V) – вероятность того, что в первом опыте приедет трамвай «маршрута 1», а во втором опыте – трамвай «маршрута 2».

безусловную вероятность события в первом опыте:


Поэтому матрицу совместного появления двух

событий можно представить в таком виде:




Из этого следует, что сумма всех элементов матрицы равна 1.

во втором, связанном с ним опыте, события U, равна:

где: Н(V) – энтропия первого события;
H(U/V) – условная энтропия (условную энтропию нельзя вычислять по элементам матрицы, потому, что сумма всех элементов этой матрицы больше 1).

Основной смысл условной энтропии H(U/V) состоит в том, что она показывает, на сколько увеличивается энтропия второго события U, когда уже известна энтропия первого события V.

и V совместная энтропия равна сумме энтропии сообщений:
⮚ При полной

статистической зависимости сообще-ний U и V совместная энтропия равна безусловной энтропии одного из сообщений:
H(U/V) = 0; H(U,V) = H(U) = H(V).
⮚  Следствием первых двух свойств является то, что условная энтропия ограничена пределами:
0 ≤ H(U/V) ≤ H(U).

ИНФОРМАЦИИ и ЭНТРОПИЯ?
2.    Единицы измерения информации и энтропии.
3.    Свойства энтропии

дискретных сообщений.
4.  Назовите примеры зависимых и независимых событий.
5.     Дайте определение условной энтропии.
6.        Свойства энтропии зависимых событий.