Лекция 6,7 Понятие информация Введение в теорию информации Понятие

теории информации

в различной форме
Психика (человека и животных)
Раздражимость(охватывает всю органическую природу)
Запечатление

Как только состояние одного объекта приходит в соответствие с состоянием другого объекта.

Соответствие устанавливается в результате физического взаимодействия между объектами, причём чаще всего посредством взаимодействия с одним или несколькими промежуточными объектами.

носителем информации в пространстве и времени являются состояния объектов, которые

Один и тот же объект может переносить разные сигналы

Не всякое состояние имеет сигнальные свойства

Объект носитель сигнала взаимодействует не только с объектами, которые обмениваются сигналами, но и с другими, что приводит к ослаблению соответствия состояний

Посторонние воздействия, нарушающие сигнальное соответствие называют помехами и шумами

Условия способствующие установлению и сохранению сигнального соответствия называются кодом

ночь

день

помеха / шум

небо

в пространстве
Статические сигналы – стабильные состояния объектов

Книга
Фотография
Запись

Динамические сигналы – динамическое состояние силовых полей


Звук
Радио сигналы
Световые сигналы

Используются для хранения информации

Используются для передачи информации

x1(t)

Таким образом x(t) приобретает сигнальные свойства если

является одной из возможных реализаций в ансамбле

неизвестно какая реализация будет отправлена

Пусть X(t) функциональная зависимость состояния объекта от времени

ансамбль

частных моделей случайных процессов учитывают дополнительные ограничения на параметры распределения

Функции x(t) значение которой в каждый момент времени является случайной величиной и характеризуется плотностью распределения вероятности P (Xi / Ti) разделенных некоторым интервалом

В общем случае связь n значений описывается распределением n-ого порядка

– множество всех гармонических сигналов, R+ - множество положительных действительных

Модулированные сигналы переносят полезную информацию каким-нибудь одним параметром гармонического колебания (несущего колебания). Процесс изменения параметра называется модуляцией, а выделение этого изменения в чистом виде - демодуляцией. Пусть параметры с индексом 0 являются
постоянными, тогда :



Sам={x: x(t)=S(t)cos(ω0t+φ0) - амплитудная модуляция;
Sчм={x: x(t)=So cos(ω0t+φ0) - частотная модуляция;
Sфм={x: x(t)= Sо cos(ω0t+φ(t)) - фазовая модуляция;



При этом, физический смысл модуляции сохраняется, если модулирующий сигнал является «медленно меняющимся» по сравнению с несущим колебанием.

Периодические сигналы:

Sτ={x: x(t)=x(t+τ); -∞
где временной интервал τ -период.

Сигналы с ограниченной энергией:
о сигналах из множества






Говорят, что их энергия ограничена величиной К. Происхождение этого названия связано с тем, что если x(t) - напряжение, то интеграл в формуле представляет собой энергию, выделенную сигналом x(t) на единичном сопротивлении

Сигналы ограниченной длительности.
Интервал Т называется длительностью сигнала x(t), если:





при этом предполагается, что внутри интервала Т значение x(t) не всегда обращается ноль.

Сигналы с ограниченной полосой частот. Фурье-реобразование Хa временной реализации хф сигнала называется ее спектром:




Физический смысл спектра состоит в том, что колебание хa представляется в виде суммы (в общем случае в форме интеграла) составляющих его гармонических колебаний с определенными амплитудами I хa I, частотами f и фазами. Между x(t) и Хa существует взаимно однозначное соответствие, т.к.

и ее спектр Х(f) однозначно выражаются друг через друга, то

в реальности все сигналы конечны по длительности, а все чувствительные к сигналам устройства не могут воспринимать и воспроизводить абсолютно все частоты

Энергетический критерий точности: сигнал считается имеющим конечную длительность ΔТ, если в этом интервале времени сосредоточена основная часть всей энергии функции х(t), в то же время ширина спектра ΔF сигнала определяется как область частот, содержащая эту же часть всей энергии спектра х (f)

но

сигналы с ограниченной длительностью имеют спектры неограниченной ширины, а сигналы с ограниченной полосой частот длятся бесконечно долго

изменять и занимаемую им площадь, причем уменьшать ее можно только

Существование предела, ниже которого нельзя сжать площадь сигнала, занимаемую им на плоскости «частота-время», называется принципом частотно-временной неопределенности сигналов (по
аналогии с принципом неопределённости в квантовой механике)

разложения случайного процесса с ограниченной полосой частот:

рассматривает сигнальную специфику случайных процессов – теория информации

случайные процессы могут быть использованы в качестве адекватных моделей сигналов

Задачи исследования сигналов можно свести к рассмотрению случайных величин

используется дисперсия или доверительный интервал
Случайное

Случайное происходит с не происходит
Событие №1 вероятностью 0,99 с вероятностью 0,5

Но эти величины имеют смысл только для случайных числовых величин и не могут применяться к случайным объектам, состояния которых различаются качественно

Мера неопределенности, связанная с распределением, должна быть такой количественной характеристикой, которая не связана с тем в какой шкале измеряются реализации случайного объекта

но

А с конечным множеством возможных состояний А1, А2,…Аn с соответствующими

Свойство №2 log n = H(p1,…,pn) достигает наибольшего значения при p1 = p2 =…=pn =1/n, т.е. в случае максимальной неопределённости

Свойство №1 H(p1,…,pn) = 0 только в том случае, когда какое-нибудь одно из (pi) равно единице (а остальные нули). Это соответствует случаю когда исход опыта может быть предсказан с полной достоверностью, т.е. при отсутствии любой неопределённости. В других случаях энтропия положительна.

равной некоторой произвольной единице измерения х, что приводит к функционалу:

Прямая аналогия не приводит к нужному результату. Плотность p(x) является размерной величиной, а логарифм размерной величины не имеет смысла:

Обобщение энтропии дискретной случайной величины на непрерывную величину можно выполнить следующим образом:

Т.к. Единица измерения произвольна, то это условный, относительный аналог энтропии дискретной величины. Величина h(x) в отличие от H(x) может быть не только положительной. Также h(x) изменяется при нелинейных преобразованиях шкалы, что в дискретном случае не важно.

информации - измерение неопределённости в результате приёма сигнала

Полезный (оправляемый) сигнал является последовательностью статистически независимых символов{xi} с вероятностями p(xi), i=1,m

Yk = Xi, P( Yk | Xi )

до получения символа
H(x) = max

шума нет Yk = Xk

шум есть Yk = Xk

Апостериорная энтропия
H (x | y) = Ø

H (x | y) < Ø

Количество информации определяет меру снятой неопределенности: числовое значение количество информации о некотором объекте равно разности априорной и апостериорной энтропии этого объекта, т.е.
I(X,Y) = H(X) – H(X/Y) или
I(X,Y) = H(Y) – H(Y/X)

объекты выступают совершенно равноправно
НО
Одно явление всегда

Отражение одного объекта другим есть результат взаимодействия, т.е. взаимного, обоюдного изменения состояний

Количество информации в объекте Х об объекте Y равно количеству информации в объекте Y об объекте Х.
Таким образом количество информации, является не характеристикой одного из объектов, а характеристикой их связи.

линейности их связи следует одинаковость

Пусть

Из определений I и H следует их безразмерность

Для определенности рассмотрим энтропию дискретного случая

Следовательно единицей неопределенности служит энтропия объекта с двумя равновероятными состояниями. Она получила название «БИТ»

Для однозначного определения еденицы измерения энтропии необходимо конкретизировать число m состояний объекта и оснований логарифма

Наименьшее число возможных состоянии, при котором объект ещё остаётся случайным, m=2 соответственно в качестве логарифма возьмём также 2

понятие избыточности и определена её количественная мера

Если это представление информации обладает избыточностью, то такое же количество информации i может быть представлено меньшим количеством символов n0 без потерь

Пусть сигнал длиной в n символов содержит количество информации i

В качестве меры избыточности R принимается относительное удлинение сигнала, соответствующее данной избыточности:

Основные характеристики сигнала

увеличение скорости невозможно, это пропускная способность канала:

Скорость передачи информации по каналу связи зависит от энергии сигнала, числа символов в алфавите избыточности, полосы частот, способа кодирования/декодирования

Каналы первого рода, для которых указанный предел бесконечен

Темп обычной речи имеет скорость порядка 20 бит/с, муравьи обмениваются информацией со скоростью 1/10 бит/с

Где указанные энтропии исчисляются
в единицу времени

Каналы второго рода, имеющие конечную пропускную способность даже при бесконечной мощности передатчика, этот предел и называют мощностью передатчика

Пропускные способности зрительного, слухового и тактильного каналов связи человека имеют порядок 50 бит/с. Если включить в канал исполнительные органы человека, то пропускная способность близка к 10 бит/с

информации являются теоремы о существовании которые носят асимптотический характер, т.е.

Конкретные пркланые методы и результаты теории информации позволяют провести ряд количественных исследований информационных потоков в изучаемой или проектируемой системе

Эвристическое значение основных понятий теории информации привело к обсуждению новых понятий, к более глубокому пониманию закономерностей природы и к тому, что понятие информации вошло в число философских категорий

Однако уже само знание потенциальных возможностей имеет огромное значение: сравнение характеристик реальных систем с теоретическими пределами позволяет судить о достигнутом уровне и о целесообразности дальнейших затрат на его повышение

Системный анализ по определению нацелен на исследование ресурсов, которые потребуются для решения анализируемой проблемы. При этом, если энергетические и вещественные потоки «питают» систему, то потоки информации организуют её функционирование,управляют ею. Винер Н. подчеркивал, что общество простирается, до тех пределов, до каких распространяется информация.

Ю.В., к.т.н. Моновская А.В.
Проект «Курс лекций «ИСС» выполнен на