Теория информации Энтропия непрерывного источника сообщений Лекция 5. Энтропия

выходе источника сообщений.

- номинальные значения сигнала.

f(x)
х
х
1
х
2

случаю – квантование x.
x

xкв

x

∆x – шаг квантования

f(x)

f(xi)

x

∆x

xi

Pi(∆x)≈f(xi)∆x

после квантования.
1

в

Если в-а=1, то

Дифференциальная энтропия:

В дальнейшем можно опускать индекс “q”, понимая, что речь идёт о
дифференциальной энтропии источника непрерывных сообщений.

-

Если x и y статистически не связаны, то

Если x

и y однозначно связаны:

x с шагом ∆x;

2. Квантуем по уровню y с шагом

∆y;

4. Для дискретных (квантованных) сообщений:

3.

При ∆x→0 и ∆y→0 выражение

остаются теми же.

векторном пространстве. Функционал берёт в качестве аргумента элемент линейного пространства (вектор) и

возвращает в качестве результата скаляр. Довольно часто в роли линейного пространства выступает то или иное пространство функций (непрерывные функции на отрезке, интегрируемые функции на плоскости т. д. Неформально говоря, функционал — это функция от функций, переводящая функцию в число (действительное или комплексное).
Самый простой функционал — проекция (сопоставление вектору одной из его координат).
Отображение, переводящее вектор в его норму.
Задачи оптимизации формулируются на языке функционалов: найти решение (уравнения, системы уравнений, системы ограничений, системы неравенств, системы включений и т. п.), доставляющее экстремум (минимум, максимум) заданному функционалу.

непрерывного источника сообщений

анализа, в котором изучаются вариации функционалов. Самая типичная задача вариационного исчисления состоит

в том, чтобы найти функцию, на которой заданный функционал достигает экстремального 
значения.

исчислении для обозначения нахождения вариации или вариационной производной.
Вариационная задача означает,

как правило, нахождение функции, удовлетворяющей условию стационарности некоторого заданного функционала, то есть такой функции, (бесконечно малые) возмущения которой не вызывают изменения функционала по крайней мере в первом порядке малости. Также вариационной задачей называют тесно связанную с этим задачу нахождения функции, на которой данный функционал достигает локального экстремума (во многом эта задача сводится к первой, иногда практически полностью).
Типичными примерами вариационной задачи являются изопериметрические задачи в геометрии и механике; в физике — задача нахождения уравнений поля из заданного вида действия для этого поля.

появились первые вариационные проблемы, относящиеся к категории изопериметрических задач :
Из всех фигур

с заданным периметром наибольшую площадь имеет круг.
Из всех многоугольников с заданным числом сторон и заданным периметром наибольшую площадь имеет правильный многоугольник.
Из всех тел с заданной площадью поверхности наибольший объём имеет шар.

Аналогом дифференциала (первого дифференциала) является в вариационном исчислении вариация (первая вариация):

стационарного функционала, стационарных функций, линий, траекторий, поверхностей и т. п., то есть нахождение для

заданного    таких  , для которых    при любом (бесконечно малом)  , или, иначе, где   ,

нахождение локальных экстремумов функционала, то есть в первую очередь определение тех  , на которых    принимает локально экстремальные - нахождение экстремалей(иногда также определение знака экстремума).

Теория информации

Лекция 5. Энтропия непрерывного источника сообщений

на всей области определения функции (функционала), а на определённом её

подмножестве, выделяемом специально наложенным условием (или условиями). Обычно, речь идёт о выделении этим условием (условиями) подмножества области определения с меньшей размерностью, что для конечномерных областей имеет определённый наглядный смысл, но для бесконечномерных (каковы обычно области определения функционалов) налагаемые условия приходится рассматривать лишь абстрактно (что теоретически не мешает иметь в виду полезную аналогию с конечномерным случаем)

таковы:
Надо найти экстремум функционала   при условии равенства

нулю другого функционала  ; (то, что в правой части нуль, не нарушает общности).
Надо найти экстремум функционала    при условии 
.
Надо найти экстремум функционала   при условии выполнения для    уравнения   , где   — некоторая функция   и/или производных  , обозначенных штрихами.

Теория информации

Лекция 5. Энтропия непрерывного источника сообщений

из перечисленных случаях применим метод неопределенных множителей Лагранжа. Нужно решить вариационную

задачу для функционала    в первом и     во втором случае, а затем подобрать (решив уравнение    в первом случае и N уравнений с частными производными по каждому из   во втором) такие  , которые реализуют минимум в найденном семействе функций f, для которого эти   являются параметрами.

Теория информации

Лекция 5. Энтропия непрерывного источника сообщений

и приравнивание нулю вариации (или вариационной производной) для некоего нового

функционала  , для этих двух случаев:

Уравнения Эйлера — Лагранжа — дифференциальные уравнения, которым должна удовлетворять функция, на которой функционал достигает локального экстремума.

максимум
Таким образом:
а≤x≤в;

при заданном диапазоне

случайной

величины X: а≤x≤в.

Воспоминания:

y(x)-неизвестная функция.

Требуется найти y(x), доставляющую

максимум (минимум) J.

Уравнение Эйлера:

дифференциальной энтропии при
заданной мощности (дисперсии) сигнала.

Определить максимум
при

условии:

Обратите внимание: диапазон не ограничен (1); математическое ожидание
принято равным 0 (2).

а

в

Сигнал:

2) Сигнал стационарный с равномерной спектральной плотностью

мощности

в полосе частот от 0 до

.

-

Отсюда

теоремой Котельникова передаём информацию с
шагом временной дискретизации.

Эти отсчеты не

коррелированны (а так как сигнал гауссовский, то и
независимы). Некоррелированность следует из

Отсюда источник отсчетов без памяти.

4) Производительность гауссовского источника при фиксированном Δx
(этим учитываем факт использования дифференциальной энтропии)
равна:

Пропускная способность гауссовского канала связи (формула
Шеннона-Таллера).

закон распределения амплитуд синала
гауссов, сигнал

стационарный с постоянной плотностью мощности в
полосе частот от 0 до

Помеха в(t) – аддитивная, имеет гауссовский закон распределения:

y(t)=x(t)+в(t)

сигнал на входе приемника сигнал помеха

3. Помеха статистически не связана с сигналом: f(в|x)=

f(x|в)=

плотность мощности в
полосе канала от

0 до

Отсюда следует, что отсчеты помехи с шагом временной дискретизации

статистически независимы.

пропускную способность гауссовского канала.

При передачи отсчетов с шагом
источник

сообщений и канал

Отсюда

связи «без памяти».

определяется при гауссовом источнике, дающем максимум
дифференциальной энтропии при заданной мощности, и введенной
модели аддитивной помехи.