Теоретические основы информатики кандидат технических наук, доцент Полупанов

информации.

понятие сообщения, сигнала, кодирования и декодирования;
рассмотреть постулаты и задачи теории

информации;
оценить меру количества информации.

процессы хранения, преобразования и передачи информации. В основе его лежит

определенный способ измерения количества информации.
Теория информации иногда рассматривается как математическая теория систем передачи информации.
Опираясь на основополагающую работу К.Шеннона (1948), теория информации устанавливает основные границы возможностей систем передачи информации, задает исходные принципы их разработки и практического воплощения

Клод Элвуд Шеннон;
30 апреля 1916, Петоцки, Мичиган —
24 февраля 2001, Медфорд, Массачусетс)

модели, отражающей многие характерные особенности информационной меры, как она обычно

понимается на интуитивном уровне.
Источник информации и канал связи, по которому передается информация, можно моделировать, используя вероятностные представления.
Энтропия источника информации равна логарифму (эффективного) числа сообщений, которые он порождает. Это – мера сложности описания источника (или, как иногда говорят, мера неопределенности сообщения)

Под сообщением понимают совокупность знаков или первичных сигналов, содержащих информацию.
Источник

сообщений в общем случае образует совокупность источника информации (ИИ) (исследуемого или наблюдаемого объекта) и первичного преобразователя (ПП) (датчика, человека-оператора и т.д.), воспринимающего информацию о протекающем в нем процессе.

источником сообщений отдельных элементов - знаков.
Множество различных знаков называют алфавитом

источника сообщения, а число знаков - объемом алфавита.
Непрерывные сообщения не разделены на элементы. Они описываются непрерывными функциями времени, принимающими непрерывное множество значений (речь, телевизионное изображение).

в соответствие определенный сигнал. Под сигналом понимают физический процесс, отображающий

(несущий) сообщение.
Преобразование сообщения в сигнал, удобный для передачи по данному каналу связи, называют кодированием в широком смысле слова.
Операцию восстановления сообщения по принятому сигналу называют декодированием.

знаков в другом алфавите с меньшим числом знаков, называемых символами.

Устройство, выполняющее такую операцию, называют кодирующим или кодером. Так как алфавит символов меньше алфавита знаков, то каждому знаку соответствует некоторая последовательность символов, которую называют кодовой комбинацией.
Число символов в кодовой комбинации называют ее значностью, число ненулевых символов - весом.
Для операции сопоставления символов со знаками исходного алфавита используют термин “декодирование”. Техническая реализация этой операции осуществляется декодирующим устройством или декодером.

устройство осуществляет преобразование непрерывных сообщений или знаков в сигналы, удобные

для прохождения по линии связи. При этом один или несколько параметров выбранного сигнала изменяют в соответствии с передаваемой информацией. Такой процесс называют модуляцией. Он осуществляется модулятором. Обратное преобразование сигналов в символы производится демодулятором
Под линией связи понимают среду (воздух, металл, магнитную ленту и т.д.), обеспечивающую поступление сигналов от передающего устройства к приемному устройству.
Сигналы на выходе линии связи могут отличаться от сигналов на ее входе (переданных) вследствие затухания, искажения и воздействия помех.

вызывающие отклонение принятых сигналов от переданных сигналов.
Из смеси сигнала с

помехой приемное устройство выделяет сигнал и посредством декодера восстанавливает сообщение, которое в общем случае может отличаться от посланного. Меру соответствия принятого сообщения посланному сообщению называют верностью передачи.

сообщений, включающий вопросы оценки переносимого ими «количества информации»;
анализ информационных характеристик

источников сообщений и каналов связи и обоснование принципиальной возможности кодирования и декодирования сообщений, обеспечивающих предельно допустимую скорость передачи сообщений по каналу связи, как при отсутствии, так и при наличии помех.

определенной вероятностью.
Сообщения могут передаваться по каналу связи в закодированном виде.

Кодированные сообщения образуют множество, являющееся взаимно однозначным отображением множества сообщений. Правило декодирования известно декодеру (записано в его программе).
Сообщения следуют друг за другом, причем число сообщений может быть сколь угодно большим.
Сообщение считается принятым верно, если в результате декодирования оно может быть в точности восстановлено. При этом не учитывается, сколько времени прошло с момента передачи сообщения до момента окончания декодирования, и какова сложность операций кодирования и декодирования.
Количество информации не зависит от смыслового содержания сообщения, от его эмоционального воздействия, полезности и даже от его отношения к реальной действительности.

принимает величину, называемую количеством информации. Это понятие не затрагивает смысла

и важности передаваемого сообщения, а связано со степенью его неопределенности.
N = mn
Чем больше N, тем большая степень неопределенности характеризует этот выбор и тем более информативным можно считать сообщение.

= log N = log mn = n log m.
Количество

информации, приходящееся на один элемент сообщения (знак, букву), называется энтропией:

элемент сообщения называют двоичной единицей или битом.
Так как из

log2 m = 1 следует m = 2, то 1 бит - это количество информации, которым характеризуется один двоичный элемент при равновероятных состояниях 0 и 1.

кадру развертки. Пусть в кадре 625 строк, а сигнал, соответствующий

одной строке, представляет собой последовательность из 600 случайных по амплитуде импульсов, причем амплитуда импульса может принять любое из 8 значений с шагом в 1 В.
Решение. В рассматриваемом случае длина сообщения, соответствующая одной строке, равна числу случайных по амплитуде импульсов в ней: n = 600.
Количество элементов сообщения (знаков) в одной строке равно числу значений, которое может принять амплитуда импульсов в строке,: m = 8.
Количество информации в одной строке:
I = n log m = 600 log 8, а количество информации в кадре:
I = 625 I = 625 600 log 8 = 1,125  106 бит

m алфавита и по существу является характеристикой только алфавита


Энтропия

Н - величина вещественная, неотрицательная и ограниченная, т.е. Н  0
Энтропия равна нулю, если сообщение известно заранее (в этом случае каждый элемент сообщения замещается некоторым знаком с вероятностью, равной единице, а вероятности остальных знаков равны нулю).
Энтропия максимальна, если все знаки алфавита равновероятны, т.е. Нmax = log m.