Семантический подход к измерению количества информации

информации
6.7. Семантический подход к измерению количества информации

этого уровня чрезвычайно сложны, так как смысловое содержание информации больше

зависит от получателя, чем от семантики сообщения, представленного на каком-либо языке.
На данном уровне:
Анализируется сведения, которые отражает информация
Выявляется смысл информации
Выявляется содержание информации
Осуществляется обобщение информации

обобщенный справочник, определяющий уровень знаний получателя сообщений. Такой справочник включает

не только описание понятий, но и связи между ними и т. д.
Идея (Норберт Винер): для понимания и использования информации ее получатель должен обладать определенным запасом знаний
Тезаурусная мера (Ю.А. Шрейдер): основана на учете запаса знаний получателя (приемника) информации
Сообщения, которые содержат новую для получателя семантическую информацию, изменяют его тезаурус. Под этим понимается не только появление новых понятий, но и установление новых связей между существующими понятиями, ликвидацию устаревших связей или понятий и т.д.
Если сообщение не вносит ничего нового в тезаурус получателя, то семантическая информация, содержащаяся в сообщении, равна нулю
Из двух сообщений больше семантической информации будет нести то, которая вносит в тезаурус более существенные изменения

тезауруса пользователя






















Т- состояние тезауруса получателя информации в данной области знания
Ic-

количество смысловой информации в сообщении

0

Ic=F(T)

Ic max

понимается степень подтверждения той или иной гипотезы
Идея (Р Карнап, Бар-Хиллел):
Посылки:
Пусть

выдвинута некоторая априорная (доопытная) гипотеза и оценена степень подтверждения (логическая вероятность) гипотезы
Поступающие сообщения могут либо уменьшать степень подтверждения гипотезы, либо оставлять ее неизменной
Вывод:
Количество семантической информации в сообщении будет тем выше, чем больше уменьшится степень подтверждения гипотезы после получения сообщения

запас знаний (тезаурус) получателя информации
Если же гипотеза построена на эмпирических

данных, полностью подтверждаемых сообщением, то логическая вероятность гипотезы не изменяется и сообщение не несет для получателя никакой новой информации
Вывод:
Мера, основанная на изменении логической вероятности, смыкается с тезаурусной, т.к. учитывает запас знаний и гипотез получателя информации

Связь меры, основанной на изменении логической вероятности и тезаурусной меры

информации
6.8. Прагматическийподход к измерению количества информации

управления
Изучение отношений между знаками и их потребителями с точки зрения

использования получаемой информации и влияния знаков на поведение систем составляет основу прагматической теории информации
Для всех подходов здесь характерно стремление связать понятие прагматической информации с целью, целенаправленным поведением и выдвинуть те или иные количественные меры ценности информации

Прагматический подход к измерению количества информации: общие положения

этой информации.
Мера ценности информации определяется как изменение вероятности достижения цели

после получения сообщения

Мера А.А. Харкевича

задачу решает получатель, что он знает до прихода сообщения и

как его истолковывает
Этот подход имеет вероятностно-алгебраическую сущность и носит более общий характер, чем подход, предложенный А.А. Харкевичем

Подход М.М. Бонгарда

использованы для анализа аспетов человеческой коммуникации
Создана:
модель того, как разумный получатель

оценивает последовательность сообщений на основе определенных семантических и прагматических свойств «логическая модель коммуникаций»
Предлагается:
обеспечить получателя «программой обработки сообщений», с помощью которой извлекается из получаемых сообщений «годная к употреблению сумма сообщений»
Именно к этому результату переработки сообщений, а не к сообщениям в их первоначальной форме могут быть применены количественные меры информации
Созданная Харрахом логическая модель коммуникации служит тем языковым каркасом, в рамках которого программа может быть образована и применена

Подход Д. Харраха

информации

устройстве или переработке, должно быть предварительно закодировано.

виде некоторых символов и их последовательностей (кодовых комбинаций), причем эти

символы могут быть в свою очередь представлены (перекодированы) в виде совокупности физических сигналов той или иной природы
Вообще кодированием называется отображение состояние одной физической системы X с помощью состояния некоторой другой системы Y

может принимать одно из своих возможных состояний
x1,x2, … xn

Требуется закодировать ее с помощью другой системы Y, возможные состояния которой
y1,y2, … ym

в этом случае каждое состояние системы X можно закодировать при помощи одного состояния (буквы, символа, сигнала и т.д.) системы Y

в этом случае состояния системы X приходится кодировать при помощи определенных комбинаций (последовательностей) состояний системы Y

этими комбинациями и называется кодированием в узком смысле этого слова

A в множество конечных последовательностей (слов) в некотором алфавите B,

а декодированием—обратное отображение
Отображающее множество B, включающее в себя множество знаков (символов) и слов (кодовых комбинаций), составленных из этих знаков по определенным правилам и предназначенных для однозначного отображения множества A называется кодом

применяемых в том или ином языке, называется алфавитом данного языка,

а количество различных символов алфавита называют объемом алфавита
Таким образом, при рассмотрении вопросов кодирования можно говорить об алфавите кода

отображающее множество при кодирование и обратного преобразования при декодировании
экономичность

кодирования,
обеспечиваемая оптимизацией средней длины кодовой комбинации, что обеспечивает снижение времени, необходимого для передачи и обработки информации, экономию носителей информации
помехоустойчивость,
т.е. возможность обнаружения и исправления ошибок в кодовых комбинациях

информации
7.1. Помехоустойчивое кодирование

и с дальними космическими кораблями)
магистральные коротковолновые линии связи
линии радиосвязи с

наземными подвижными объектами
телефонные каналы
внутриаппаратные тракты магнитной записи-считывания и шины информационного обмена в компьютерах

плохое качество линий связи, незащищенность друг от друга различных потоков

информации, передаваемой по одним и тем же каналам и т.д. Передача сообщений при наличии помех является серьезной теоретической и практической задачей. Ее значимость возрастает в связи с повсеместным внедрением компьютерных телекоммуникаций, в которых помехи неизбежны

что произошло искажение информации
выяснения того, в каком конкретно месте передаваемого

текста это произошло
исправления ошибки, хотя бы с некоторой степенью достоверности

кодирование
7.1.1. Общее представление об избыточночти

количество информации в сообщении А;
Imax — максимально возможное количество

информации в сообщении той же длины, что и А
Наличие избыточности позволяет ставить вопрос о сжатии информации без ее потери в передаваемых сообщениях.

a символов.
Определить, какое количество N различных слов длиной n символов

можно составить в этом алфавите?
N=a n
Обычно принимают, что объем русского алфавита раве 32 символа.

768 трехбуквенных слов
n=4
более миллиона четырехбуквенных слов
n=5
более 30 миллионов пятибуквенных слов
n=6
более

миллиарда шестибуквенных слов

кодирование
7.1.1. Контролируемая избыточность – основа помехоустойчивого кодирования

специальная теория кодирования, дающая методы борьбы с шумом
Одна из

важных идей этой теории состоит в том, что передаваемый по линии связи код должен быть избыточным
За счет этого потеря какой-то части информации при передаче может быть компенсирована
Однако нельзя делать избыточность слишком большой. Это приведёт к задержкам и удорожанию связи

(бит) в единицу времени при сколь угодно малой вероятности ошибок.

Реально получаемое число передаваемых бит в единицу времени называют скоростью передачи.

При неограниченно малой вероятности ошибок скорость передачи всегда меньше пропускной способности.

В канале с ошибками максимальное значение скорости получают путем использования помехоустойчивого кодирования, что требует введения избыточности в передаваемый сигнал.

Если код согласован с каналом, введенная избыточность становится оправданной. Если код не согласован с каналом, ошибки могут быть не только не исправлены, но и размножены кодом.

Для согласования кода с каналом связи необходимо иметь максимальный объем сведений о возможных мешающих влияниях в каналах.

и называемое пропускной способностью канала число С

Если требуемая

от системы связи скорость передачи информации R (измеряемая в битах в секунду) меньше С, то, используя коды, контролирующие ошибки, для данного канала можно построить такую систему связи, что вероятность ошибки на выходе будет сколь угодно мала

выгоднее использовать кодирование

мощность сигнала, шум в канале и полоса

частот ограничивают лишь скорость передачи, а не ее точность

дополнительные, или избыточные, символы. Эти символы используют для того, чтобы

подчеркнуть индивидуальность каждого сообщения. Их всегда выбирают так, чтобы сделать маловероятной потерю сообщением его индивидуальности из-за искажения при воздействии помех достаточно большого числа символов.

Усреднение шума. Эффект усреднения достигается за счет того, что избыточные символы зависят от нескольких информационных символов.

явно выделены границы каждого символа (байта) специальными стартовым и стоповым

символами.

В синхронном режиме синхронизм поддерживается во время передачи всего информационного блока без обрамления каждого байта.

коды, которые дополнительно к обнаружению еще и исправляют ошибки
Помехозащищенность

достигается с помощью введения избыточности.
Устранение ошибок с помощью корректирующих кодов (такое управление называют Forward Error Control) реализуют в симплексных каналах связи.
В дуплексных каналах достаточно применения кодов, обнаруживающих ошибки (Feedback or Backward Error Control), так как сигнализация об ошибке вызывает повторную передачу от источника.

информационной процедуры