Энтропия и информация. Решение логических задач

тот владеет миром!»

Э.Талейран

по Шеннону. Свойства энтропии.
3. Условная энтропия. Решение задач на условную

энтропию.
4. Количество информации. Решение задач.
5. Решение логических задач на взвешивание через энтропию и количество информации.
6. Решение логических задач о лжецах через энтропию и количество информации.
7. Защита творческих проектов.
Итого: 14 часов

УЧЕБНО ТЕМАТИЧЕСКИЙ ПЛАН

логического мышления и формирование базы математических знаний;

Практическое применение изучаемого

(изученного) программного материала средней школы;

Построение простейших вероятностных моделей реальных процессов и явлений, учитывающих влияние случая;

Создание определенного алгоритма для оценки предсказуемости случая;

Решение логических задач с применением понятия энтропии;

вполне жизненных ситуациях;

Ввести новые математические понятия энтропии и количества информации;

Установить

зависимость степени неопределенности от числа равновероятных исходов;

Показать способы использования ориентированного графа и кодового дерева для построения рассуждений и выводов;

Интегрировать алгебраический и графический методы для решения задач о лжецах, на взвешивание и др.;

Предложить комплекс логических задач, решаемых методом подсчета

случайного события: вероятность и степень неопределенности (энтропию);

Уметь находить степень неопределенности

через известную (найденную) вероятность случайного события;

Сравнивать два события по их неопределенности;

Находить количество информации об опыте для оптимизации его результатов;

Применять полученные умения и навыки для решения логических задач алгебраическим и графическим методами.

занятия:
Вспомнить понятие случайных событий;
Ввести понятие энтропии, ее свойства;
Ввести

формулу Хартли, рассмотреть условия применения ее при решении задач на угадывание;

занятия:
Научиться среди предложенных событий выбирать неопределенные;
Установить соответствие между вероятностью события

и его неопределенностью;
Научиться подсчитывать энтропию события по формуле Хартли;
Отработать метод половинного деления для решения задач на угадывание;
Разобрать алгоритм решения задач на угадывание с применением понятия энтропии

назвали энтропией. (Н(α)).

За единицу энтропии принимается неопределенность, содержащаяся в

опыте, имеющем два равновероятностных исхода.

Единица измерения, учитывая двоичную систему исчисления, - бит.

Этой формулой удобно пользоваться, когда исходы равновероятны.

тем больше степень неопределенности

Что имеет большую степень неопределенности угадывание месяца

или дня недели рождения случайно встреченного человека?

Какую степень неопределенности имеет угадывание месяца рождения случайно встреченного человека?
Н(α) = log k = log12 = 2 + log 3.

понятия энтропия и ее свойств через введение формулы К. Шенона
Задачи

занятия:
Создать проблемную ситуацию невозможности решить задачу с помощью формулы Хартли;
Ввести формулу Клода Шеннона;
Рассмотреть анализ условий задач табличным и графическим методами;
Ввести алгоритм решения задач на сравнение неопределенностей событий;
Свойства энтропии;
Провести тренинг сравнения степеней неопределенности событий.

вероятности равновозможных исходов.
Он же

предложил назвать эту величину энтропией

Клод Шеннон

5 черных и 5 красных; Вторая содержит 16 шаров: 4

белых, 4 черных и 8 красных во второй. Из каждой урны вытаскивают по одному шару. Исход какого из этих двух опытов следует считать более неопределенным? (Приложение №3.)

Первый опыт связан с первой корзиной:
Н (α)= -1\2 log 1\2 - 1\4 log 1\4 - 1\4 log 1\4 = 1\2 +1\2 +1\2 = 3\2 бита

Второй опыт связан со второй корзиной:
Н (β)= -1\2 log 1\2 - 1\4 log 1\4 - 1\4 log 1\4 = 1\2 +1\2 +1\2 = 3\2 бита

из урны, в которой находятся 2 белых и 3 черных

шара?

Р=2\5 Р=3\5


Р=1\4 Р=3\4 Р=2\4 Р=2\4


Р=2\5 * 1\4 Р=3\10 Р=3\10 Р=3\10
=1\10

введение понятия условной энтропии для решения соответствующих задач
Задачи занятия:
Ввести понятие

условной энтропии;
Обозначить тип задач, решаемых с применением условной энтропии;
Ввести алгоритм решения задач на условную энтропию;
Ввести свойства энтропии, привести доказательство;

(β/Аi) = ∑ [Р(Вj /Аi) log (Р(Вj /Аi))-1]
P(A2)
P(A1)
P(An)
A2
An
α

цифровой азбуки при условии, что одна карточка утеряна?
Опыт α =

{утеряна одна карточка} = {А1, А2 }

А1 = {утеряна карточка с простой цифрой}, n(А1) = 4, Р(А1)= 4/10 =2/5,

А2 = {утеряна карточка с непростой цифрой}, n(А2) = 6, Р(А2)= 6 /10 =3/5

β = {угадывание карточки с простой цифрой}

количества информации для решения задач

Задачи занятия:
Ввести новые понятия и формулы:

количество информации, ориентированный граф, свойства количества информации;
Разобрать типовые задачи на количество информации;
Провести интерпретацию информации через энтропию;
Доказать ряд свойств количества информации;

α уменьшает неопределенность β т.е. как много нового узнаем мы

об исходе опыта β, произведя измерение (наблюдение) α;

Информацию можно измерить числом, которое называется количеством информации об опыте β, содержащемся в опыте α

I(α,β)=H(β) – H(β/α)

- Н(α*β),
I(α,β) = I(β,α)
I(α,β,γ) ≥I(α,β), где α,β,γ- три произвольных опыта

(Приложение

№5)

одна из которых фальшивая, отличающаяся от других по весу (причем

неизвестно, легче она или тяжелее настоящих).

Каково наименьшее число взвешиваний на чашечных весах без гирь, которое позволяет обнаружить фальшивую монету?

log24
или k*log3≥log24
Отсюда

и
т.к. k – целое число, то k≥3

M4 M6
M1 M2 M5
М1
М2
М7
М5
М8
М3
М4
М11
М10
М6
М12
М9
М10
М11
М9
М12
Аналогично
1-му
=
M1 M2
M7 M8

M3 M4

=

=

M1 M2 M3

M9 M10 M11

=

M9 M10

=

M1 M12

M9 M10

=