Разделы презентаций
- Разное
- Английский язык
- Астрономия
- Алгебра
- Биология
- География
- Геометрия
- Детские презентации
- Информатика
- История
- Литература
- Математика
- Медицина
- Менеджмент
- Музыка
- МХК
- Немецкий язык
- ОБЖ
- Обществознание
- Окружающий мир
- Педагогика
- Русский язык
- Технология
- Физика
- Философия
- Химия
- Шаблоны, картинки для презентаций
- Экология
- Экономика
- Юриспруденция
Меры информации
Содержание
- 1. Меры информации
- 2. Слайд 2
- 3. Аспекты исследования сообщенийСинтаксический - рассматриваются внутренние свойства
- 4. Слайд 4
- 5. Семантический Уровни изучения передачи информацииСинтаксический Прагматический
- 6. Синтаксический уровеньИдея:Технические проблемы совершенствования методов передачи сообщений
- 7. Семантический уровеньИдея:Проблемы связаны с формализацией и учетом
- 8. Прагматический уровеньИдея: проблемы этого уровня связаны с
- 9. Семантический Уровни изучения передачи информацииСинтаксический Прагматический
- 10. Меры информациисинтаксическиеобъемДанныхVКоличество информацииIсемантическиепрагматические
- 11. Меры информацииКоличество информацииI ПрагматическиемерыСемантическиемерыСинтаксическиемерыОбъем данныхV
- 12. ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 6. Измерение информации6.2. Объем данных.
- 13. Слайд 13
- 14. Объем данныхОбъем данных измеряется количеством символов (минимальных
- 15. Меры информациисинтаксическиеобъемДанныхVКоличество информацииIсемантическиепрагматические
- 16. Меры информациисинтаксическиеобъемДанныхVКоличество информацииIсемантическиепрагматические
- 17. ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 6. Измерение информации6.3. Основные сведения теории информации
- 18. Теория информациинаука, изучающая количественные закономерности, связанные с
- 19. Задачи теории информацииОтыскание наиболее экономных методов кодирования,
- 20. Для решения перечисленных задач нужно, прежде всего,
- 21. Ученые, внесшие вклад в развитие теории информацииР. Фишер X. Найквист Р. Хартли К. Шеннон
- 22. Основные положения количественной оценки информацииИнформация об объекте
- 23. Основные положения количественной оценки информации в теории
- 24. Основные положения количественной оценки информацииЗа отправную точку
- 25. Основные положения количественной оценки информации Описание любого
- 26. Основные положения количественной оценки информации Следовательно, сообщение
- 27. Основные положения количественной оценки информации Таким образом,
- 28. Основные положения количественной оценки информации что значит большая или меньшая степень неопределенности системы?чем можно ее измерить?
- 29. ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И
- 30. Основные понятия теории вероятностей Многим явлениям присуща
- 31. Основные понятия теории вероятностей Наука, изучающая специфические
- 32. Понятие события Под событием будем понимать всякий
- 33. вероятность события Чтобы сравнивать между собой события
- 34. вероятность события В качестве единицы измерения степени
- 35. вероятность события Таким образом, вероятности возможных событий
- 36. Непосредственный подсчет вероятности все исходы опыта образуют
- 37. Непосредственный подсчет вероятности Несколько событий в данном
- 38. Непосредственный подсчет вероятности Несовместные равновозможные события, образующие
- 39. Непосредственный подсчет вероятности —вероятность события —общее число случаев, —число случаев, благоприятных событию
- 40. определение статистической вероятности (частоты) события Если проведена
- 41. случайная величина
- 42. многоугольник распределения
- 43. характеристики положения определяют некоторое среднее ориентировочное значение,
- 44. математическое ожидание (среднее значение)
- 45. математическое ожидание
- 46. математическое ожидание
- 47. Логарифм, свойства логарифма
- 48. ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ. ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ 6. Измерение информации6.5. Структурный подход Хартли
- 49. Структурный подход ХартлиХартли предположил, что любая система
- 50. Структурный подход Хартли (примеры)Пусть имеются пять различных
- 51. Структурный подход ХартлиХартли предложил структурный подход к
- 52. Структурный подход ХартлиЕсли количество возможных сообщений в
- 53. Свойства меры ХартлиПри увеличении число возможных состояний
- 54. Свойства меры ХартлиПусть сообщения исходят из двух
- 55. Свойства меры Хартлилогарифмическая мера информации обладает свойством
- 56. Скачать презентанцию
Аспекты исследования сообщенийСинтаксический - рассматриваются внутренние свойства сообщенийСемантический - анализируется смысловое содержание сообщения, его отношение к источнику информацииПрагматический - рассматривается потребительское содержание сообщения, его отношение к получателю
Слайды и текст этой презентации
Слайд 1ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ.
ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
6. Измерение
информации
Слайд 3Аспекты исследования сообщений
Синтаксический - рассматриваются внутренние свойства сообщений
Семантический - анализируется
смысловое содержание сообщения, его отношение к источнику информации
Прагматический - рассматривается
потребительское содержание сообщения, его отношение к получателю
Слайд 6Синтаксический уровень
Идея:
Технические проблемы совершенствования методов передачи сообщений и их сигналов
Проблемы
доставки получателю сообщений
Полностью абстрагируются от смыслового содержания сообщений и их
целевого предназначения Учитывают:
Тип носителя
Способ представления информации
Скорость передачи и обработки
Размеры кодов представления информации и т.д.
Слайд 7Семантический уровень
Идея:
Проблемы связаны с формализацией и учетом смысла передаваемой информации.
Проблемы
этого уровня чрезвычайно сложны, так как смысловое содержание информации больше
зависит от получателя, чем от семантики сообщения, представленного на каком-либо языке.На данном уровне:
Анализируется сведения, которые отражает информация
Выявляется смысл информации
Выявляется содержание информации
Осуществляется обобщение информации
Слайд 8Прагматический уровень
Идея:
проблемы этого уровня связаны с определением ценности и
полезности информации для потребителя
интересуют последствия от получения и использования данной
информации потребителем. 
Слайд 11Меры информации
Количество информации
I
Прагматические
меры
Семантические
меры
Синтаксические
меры
Объем данных
V
Слайд 12ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ.
ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
6. Измерение
информации
6.2. Объем данных.
Слайд 14Объем данных
Объем данных измеряется количеством символов (минимальных неделимых единиц данных)
в сообщении
Алфавит
При использовании современных компьютеров данные кодируются группами двоичных разрядов
– битов Для кодирования символов могут быть использованы кодовые группы различной длины.
Кодовая группа минимальной длины, достаточная для кодирования одного символа, носит название байт
Байтовый алфавит
Принято считать, что длина байта – 8 символов.
Понятие байта как единицы измерения объема данных смешивается с понятием байта как минимально адресуемой области памяти компьютера
Слайд 17ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ.
ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
6. Измерение
информации
6.3. Основные сведения теории информации
Слайд 18Теория информации
наука, изучающая количественные закономерности, связанные с получением, передачей, обработкой
и хранением информации, структуру и закономерности протекания информационных процессов.
Слайд 19Задачи теории информации
Отыскание наиболее экономных методов кодирования, позволяющих передать заданную
информацию с помощью минимального количества символов.
Определение пропускной способности канала, чтобы
он передавал всю поступающую информацию без помех и искаженийОпределение объема запоминающих устройств, поиск способов ввода в эти устройства данных и вывода их для непосредственного использования
Слайд 20Для решения перечисленных задач нужно, прежде всего, научиться измерять количественный
объем передаваемой или хранимой информации, пропускную способность каналов связи и
их чувствительность к помехам (искажениям)
Слайд 22Основные положения количественной оценки информации
Информация об объекте (источнике информации) передается
в виде сообщений, имеющих различную синтаксическую форму
Следовательно, сообщение—это форма представления
информации Можно пренебречь содержательной стороной информации, выразить её количество числом, и, следовательно, сравнить количество информации, содержащейся в различных группах данных
Слайд 23Основные положения количественной оценки информации
в теории информации используются синтаксические
меры информации, оперирующие с обезличенной информацией и не учитывающие ее
семантического и прагматического аспектов
Слайд 24Основные положения количественной оценки информации
За отправную точку принимается то, что
информация, содержащаяся в сообщении, полностью или частично устраняет априорную
неопределенность объекта, процесса, явленияВ качестве объекта, о котором передается информация, в теории информации рассматривают некоторую физическую систему, которая может оказаться в том или ином состоянии, т.е. систему, которой заведомо присуща некоторая степень неопределенности
Слайд 25Основные положения количественной оценки информации
Описание любого события или объекта
формально можно рассматривать как указание на то, в каком из
возможных состояний находится описываемый объектТогда протекание событий во времени есть не что иное, как смена возможных состояний системы
Слайд 26Основные положения количественной оценки информации
Следовательно, сообщение имеет смысл только
тогда, когда состояние объекта заранее неизвестно.
Слайд 27Основные положения количественной оценки информации
Таким образом, информацию, содержащуюся в
сообщении, можно рассматривать с точки зрения её новизны то есть,
уменьшения неопределённости наших знаний об объекте.
Слайд 28Основные положения количественной оценки информации
что значит большая или меньшая
степень неопределенности системы?
чем можно ее измерить?
Слайд 29ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ.
ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
6. Измерение
информации
6.4. Математический аппарат, используемый в теории информации
Слайд 30Основные понятия теории вероятностей
Многим явлениям присуща случайная природа, и
их надо изучать с точки зрения закономерностей, присущих им как
случайным явлениям. Опыт показывает, что если нельзя конкретно судить об исходе отдельных явлений, то наблюдая в совокупности массы однородных случайных явлений, мы обнаруживаем в них вполне определенные закономерности (устойчивости), свойственные именно массовым случайным явлениям.
Слайд 31Основные понятия теории вероятностей
Наука, изучающая специфические закономерности случайных явлений
и процессов, получила название теории вероятностей.
Слайд 32Понятие события
Под событием будем понимать всякий факт (результат какого–либо
опыта, наблюдения, эксперимента и т.п.), который в результате опыта может
произойти (наступить, осуществиться) или не произойти.
Слайд 33вероятность события
Чтобы сравнивать между собой события по степени их
возможности, с каждым из событий связывают определенное число, которое называют
вероятностью события .
Слайд 34вероятность события
В качестве единицы измерения степени возможности (вероятности) события
принята вероятность достоверного события, которому приписывают вероятность, равную единице.
Противоположным
по отношению к достоверному событию является невозможное событие, которому приписывается вероятность, равная нулю.
Слайд 35вероятность события
Таким образом, вероятности возможных событий представляют собой числа
в пределах от 0 до 1
Слайд 36Непосредственный подсчет вероятности
все исходы опыта образуют полную группу
все
исходы опыта попарно несовместны
все исходы опыта обладают симметрией и в
силу этого объективно одинаково возможны
Слайд 37Непосредственный подсчет вероятности
Несколько событий в данном опыте образуют полную
группу событий, если в результате опыта непременно должно появиться хотя
бы одно из нихСобытия называют несовместными, если появление одного из них исключает появление других событий в том же опыте
События называют равновозможными, если по условиям симметрии опыта есть основание считать, что ни одно из этих событий не является более объективно возможным, чем другое
Слайд 38Непосредственный подсчет вероятности
Несовместные равновозможные события, образующие полную группу, называют
случаями.
Случай называют благоприятным (благоприятствующим), некоторому событию, если появление этого
случая влечет за собой появление соответствующего события 
Слайд 39Непосредственный подсчет вероятности
—вероятность события
—общее число случаев,
—число
случаев, благоприятных событию
Слайд 40определение статистической вероятности (частоты) события
Если проведена серия из n
опытов, в каждом из которых могло появиться или не появиться
событие A, то частотой появления события A в данной серии опытов называется отношение числа опытов m в которых появилось событие A к общему числу произведенных опытов.
Слайд 43характеристики положения
определяют некоторое среднее ориентировочное значение, около которого группируются
все возможные значения случайной величины. Характеристики положения характеризуют положение случайной
величины на числовой оси.Таким образом, среднее значение случайной величины есть некоторое число, заменяющее ее при расчетах
Слайд 48ИНФОРМАЦИЯ И ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ.
ИЗМЕРЕНИЕ И КОДИРОВАНИЕ ИНФОРМАЦИИ
6. Измерение
информации
6.5. Структурный подход Хартли
Слайд 49Структурный подход Хартли
Хартли предположил, что любая система может с одинаковой
степенью вероятности находиться в любом из своих возможных состояний, т.е.
все состояния системы являются равновозможными. Поэтому в рамках этого подхода степень неопределенности определяется числом возможных состояний системы
Слайд 50Структурный подход Хартли (примеры)
Пусть имеются пять различных объектов: партнер по
игре в крестики–нолики; поезд; вещество; студент; колода карт. О каждом
из них нас интересует следующая информация:В какой из четырех углов сделает свой первый ход партнер по игре в крестики–нолики?
В какое время суток (утром, днем, вечером или ночью) прибывает поезд?
В каком состоянии (твердое, жидкое, газообразное или плазма) находится некоторое вещество?
Какой из четырех оценок (неудовлетворительно, удовлетворительно, хорошо или отлично) оценил преподаватель знания студента?
Какой из четырех возможных мастей оказалась карта, наугад вынутая из колоды?
Слайд 51Структурный подход Хартли
Хартли предложил структурный подход к определению т.н. емкости
системы, передающей и накапливающей информацию, и количества информации в сообщении.
Этот подход называют структурным, т.к. он учитывает структуру источника информации, т.е. количество его возможных состояний.
Слайд 52Структурный подход Хартли
Если количество возможных сообщений в множестве возможных сообщений
равно n, то, согласно Хартли, информация I1, приходящаяся на одно
сообщение, определяется логарифмом общего числа возможных сообщений n:
Слайд 53Свойства меры Хартли
При увеличении число возможных состояний источника информации возрастает
степень его неопределенности, и, следовательно, увеличивается количество информации в сообщении;
Если
источник информации может находиться только в одном состоянии (передавать только одно сообщение), то, следовательно, его состояние полностью определено, и количество информации в передаваемом сообщении равно нулю;
Слайд 54Свойства меры Хартли
Пусть сообщения исходят из двух независимых источников, которые
могут передавать n1 и n2 возможных сообщений соответственно. Каждое сообщение
от первого источника может быть объединено с сообщением от второго источника, образуя новое сложное сообщение. Общее число таких сообщенийСледовательно, количество информации , приходящееся на одно сложное сообщение, определяется формулой:
Слайд 55Свойства меры Хартли
логарифмическая мера информации обладает свойством аддитивности.
В самом
деле, количество информации на сообщение в этом случае оказывается равным
сумме количеств информации, которые были бы получены на одно сообщение из двух источников, взятых порознь
