Слайд 1Дисциплина
Теория информации
Преподаватель:
Ланских
Владимир
Георгиевич
Слайд 2
Информация, наряду с материей и энергией, является первичным понятием нашего
мира и поэтому в строгом смысле не может быть определена.
Слайд 3Свойства информации
Можно перечислить основные свойства информации:
а) информация переносит знания
об окружающем мире, которых в рассматриваемой точке не было до
получения информации;
б) информация не материальна, но она проявляется в форме материальных носителей – дискретных знаков, символов или функций времени;
в) информация может быть заключена как в символах, как таковых, так и в их взаимном расположении;
г) символы доставляют информацию только для получателя, способного их распознать.
Слайд 4Определение
Распознавание состоит в отождествлении символов с объектами реального мира и
их отношениями.
Поэтому информацию коротко и не строго можно определить как
результат моделирования, т. е. описания реального мира или его исследуемой части.
Слайд 5Определения
Под символами понимаются реальные различимые получателем объекты: буквы, цифры и
т. п.
Из символов строятся последовательности, которые называются сообщениями. Элементарным сообщением является
каждый из символов.
Множество всех символов, используемых для построения сообщений в какой-либо информационной системе, называется ее алфавитом.
Слайд 6Структура системы передачи
Сообщения и их последовательности содержат информацию для получателя,
которую ему необходимо доставить. Любая доставка, транспортировка, передача информации неразрывно
связана с определенной материальной системой, называемой системой передачи информации, структура которой в самом общем виде выглядит следующим образом
Слайд 8Мера количества информации
Источник сообщений вырабатывает информацию в виде сообщений. С
источником связано определенное множество возможных сообщений.
Генерация некоторого конкретного сообщения заключается
в случайном выборе одного сообщения из множества возможных или вероятных.
Слайд 9Мера количества информации
Чтобы сравнивать между собой различные источники и различные
каналы необходимо ввести некоторую количественную меру, позволяющую оценивать содержащуюся в
сообщении информацию.
Слайд 10Мера количества информации
В связи с вероятностным характером сообщений до их
получения в месте приема существует неопределенность в отношении того, какое
из возможных сообщений поступит. При приеме сообщения эта неопределенность снимается полностью или частично. Чем больше существовавшая ранее и снимаемая при получении сообщения неопределенность, тем большее количество информации содержит это сообщение.
Слайд 11Мера количества информации
Например, из двух сообщений, одно из которых содержит
сведения о результатах бросания монеты, а другое – о результатах
бросания игральной кости, второе содержит больше информации, поскольку снимает большую неопределенность относительно исхода этого эксперимента.
Слайд 12Мера количества информации
Таким образом, количество информации, содержащееся в сообщении, может
быть количественно оценено по вероятности его поступления. Это позволяет установить
объективную численную меру количества информации, содержащегося в любых возможных сообщениях, независимо от их конкретного смысла, ценности, полезности и т. п.
Слайд 13Мера количества информации
Введение количественной меры информации позволяет определить такие понятия
как производительность источника, избыточность, скорость передачи информации, пропускная способность канала.
Слайд 14Определения
Под производительностью источника понимается скорость создания информации, т. е. количество информации,
создаваемое источником в единицу времени.
Слайд 15Определения
Под избыточностью сообщения (источника) понимается использование в сообщениях большего количества
символов, чем это минимально необходимо для передачи того же количества
информации.
Слайд 16Определения
Под скоростью передачи информации по каналу понимается количество информации, получаемое
в единицу времени.
Слайд 17Определения
Под пропускной способностью канала понимается максимально возможная (потенциальная) скорость передачи
информации, которая может быть достигнута для данного канала при выполнении
определенных условий.
Слайд 18Функция передатчика
Передатчик преобразует сообщение в сигнал. Сигналами называются динамические, т. е.
изменяющиеся во времени, процессы любой природы. Чаще других используются электрические
сигналы.
Сигналы формируются путем изменения тех или иных параметров физического носителя по закону, определяемому переносимым сообщением. Таким образом, в передатчике каждое из возможных сообщений на входе преобразуется в одно из возможных значений сигнала на выходе по строго установленному правилу.
Слайд 19Преобразование сообщений в сигналы
В зависимости от типов сообщений, сигналов и
каналов правила, по которым сообщения преобразуются в сигналы, могут называться
кодированием и модуляцией.
Слайд 20Определения
Под кодированием в широком смысле понимается преобразование формы представления информации
с целью обеспечения удобства ее передачи или хранения. В узком
смысле, говоря о кодировании, обычно предполагают преобразование дискретных форм представления информации.
Кодирование обеспечивает либо максимально возможную скорость передачи информации, либо заданную помехоустойчивость.
Слайд 21Эффективное кодирование
В первом случае целесообразно обеспечить такое кодирование сообщения, при
котором за счет устранения избыточности существенно уменьшается число символов, приходящихся
на единицу сообщения. При отсутствии помех это дает непосредственный выигрыш во времени передачи. Такое кодирование называется эффективным или оптимальным кодированием для источника.
Слайд 22Помехоустойчивое кодирование
Второй тип кодирования, называемый кодированием для канала, призван обеспечить
заданную достоверность при передаче по каналу, на который воздействуют помехи.
Такое кодирование называют избыточным или помехоустойчивым.
Корректирующие свойства этих кодов достигаются введением в кодовые комбинации специальных дополнительных, т. е. избыточных символов.
Устройства, осуществляющие кодирование и декодирование, называются кодером и декодером, соответственно.
Слайд 23Модуляция
Модуляция представляет собой процесс преобразования кодовых символов, как элементов кодовых
комбинаций, в сигналы, пригодные для передачи по каналу, свойства которого
предъявляют определенные требования к характеристикам и параметрам передаваемых по ним сигналов.
Слайд 24Модуляция
Общий принцип модуляции состоит в изменении в соответствии с передаваемым
сообщением одного или нескольких параметров носителя, называемого еще переносчиком или
несущей. От вида модуляции в значительной мере зависят помехоустойчивость и пропускная способность системы связи.
Слайд 25Помехи
В любом канале кроме сигнала, генерируемого передатчиком, действуют родственные сигналу
по физической природе случайные процессы, объединяемые общим названием – помехи.
Помехи
накладываются на полезный сигнал и искажают его. Поэтому сигнал на выходе канала отличается от входного.
Слайд 26Функция приемника
Приемник осуществляет восстановление переданного сообщения по принятому сигналу.
Данная
операция возможна, если известно правило преобразования сообщения в сигнал, осуществляемое
передатчиком. На основании этого правила вырабатывается правило обратного преобразования – демодуляции и декодирования
Слайд 27Функция приемника
Это правило позволяет выбрать на приемной стороне сообщение из
известного множества сообщений, в идеальном случае полностью совпадающее с переданным.
Однако вследствие искажений принятого сигнала возможны ошибки при восстановлении сообщений.
Слайд 28Структура системы передачи
Все сказанное позволяет представить структуру системы передачи информации,
изображенную ранее, в следующем виде.
Слайд 30Структура системы передачи
Дискретность или непрерывность канала определяется только характером информационных
параметров сигналов на его входе и выходе. На входе и
выходе дискретного канала наблюдаются дискретные сигналы или символы из конечного алфавита. В непрерывных каналах сигналы на входе и выходе непрерывны.
Слайд 31Структура курса
Из всего рассмотренного можно сделать следующие выводы:
Вывод первый
Вероятностный характер
сообщений, сигналов, каналов и помех обуславливает необходимость рассмотрения математических методов
описания (построения математических моделей) названных информационных объектов и процессов.
Слайд 32Структура курса
Детализация этого вывода является содержанием первой главы курса, называемой
«Теоретические методы описания информационных объектов и процессов», которая содержит следующие
разделы
Слайд 33Структура курса
Глава 1. Теоретические методы описания информационных объектов и процессов
1.1.
Случайные события и их вероятности
1.2. Случайные величины и процессы
1.3. Методы
спектрального описания случайных процессов
1.4. Дискретизация и квантование
1.5. Классификация помех
1.6. Модели каналов
1.7. Методы модуляции
1.8. Согласование характеристик сигнала и канала
Слайд 34Структура курса
Вывод второй
Вероятностные свойства сообщений, сигналов, каналов и помех позволяют
ввести статистическое определение количественной меры информации и на ее основе
количественную меру таких характеристик, как избыточность, производительность источника, скорость передачи информации и пропускная способность канала.
Слайд 35Структура курса
Детализация понятий, перечисленных в настоящем выводе, является содержанием второй
главы курса, называемой «Количественные оценки информационных объектов и процессов», которая
содержит следующие разделы
Слайд 36Структура курса
Глава 2. Количественные оценки информационных объектов и процессов
2.1. Подходы
к определению количества информации
2.2. Основы статистического подхода к определению количества
информации
2.3. Энтропия объединения (ансамбля)
2.4. Основная теорема Шеннона для дискретного канала
2.5. Энтропийные характеристики непрерывных информационных объектов
Слайд 37Структура курса
Вывод третий
Важнейшей операцией по преобразованию формы представления информации, которая
оказывает существенное влияние на все перечисленные ранее характеристики информационных систем,
является кодирование.
Слайд 38Структура курса
Рассмотрению различных методов кодирования информации посвящена третья и последняя
глава настоящего курса, называемая «Основы теории кодирования», имеющая следующее содержание
Слайд 39Структура курса
Глава 3. Основы теории кодирования
3.1. Назначение и классификация кодов
3.2.
Эффективное кодирование
3.3. Помехоустойчивое кодирование
Слайд 40Технология прохождения курса
Учебным планом предусмотрено:
в зимнюю сессию 2 часа лекций
23.01.2019
11.45 ауд.2-403;
в летнюю сессию:
- выполнение и сдача домашней контрольной работы
;
6 часов практических занятий
зачет
.
Слайд 41Технология прохождения курса
Домашняя контрольная работа выполняется в соответствии со своим
вариантом по учебно-методическому пособию:
ТЕОРИЯ ИНФОРМАЦИИ И КОДИРОВАНИЯ: УЧЕБНО-МЕТОДИЧЕСКОЕ ПОСОБИЕ ДЛЯ
СТУДЕНТОВ НАПРАВЛЕНИЯ 230400.62 «ИНФОРМАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ» ЗАОЧНОЙ ФОРМЫ ОБУЧЕНИЯ/ В.Г. ЛАНСКИХ. – КИРОВ: ПРИП ФГБОУ ВПО «ВяТГУ», 2013. – 47с., которое имеет следующее содержание:
Слайд 42Технология прохождения курса
ВВЕДЕНИЕ
РАБОЧАЯ ПРОГРАММА
1. Общая характеристика
2. Концепция курса
3. Цель и
задачи, решаемые дисциплиной
4. Требования к компетенциям учащегося, необходимым для освоения
дисциплины (предшествующие дисциплины)
5. Результаты обучения (характеристика формируемых компетенций)
6. Структура дисциплины
7. Детализированное описание содержания модулей дисциплины
Слайд 43Технология прохождения курса
КОНТРОЛЬНАЯ РАБОТА
Задание 1
Задание 2
Задание 3
Задание 4
Задание 5
Задание 6
Задание
7
Задание 8
Задание 9
Задание 10
Задание 11
Задание 12
Задание 13
Задание 14
Задание 15
Задание 16
Задание
17
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
Слайд 44Технология прохождения курса
На каждом практическом занятии будет проводиться контрольная работа
с соответствующим номером. График приведен ниже.
Перечень вопросов контрольных работ приведен
после каждой соответствующей лекции в учебном пособии:
Слайд 45Технология прохождения курса
ТЕОРИЯ ИНФОРМАЦИИ: УЧЕБНОЕ ПОСОБИЕ / В.Г. ЛАНСКИХ. –
КИРОВ: ФГБОУ ВПО «ВЯТГУ», 2013. – 260 С. ,
которое имеет
следующее содержание:
Слайд 46Структура учебного пособия
Лекция 1. Вводная
Введение
Лекция 2. Случайные события и их
вероятности
Глава 1. Теоретические методы описания информационных объектов и процессов
Контрольные вопросы
к лекции 2
Лекция 3. Дискретные случайные величины и процессы
1.2. Случайные величины и процессы
1.2.1. Дискретные случайные величины и процессы
Контрольные вопросы к лекции 3
Лекция 4. Непрерывные случайные величины и процессы
1.2.2. Непрерывные случайные величины и процессы
Контрольные вопросы к лекции 4
Слайд 47Структура учебного пособия
Лекция 5. Методы спектрального описания случайных процессов
1.3. Методы
спектрального описания случайных процессов
1.3.1. Понятие спектра детерминированного процесса
1.3.2. Спектральное описание
случайных процессов
Контрольные вопросы к лекции 5
Лекция 6. Дискретизация и квантование
1.4. Дискретизация и квантование
1.4.1. Дискретизация
1.4.2. Квантование
Контрольные вопросы к лекции 6
Слайд 48Структура учебного пособия
Лекция 7. Классификация помех
1.5. Классификация помех
Контрольные вопросы к
лекции 7
Лекция 8. Модели каналов
1.6. Модели каналов
1.6.1. Модели дискретных каналов
1.6.2.
Модели непрерывных каналов
Контрольные вопросы к лекции 8
Слайд 49Структура учебного пособия
Лекция 9. Методы модуляции
1.7. Методы модуляции
1.7.1. Непрерывные методы
модуляции и манипуляции
1.7.2. Методы импульсной модуляции
1.7.3. Методы цифровой модуляции
1.8. Согласование
характеристик сигнала и канала
Контрольные вопросы к лекции 9
Слайд 50Структура учебного пособия
Лекция 10. Основы статистического подхода к определению количества
информации
Глава 2. Количественные оценки информационных объектов и процессов
2.1. Подходы к
определению количества информации
2.2. Основы статистического подхода к определению количества информации
2.3. Энтропия объединения (ансамбля)
Контрольные вопросы к лекции 10
Слайд 51Структура учебного пособия
Лекция 11. Основная теорема Шеннона
2.4. Основная теорема Шеннона
для дискретного канала
2.5. Энтропийные характеристики непрерывных информационных объектов
Контрольные вопросы к
лекции 11
Слайд 52Структура учебного пособия
Лекция 12. Назначение и классификация кодов
Глава 3. Основы
теории кодирования
3.1. Назначение и классификация кодов
3.2. Эффективное кодирование
Контрольные вопросы к
лекции 12
Слайд 53Структура учебного пособия
Лекция 13. Общие принципы построения помехоустойчивых кодов
3.3. Помехоустойчивое
кодирование
3.3.1. Общие принципы построения помехоустойчивых кодов
3.3.2. Классификация избыточных двоичных кодов
3.3.3.
Простейшие блоковые коды с обнаружением ошибок
Контрольные вопросы к лекции 13
Слайд 54Структура учебного пособия
Лекция 14. Коды с обобщенными проверками на четность
3.3.4.
Групповые коды с обнаружением и исправлением ошибок
Контрольные вопросы к лекции
14
Лекция 15. Полиномиальные коды
Контрольные вопросы к лекции 15
Лекция 16. Сверточные коды
3.3.5. Сверточные коды
Контрольные вопросы к лекции 16
Слайд 55Структура учебного пособия
Лекция 17. Каскадные коды. Эффективность помехоустойчивого кодирования
3.3.6. Каскадные
коды
3.3.7. Оценка эффективности применения корректирующих кодов
Контрольные вопросы к лекции 17
Библиографический
список
Слайд 56Технология прохождения курса
Соответствие номеров контрольных работ, количества вопросов в ней
из каждой лекции и даты проведения приведено ниже.
Слайд 59Технология прохождения курса
На каждом практическом занятии проводится по две контрольных
работы, которые оцениваются, исходя из пяти баллов.
По завершении курса определяется
общая оценка по домашней и аудиторным контрольным работам и, если она превосходит 2,5 балла, студент автоматически получает зачет по дисциплине.
Желаю успехов!