Слайд 1Информационные технологии
Биологический институт
Томский государственный университет
Лекция 2
Кодирование и сжатие графических, аудио-
и видеоданных
Слайд 2Дмитрий Владимирович
Курбатский
научный сотрудник НИЛБиЭМ БИ ТГУ, магистр биологии
Зоологический музей (к.
123)
Кафедра зоологии позвоночных (к. 126)
Слайд 3Блок 1
Кодирование звуковых данных
Слайд 4ЦАП и АЦП
Аналого-цифровой преобразователь (АЦП, Analog-to-digital converter, ADC) — устройство,
преобразующее входной аналоговый сигнал в дискретный код (цифровой сигнал).
Цифро-аналоговый преобразователь
(ЦАП, DAC) — устройство для преобразования цифрового (обычно двоичного) кода в аналоговый сигнал (ток, напряжение или заряд).
Слайд 7Квантование (quantization)
—разбиение диапазона значений непрерывной или дискретной величины на
конечное число интервалов.
имеет шаг.
~ битности.
Слайд 8Разрядность квантования
2^N уровней
N – разрядность
При N = 16+ бит –
погрешности становятся почти незаметными.
Слайд 10Дискретизация
При дискретизации изменяющаяся во времени величина (сигнал) замеряется с заданной
частотой.
имеет частоту
частота дискретизации
частота выборки
частота сэмпли-
рования
Слайд 11Цифровой сигнал
= квантование + дискретизация
Слайд 14Цифровой сигнал
Размеры данных при кодировании:
1 с. стереозвука PCM:
2 (канала)
*
2 (байта
= 16 бит)
*
44 100 Гц
=
176 400 байт ~ 176 кБ
Это
без сжатия.
Слайд 15Характеристики АЦП
Поддерживаемый диапазон частот (Hz, Гц)
Динамический диапазон (dB, дБ)
Разрядность (бит)
Частота
дискретизации (Hz, Гц)
теорема Котельникова
fd > 2 * fmax
частота Найквиста
Слайд 16Импульсно-кодовая модуляция
– дискретизация сигнала во времени в совокупности с методом
однородного квантования.
Pulse Code Modulation – PCM
Записываются абсолютные значения амплитуды.
Пример:
16 бит
44.1
кГЦ
до 20 000 Гц (с запасом)
Слайд 17Дополнительные действия
Помехоустойчивое кодирование
Перемежитель
Канальное кодирование
Слайд 18Звуковой компакт-диск
он же CDDA, он же Compact Disc Digital Audio,
он же Audio CD, он же Red Book
1980 год, Philips
и
Sony
Слайд 19Звуковой компакт-диск
Максимальное время всех записей — 74 (79,8) мин.
Минимальное время
трека — 4 секунды (включая 2-секундную паузу)
Максимальное количество треков —
99
Максимальное число точек отсчёта (разделов трека) — 99 без ограничений по времени
Должен присутствовать International Standard Recording Code (ISRC)
Диаметр диска — 120 мм
Диаметр центрального отверстия — 15 мм
Толщина диска — 1,2 мм
Материал — поликарбонат
Воспроизведение информации — постоянная линейная скорость 1,2-1,4 м/с
Слайд 20Звуковой компакт-диск
Шаг дорожки — 1,6 ± 0,1 мкм
Ширина питов —
0,4 мкм
Глубина питов — 0,12 мкм
Длина питов — 0,83—3,1 мкм
Длина
волны лазера — 780 нм
Частота дискретизации — 44,1 кГц
Разрядность — 16 бит (линейное квантование)
Скорость считывания звуковой информации — 1,4112 Мбит/с
Общая скорость считывания информации — 1,9404 Мбит/с
Коррекция ошибок — CIRC (двойной код Рида-Соломона с тройным перемежением)
Избыточность — 25 %
Максимальный объём информации, записанной на диске — 650 (700, 800, 900) МБ
Скорость чтения/записи CD указывается кратной 150 Кб/с
Слайд 21Другие варианты
Логарифмическое квантование
Дельта-кодирование (Adaptive Delta PCM)
Дифференциальная импульсно-кодовая модуляция
Сигма-дельта-модуляция
Слайд 23Связанные понятия
алиасинг aliasing
Слайд 24Связанные понятия
интерполяция
подмешивание псевдослучайного сигнала dither
передискретизация
отношение сигнал/шум
полоса пропускания
Слайд 26MIDI
Musical Instrument Digital Interface — цифровой интерфейс музыкальных инструментов
Секвенсоры
Слайд 28Медиаконтейнер
– формат файла или потока данных, определяющий только способ сохранения
(т.е. внутренней структуры этого файла) данных, но НЕ алгоритм кодирования.
Примеры:
Графика:
JPEG, TIFF
Аудио: WAV
Многоцелевые: 3GP, Matroska, AVI
Слайд 29Кодек
(codec, от coder/decoder — шифратор/дешифратор — кодировщик/декодировщик или compressor/decompressor) —
устройство или программа, способная выполнять преобразование данных или сигнала.
видеокодек
аудиокодек
сжимающие без
потерь (lossless codec)
Слайд 30Сжатие данных без потерь
Lossless data compression
Информационная энтропия
Энтропийное кодирование
Слайд 31Префиксный код
Условие Фано: если в код входит слово a, то
для любой непустой строки b слова ab в коде не
существует.
0, 1, 00, 01, 10, 11 =>
01001101110 ~ 0 10 0 11 0 11 10
Пример:
00 → 0, 01 → 10, 10 → 110, 11 → 111
=>
00 01 00 00 11 10 00 00 (16 бит)
~
0 10 0 0 111 110 0 0 (13 бит)
Слайд 32Код Хаффмана
Принцип:
Частоты:
15 7 6 6 5
А Б В Г Д
~
Коды
А Б В Г Д
0 100 101 110 111
Применение
сжатие JPEG, MPEG
архиваторы PKZIP, LZH и др.
протоколы передачи данных
MNP5 и MNP7
Слайд 33Кодирование длин серий
Кодирование повторов, Run-length encoding, RLE
Принцип:
WWWWWWWWWWWWBWWWWWWWWWWWWBBBWWWWWWWWWWWWWWWWWWWWWWWWBWWWWWWWWWWWWWW
~
12W1B12W3B24W1B14W
Применение:
графика: BMP, PCX
звук (после
Дельта-кодирования)
Слайд 34Алгоритм Лемпеля — Зива — Велча
Lempel-Ziv-Welch, LZW
Применение: GIF, TIFF, PDF,
Слайд 35Сжатие данных с потерями
lossy compression
Варианты:
Трансформирующее
фрейм целиком
поблочно
Предсказывающее (предиктивное)
Слайд 40Эффект Хааса (Haas)
- неспособность человека выявлять искажения в импульсах длительностью
менее 20 мс
Слайд 42Битрейт
здесь – степень сжатия потока аудио- или видеоданных.
Бывает:
постоянным (англ. Constant
bitrate, CBR)
переменным (англ. Variable bitrate, VBR)
усреднённым (англ. Average bitrate, ABR)
чаще
всего измеряют в килобитах (мегабитах) в секунду (kilobit per second, kbps; Mbit/s, Mbps)
Слайд 43Компрессия изображений
Снижение глубины цвета
Метод главных компонент
Фрактальное сжатие
Сжатие на основе предсказателей
JPEG-LS
ДИКМ
Иерархическая сеточная интерполяция
CALIC
JPEG
Вэйвлетная компрессия
JPEG 2000
DjVu
Слайд 44Алгоритмы
Дискретное вейвлет-преобразование
Слайд 45JPEG
изображение преобразуется из цветового пространства RGB в YCbCr
«прореживание» (subsampling)
дискретное косинусное
преобразование
Слайд 46Пример сжатия JPEG с разными коэффициентами
Слайд 48Блок 3
Особенности кодирования и сжатия видеоданных
Слайд 49YUV
3 компоненты — яркость (Y) и две цветоразностных (U и
V)
YPbPr
YСbСr
Слайд 51Стандарты телевещания
NTSC
525 строк
59,94 полей в секунду
в Америке и Японии
PAL/SECAM
625 строк
50
полей в секунду
в Европе (PAL)
во Франции, России, Китае и
некоторых странах Ближнего Востока (SECAM)
HDTV
720 строк / 50 полей, 60 полей / 30 кадров, 25 кадров, 24 кадра
Full HD
1080 строк / 50 полей, 60 полей / 30 кадров, 25 кадров, 24 кадра
Слайд 53Компенсация движения
Motion Compensation
Слайд 60Механическая развёртка
Диск Нипкова
Слайд 61Прогрессивная развёртка
Отсутствие визуальных искажений.
Нет необходимости применять сглаживание.
Видеоизображение можно масштабировать до
большего разрешения быстрее и качественнее.
Кадр может быть сохранен как отдельная
фотография.
Слайд 62Деинтерлейсинг
Deinterlacing
— устранение
чересстрочности