МИРЭА_лекция_01.ppt

интеллектуального анализа данных, технического зрения, улучшенного и синтезированного видения” ГосНИИАС, Моржин

Александр Викторович

2012

2012

Рост популяции
Рост

организма

Рост численности населения

Рост потребления энергии

Мура

Техническое зрение в системах управления - 2012
Unmanned

Aircraft Systems (UAS) Roadmap, 2005-2030

Техническое зрение

в системах управления - 2012

некоторую функцию распределения яркости или цвета на двумерной плоскости: f(x,y),

где x и y – декартовы координаты, описывающие плоскость изображения.
Цифровое изображение представляет собой двумерную матрицу Im[x,y] размера (DimX × DimY), где x – целое число от 0 до DimX – 1, описывающее номер элемента в строке матрицы, y – целое число от 0 до DimY – 1, описывающее номер строки матрицы, в которой расположен данный элемент.
Пиксель (pixel, picture element) – элемент цифрового изображения (ячейка прямоугольной матрицы). В простейшем случае каждый пиксель Im[x,y] имеет скалярное целочисленное значение, пропорциональное значению функции распределения яркости f(x,y) в данной точке плоскости.

Цифровое изображение как двумерная матрица интенсивностей

Цифровое изображение как псевдо-трехмерный рельеф

Framework

излучения

спектра и прилегающих к ним

ТВ и два ИК диапазона (3-5 и 8-14 мкм).

данных, запись формата TcolorRef = {Red, Green, Blue}. Разрешение по

каждому из каналов – 8 бит. С целью выравнивания до «целого слова» 32-битной архитектуры часто дополняется еще одним 8-битным компонентом: TColorRef32 = {Red, Green, Blue, Reserved}. Цветное изображение – системный тип данных. Он поддерживается всеми устройствами ввода цветовых изображений. Кроме того, стандартный тип данных TRGBBitmap поддерживается операционной системой Windows как часть графического интерфейса на системном уровне;
Многозональные и гиперспектральные изображения – векторные, пиксель представляет собой массив целочисленных значений. Формируются специальными устройствами ввода. Используются для попиксельной классификации и сегментации изображений. На программном уровне, как правило, реализуются не как двумерный массив векторов, а как набор двумерных изображений, каждое из которых соответствует одной зональной или спектральной компоненте;

машинное зрение
Требования к системам и алгоритмам технического зрения:

надежность, точность, быстродействие.
Компьютерное зрение = "геометрия сегодня".
Приложения компьютерного зрения.

(яркости, цвета, текстуры, формы, размеры…).
Изменчивость изображений (яркостная, ракурсная, загораживания…)

Необходимость базы знаний о мире для понимания сцен.
Основные целевые задачи
1. калибровка сенсоров, самоориентация и самопозиционирование;
2. обнаружение объектов и изменений в сцене наблюдения;
3. слежение за объектами;
4. реконструкция поверхностей и обнаружение трехмерных структур;
5. высокоточные измерения элементов сцены;
6. описание сцены и идентификация объектов;
7. организация зрительной обратной связи при работе управляемых устройств, манипуляторов или мобильных роботов в изменчивой среде.

обработки данных:
предобработка изображений;
сегментация;
выделение геометрической структуры;
определение относительной

структуры и семантики.
Уровни обработки данных:
Низкий уровень – на входе изображение на выходе изображение (фильтрация простых шумов, гистограммная обработка);
Средний уровень – на входе изображение на выходе векторная информация, описание в виде элементов и связей между ними (сегментация);
Высокий уровень – на входе описание в терминах элементов изображения на выходе семантическая интерпретация в терминах видимой сцены объектного мира.

и базовые алгоритмы анализа изображений и сцен.
Машинное зрение (machine vision)

включает компьютерное зрение и охватывает все проблемы разработки практических систем: выбор схем освещения исследуемой сцены, выбор характеристик датчиков, их количества и геометрии расположения, вопросы калибровки и ориентирования, выбор или разработку оборудования для оцифровки и процессорной обработки, разработку собственно алгоритмов и их компьютерную реализацию.

машинного зрения, решаемые в условиях жестких временных ограничений. Это разработка

основанных на изображениях информационных систем, входящих в состав систем управления сложными динамическими объектами (самолет, автомобиль, системы контроля технических и технологических процессов на производстве), а также формирование обратных связей по результатам обработки входных изображений в системах управления, что и требует их быстрого анализа в реальном масштабе времени.

смысле – обработка нижнего уровня, когда результатом обработки изображения снова

является изображение.
Понимание изображений (image understanding) - обработка верхнего уровня, часто связанная с применения методов искусственного интеллекта и распознавания образов (pattern recognition).

смысле – изучает метрические соотношения между точками снимков и реальной

сцены; в широком смысле – почти синоним машинного зрения: рассматривает сложные задачи анализа и 3D описания сцены по видеоданным оптических и других сенсоров.
Короткобазисная фотограмметрия (close-range photogrammetry) в узком смысле – решает задачи высокоточного измерения различных элементов видимой сцены и реконструкции форм трехмерных поверхностей с использованием стерео и многокамерной съемки, а также специального структурированного подсвета.

и «шум» – имеют десятки видов источников возникновения, к числу

которых можно отнести несовершенство сенсоров приемо-передающей аппаратуры и аппаратуры оцифровки изображений, трудные условия съемки, недостаток освещения и ряд других;
сложный текстурированный фон, на котором должно происходить обнаружение объектов, например, обнаружение штриховой наклейки на схожей с ней по структуре газетной странице и т.п.;
эффекты загораживания (заслонения) одних объектов другими объектами, как правило, не определенной заранее формы, например – облако на космофотоснимке и т.п., загораживающие помехи;
искажающие оптические эффекты в виде различных расфокусировок, дисторсий объективов, ракурсных искажений и др.;

смены освещения, блики, тени, особенно в динамически меняющихся сценах;
разнообразие и

изменчивость самих объектов – переменная структура (как у текстовых строк, автомобильных номеров или штриховых кодов), возможные дефекты, временные изменения формы (сгибание-разгибание конечностей, движение механических частей машин), вегетационные циклы для растительности и т.п.;
эффекты изменения среды между сенсорами и объектами наблюдения – задымление, атмосферные осадки, пыль, искусственные помехи и многое другое;
несинхронность регистрации и обработки данных в динамических задачах, связанная с ограничениями быстродействия компьютерных средств хранения и анализа изображений – особенно критична для промышленных приложений с заданным временем реакции на событие. Сюда же можно отнести также сбои в компьютерных программах обработки.

отрезкам.

отрезкам.


гмт1

отрезкам.




гмт1
гмт2

отрезкам.




гмт1
гмт2

гмт1 ∩ гмт2

точкам.

точкам.



гмт1

точкам.



гмт1
гмт2

точкам.



гмт1
гмт2

гмт1 ∩ гмт2

O

точкам.



гмт1
гмт2

гмт1 ∩ гмт2

R
O

точкам.




гмт1
гмт2

гмт1 ∩ гмт2

R
O

точкам

точкам

точкам




гмт12
R

точкам




гмт12
гмт23
∩ гмт

R













гмт ij

точкам




гмт12
гмт23
















гмт lk

точкам




гмт12
гмт23














гмт ij



гмт lk
Больше голосов

точкам




гмт12
гмт23

MAX ∩ гмт

R
O













гмт ij



гмт lk

числа точек на порядки.
2. Появление у точек атрибутов интенсивности, цвета

и других характеристик.
3. Рассмотрение не только правильных фигур, но и фигур любых других форм.
4. Учет всякого рода неидеальностей, погрешностей, шумов, искажений, дискретностей, неполной наблюдаемости и т.п. реальных факторов, которые, впрочем, также имеют математическое выражение.

зрения.
Примеры приложений