приложении к статическим изображениям семантический анализ заключается в обозначении некоторых
областей или всего изображения единицами естественного языка, а в приложении к видеоролику – обозначение динамических сцен единицами естественного языка.
Инструментом, который способен автоматически обозначить некоторую область изображения, является детектор объектов заданного типа и трекер, который выполняет сопровождение найденных объектов от кадра к кадру. Природа детектора может быть произвольной - нейросетевой, каскадной, на основе цвета или анализа контуров, анализа текстур и так далее. Тоже самое касается и природы трекера. Важно его свойство локализации понятия на изображении, с которым он связан, а для трекера -свойство локализации объекта во времени. Детектор указывает, что в этой области находится нечто, описываемое именем существительным, с которым он связан.
Существенное расширение функциональности предлагаемой системы нам дает анализ свойств локализованных детектором областей.
Свойства найденной детектором области изображения обозначает детектор атрибутов, который описывает некоторые признаки области именем прилагательными. Таким образом, мы имеем связь между понятием, его свойствами, детектором, детектором атрибутов и областью на изображении. Эта связь является основой семантического анализа статического изображения. А локализация найденного объекта во времени с использованием трекера может быть описана глаголом ественного языка.
Банк всевозможных детекторов, то есть несколько детекторов, анализирующих изображение одновременно, соответствуют контролируемому словарю системы семантического анализа изображений. Объем словаря говорит о возможностях системы семантического анализа изображений. Очевидно, что чем больше словарь по объему, тем более полным будет сам семантический анализ.
ООО "Нижегородская видеолаборатория"