Сопровождение и распознавание объектов на телевизионных изображениях

Актуальность темы

Миллиарды камер охранного телевидениянеотъемлемая часть современного цивилизованного мира [1−10, 94−97]. Изображения сменяют друг друга на мониторах, многочисленные операторы обеспечивают безопасность в аэропортах, на вокзалах и в других общественных местах. Видеонаблюдение сегодня считается едва ли не самым главным техническим инструментом обеспечения безопасности. Важнейшую роль в современных системах охранного телевидения играют алгоритмы цифровой обработки изображений [7, 8, 10, 20, 95, 97] и компьютерного зрения [14, 15], позволяющие контролировать тысячи видеоканалов в режиме реального времени.

Для построения современных систем охранного телевидения характерны следующие основные проблемы и задачи [95]: обнаружение объекта интереса на сложном изменяющемся фонеизмерение пространственных параметров и оценка динамических параметров объектов по наборам последовательных кадровсопровождение объектовклассификация и распознавание динамических объектов.

Среди объектов для распознавания и классификации наиболее развитой и актуальной задачей является детектирование и классификация человеческих лиц [26, 51−55, 59, 62, 65−68]. В настоящее время эта задача находит применение в различных сферах человеческой деятельности (в первую очередь, в системах безопасности). Сферами применения распознавания лиц являются, например, системы охранного телевидения, сравнение фотографий на паспортах или водительских удостоверениях, контроль доступа к безопасным компьютерным сетям и оборудованию в учреждениях, наблюдение за аэропортами и вокзалами для предотвращения террористических актов и др. В большинстве практических ситуаций анализ входного изображения должен осуществляться в режиме реального времени.

Современные алгоритмы позволяют детектировать лицо человека на реальных видеоизображениях со сложным фоном с вероятностью, превышающей 90%. Среди них самым известным является алгоритм на основе бустинга [74], предложенный P. Viola и М. Jones в 2001 г.

Целью задачи сопровождения (трекинга) является установление соответствия между различными объектами или частями в последовательности кадров и нахождение траекторий объектов, а также вычисление их динамических характеристик, таких как скорость и направление движения [30]. Сопровождение объектов в большинстве практических приложений требуется осуществлять в режиме реального времени [31].

Одним из важнейших направлений компьютерного зрения является задача автоматизированного распознавания объектов [26, 32, 52, 53, 55, 56, 59, 62−65, 69]. Успешное решение этой задачи необходимо для разработки и производства систем, способных интеллектуально оценивать внешнюю среду и выполнять в ней те или иные действия. Однако в реальных системах охранного телевидения задачу распознавания объектов приходится решать в условиях наличия искажений, связанных с помехами в радиотехнических устройствах и сжатием двумерного сигнала, поэтому для эффективного решения поставленной задачи требуется применение специализированных алгоритмов цифровой обработки изображений. Среди них можно выделить нелинейные алгоритмы фильтрации и восстановления изображений, вейвлет-обработку, системы, построенные на нечеткой логике, генетических алгоритмах, нейронных сетях.

В область разработки алгоритмов цифровой обработки телевизионных изображений внесли вклад как отечественные ученые — Ю. Б. Зубарев [1−3, 10], М. И. Кривошеев, В. П. Дворкович [1−3, 10, 97], A.B. Дворкович [3, 97], М. К. Чобану [9], A.C. Крылов, Ю. С. Бехтин, Ю. С. Радченко, A.JI. Приоров, так и зарубежные — R. Gonzalez [20], R. Woods [20], A. Bovik, Y. Neuvo, J. Astola, К. Egiazaryan, M. Nikolova.

Первые работы по распознаванию динамических объектов были опубликованы еще в конце 1980;х гг. Следует отметить особый вклад советских и российских ученых, занимающихся в данной области, таких как Ю. И. Журавлев [13, 22], Ю. В. Гуляев, В. А. Сойфер [21], А. И. Галушкин, В. Н. Вапник [12], Н. Г. Загоруйко [23], A.A. Потапов [15]. В области анализа-синтеза алгоритмов сопровождения объектов и оценки их движения на видеоизображениях выделяются работы Б. А. Алпатова, П. В. Бабаяна, М. Н. Фаворской, Ю. В. Визильтера, Е. В. Медведевой, В. Lucas [33], Т. Kanade [33].

На сегодняшний день достигнуты значительные успехи при построении систем видеоаналитики, систем аутентификации личности по изображениям. Однако существуют нерешенные проблемы при распознавании динамических образов из-за сложности и многообразия поведения объектов реального мира [95]. Существует класс задач, где особую важность приобретает информация о структуре и движении объектов сцены (видеонаблюдение в закрытых помещениях, в местах большого скопления людей, управление движением робототехнических комплексов, наблюдение за движением транспортных средств и т. д.).

Так, например, для задач сопровождения объектов на современном этапе развития представляет интерес обработка следующих практических ситуаций [95]: изменение изображения или освещенности сценыналичие шума камерыприсутствие объектов, изменяющих свою формувременное исчезновение объектов интереса, возникающее из-за перекрытия их другими объектаминаличие нескольких одновременно движущихся объектов с близкими характерными признаками и пересекающимися траекториями.

Для задач распознавания объектов актуальным остается поиск алгоритмов, работающих в режиме реального времени и позволяющих 6 идентифицировать объект в условиях наличия помех на телевизионных изображениях. Поэтому на современном этапе развития науки и техники разработка и анализ алгоритмов сопровождения и распознавания объектов на телевизионных изображениях представляют собой актуальную задачу.

Основной целью работы является разработка, усовершенствование и исследование новых алгоритмов сопровождения и распознавания объектов на видеоизображениях в условиях наличия искажений и помех, обусловленных практическими требованиями для функционирования систем охранного телевидения.

Объектом исследования являются алгоритмы сопровождения и распознавания объектов, применяемые в радиотехнических системах обработки и анализа изображений и современных системах телевидения.

Предметом исследования являются модификация и разработка алгоритмов, с целью повышения эффективности функционирования видеоинформационных систем охранного телевидения.

Задачи диссертационной работы:

— разработка алгоритмов сопровождения объектов на телевизионных изображениях в условиях наличия специфических искажений и помехразработка методики объективного сравнения различных алгоритмов сопровождения объектов по видеоданным;

— разработка комбинированного алгоритма обработки изображения, зашумленного белым гауссовским шумом, сочетающего нелинейную фильтрацию на основе адаптивного дискретного косинусного преобразования и алгоритм распознавания лицусовершенствование работы алгоритма распознавания объектов на основе локальных бинарных паттернов с использованием дополнительной информации о цвете объекта.

Методы исследования. При решении поставленных задач использовались современные методы цифровой обработки изображений, компьютерного зрения, распознавания образов, математического анализа, 7 теории вероятностей и математической статистики. Для практической реализации алгоритмов применялись современные численные методы и методы объектно-ориентированного программирования на языке С#. Научная новизна полученных результатов В рамках данной работы получены следующие новые научные результаты:

— разработаны новые алгоритмы сопровождения объектов на видеоданных, показывающие свою эффективность в условиях наличия искажений и помех;

— разработан комбинированный алгоритм обработки телевизионного изображения, зашумленного аддитивным белым гауссовским шумом, на основе нового алгоритма нелинейной фильтрации и алгоритма распознавания лиц;

— разработана модификация алгоритма распознавания объектов на телевизионных изображениях на основе локальных бинарных паттернов с использованием дополнительной информации о цвете.

Практическая значимость полученных результатов.

1. Разработана методика объективного сравнения различных алгоритмов сопровождения объектов по видеоданным.

2. Проведен анализ работы алгоритмов сопровождения объектов на видеоданных при наличии искажающих факторов и предложены модификации, позволившие повысить уровень сопровождения в среднем на 5−10%.

3. Разработаны модификации алгоритма распознавания лиц путем использования информации о цвете и предварительной нелинейной цифровой фильтрации, позволившие увеличить результат верного распознавания на 10−20% в условиях наличия искажений, связанных с помехами в радиотехнических устройствах и сжатием двумерного сигнала.

4. Разработан критерий качества функционирования систем определения числа объектов на видеоданных для решения ряда практических задач в области современных систем охранного телевидения. Разработанные методы и алгоритмы требуют для их практической реализации относительно небольших вычислительных ресурсов, что позволяет использовать их для обработки телевизионных изображений в системах реального времени.

Результаты работы внедрены в соответствующие разработки ООО «А-ВИЖН», г. Ярославль и ООО «ЛВЛ Инжиниринг», Московская обл. Отдельные результаты диссертационной работы внедрены в учебный процесс ЯрГУ им. П. Г. Демидова в рамках дисциплин «Цифровая обработка изображений» и «Компьютерное зрение», а также в научно-исследовательские работы при выполнении исследований в рамках гранта РФФИ № 10−08−1 186. Получено свидетельство на программный продукт, зарегистрированное в Реестре программ для ЭВМ.

Достоверность полученных научных результатов обусловлена применением адекватного математического аппарата, подтверждается их согласованностью с результатами проведенного компьютерного моделирования и сопоставлением полученных результатов с научными данными, известными из российской и зарубежной литературы.

Апробация работы. Результаты работы докладывались и обсуждались на следующих научно-технических конференциях и семинарах.

— 1st IEEE International Conference on Circuits and Systems for Communications (ICCSC'02), Sankt Petersburg, 2002.

— 4-я, 13−15-я международные конференции «Цифровая обработка сигналов и ее применение», Москва, 2002, 2011;2013.

— 67-я научная сессия, посвященная Дню радио, Москва, 2012.

— 18-я международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика», Москва, 2012.

— 14-я всероссийская научно-техническая конференция «Нейроинформатика», Москва, 2012.

— 10-я всероссийская научная конференция «Нейрокомпьютеры и их применение», Москва, 2012.

— 2-я всероссийская научная конференция молодых ученых с международным участием, Рыбинск, 2012.

— International MultiConference of Engineers and Computer Scientists (imaging engineering section), Hong Kong, 2013.

Публикации. По теме диссертации опубликовано 22 научные работы, из них 2 статьи в журналах, рекомендованных ВАК, учебное пособие, 17 докладов на научных конференциях, свидетельство о регистрации программы для ЭВМ.

Структура и объем работы. Диссертация состоит из введения, четырех разделов, заключения, списка использованных источников, содержащего 97 наименований. Она изложена на 149 страницах машинописного текста, содержит 62 рисунка и 5 таблиц.

Основные результаты диссертации можно сформулировать в следующем виде.

1. Проведен анализ известных алгоритмов решения задач детектирования, сопровождения, распознавания и классификации объектов, позволяющий оценить эффективность существующих методов.

2. Предложены новые алгоритмы сопровождения объектов на телевизионных изображениях в условиях наличия специфических искажений на основе метода Лукаса-Канаде.

3. Разработана методика объективного сравнения различных алгоритмов сопровождения объектов по видеоданным. Ее использование показывает, что преимущество предложенного алгоритма Лукаса-Канаде-3 над классическим алгоритмом сопровождения (при одинаковой вычислительной сложности) составляет в среднем 5−10%.

4. Показано, что использование предложенного нелинейного фильтра на базе А-ДКП совместно с алгоритмом распознавания лиц на основе ЛБП позволяет получать уровень точного распознавания 85−90% (при числе классов N до 20) в условиях присутствия АБГШ (<Т<40). Это позволяет использовать эффективный алгоритм распознавания лиц в условиях низкого отношения сигнал/шум без потери уровня точного распознавания.

5. При увеличении числа классов (20<1Ч<50) целесообразно использование дополнительной информации о цвете объекта (для людей — распознавание по туловищу). Использование предложенного комбинированного алгоритма позволило увеличить процент верно распознанных объектов по сравнению с алгоритмом ЛБП на 10−20%. При этом уровень точного распознавания при N=50 составляет 79%, что является удовлетворительным для существующих практических приложений.

6. Предложена метрика для количественного выражения ошибки определения объектов, основанная на покадровом сравнении результатов с экспертными данными. Проведено сравнение разработанной программы Recognition. Lab с коммерческим аналогомIntel AIM Suite. Программа Recognition. Lab показала в 2 раза меньшее значение ошибки по сравнению с аналогом.

ЗАКЛЮЧЕНИЕ

.