УДК 004

Сравнительный анализ методов автоматического распознавания расфокусировки объектива

Джамилов Парвиз Рустамович – студент Национального исследовательского ядерного университета «МИФИ».

Сайфуллин Данис Русланович – студент Национального исследовательского ядерного университета «МИФИ».

Тен Станислав Валерьевич – студент Национального исследовательского ядерного университета «МИФИ».

Меркулов Александр Вадимович – студент Национального исследовательского ядерного университета «МИФИ».

Аннотация: Методы компьютерного зрения сейчас пользуются огромной популярностью. Основными востребованными областями являются: системы помощи водителю, управление промышленными роботами, управленческие процессы и аудиовизуальный мониторинг.

Ключевые слова: Цифровое изображение, резкость изображения, размытость изображения, оценка качества изображения, компьютерное зрение.

Объектом исследования выступают методы автоматического распознания расфокусировки объектива цифровой камеры.

Предметом исследования настоящей работы являются критерии качества – меры размытия и резкости цифровых изображений.

Целью работы являлось исследование и сравнительный анализ автоматических методов определения расфокусировки объектива цифровой камеры и предложение методики фокусировки. Под методикой подразумеваются лучшие методы определения мер размытия и мер резкости цифровых изображений, и шаблоны фотографий, выставляемых на калибровочных стендах.

Результаты работы применяются для оценки качества в системах помощи водителю, а также могут быть использованы в других программных продуктах, использующих методы аудиовизуального мониторинга.

Для решения поставленной задачи использовались актуальные научные статьи известных ученых в сфере компьютерного зрения и анализа изображений. Также были использованы труды зарубежных ученых в сфере программирования (на языке Python). В результате работы был разработан программный продукт, включающий в себя автоматизацию процесса перебора изображений, хранящихся на локальном носителе, и осуществляющий оценку их качества и визуализацию результатов. Продукт был разработан на базе библиотек PyQT 5 и Pillow, с использованием среды PyCharm 2020 Community Edition на языке Python.

Система помощи водителю ADAS

ADAS (Advanced Driver-Assistance Systems) – система помощи водителю. Это набор определенных алгоритмов, которые в разной степени помогают водителю в быстром принятии решений для безопасного и легкого управления транспортным средством.

Основным ее назначением является предотвращение аварий. При обнаружении ситуации, которая может привести к столкновению она сперва сигнализирует водителю об угрозе опасности, в случае если необходимых мер для предотвращения аварийной ситуации не будет предпринято она активно вмешается в управление автомобилем. Вмешательство заключается в управлении тормозной системой, подвеской и двигателем.

Данный программно-аппаратный комплекс находит массовое применение в странах, где расположены большие автомобильные производства. Например, в Германии: на 23% выпускаемых автомобилей устанавливаются системы распознавания сонливости водителя, 20% машин оборудуются системами управления фарами, 11% системами автоматического торможения, 10% системами помощи по движению по полосе, 4% системами распознавания дорожных знаков и адаптивным круиз-контролем.

Классификация данных систем может быть довольно разнообразной, например можно подразделять их по аппаратным средствам, используемым в конкретной системе:

  • системы, использующие радар;
  • системы использующие датчики;
  • системы, использующие камеру;

или по выполняемым ими функциям:

  • предупреждения о выходе за дорожную полосу;
  • распознавание дорожных знаков.

Множество задач решаемых ADAS с развитием информационных и технических технологий, а также развитием автомобильной промышленности только растет. ADAS можно классифицировать на различные типы решаемых задач:

  • отвечающие за стабильность вождения – это, к примеру, задачи контроля тяги, поддержка рулевого управления, электронный самоблокирующиеся дифференциалы;
  • отвечающие за свет и видимость – задачи автоматической адаптации радиуса освещения фар, ночная видимость, системы контроля дождя или предупреждающее зажигание фар;
  • отвечающие за парковку – камера заднего вида, датчики приближения, объемное зрение области, помощь при посадке в автомобильный транспорт;
  • «продольный контроль» - автоматический круиз-контроль, информация о лимите скорости, предупреждение о дорожных знаках, помощь в торможении, автоматическое экстренное торможение, автоматическая эстакада;
  • задачи, связанные с салоном автомобиля – наблюдение за пассажирскими сидениями, навигационные системы, оптимизация траты топлива;
  • «боковой контроль» - отслеживание ситуации в «мертвой» точке взгляда водителя, предупреждения о выходе за разметку, помощь в потоке автомобилей, помощь в смене дорожной полосы.

Более подробно данная классификация продемонстрирована на диаграмме (Рисунок 1):

Рисунок 1. Классификация задач.

Для корректного функционирования системы ADAS, автомобиль должен быть снабжен необходимым оборудованием, а именно включать в себя модули для исследования, обработки и принятия решений. Рисунок 2 показывает компоненты, которые обязательно должна включать в себя современная система помощи водителю. В общем система включает в себя:

  • датчики различных типов;
  • комбинацию процессора с графическим процессором GPU, для выполнения обработки данных датчика, идентификации объектов и предварительного объединения данных датчика;
  • центральный процессор, выполняющий роль основного мозга системы, для выполнения слияния данных датчика с различных его блоков, отслеживания объектов, текущего состояния транспортного средства;
  • блок диагностики.

Рисунок 2. Диаграмма аппаратной составляющей системы ADAS.

Эта система представляет собой систему управления замкнутого контура, где приведение в действие управления транспортным средством рассчитывается на основе полученных данных от датчиков. И исход действий исполнительных устройств ADAS подается обратно в петлю в качестве входного сигнала датчика. Все вычислительные узлы в ADAS части транспортной системы, как правило, упоминаются как электронные блоки управления (ECU). Чувствительные и исполнительные блоки управления являются относительно ограниченными ресурсами единиц, по сравнению с центральным процессором ADAS.

Одним из ключевых достижений в области разработки систем помощи водителю является понятие "слияние датчиков". Это процесс, посредством которого внутренняя обработка входных данных из множества внешних датчиков создает карту возможных препятствий вокруг транспортного средства. Карта затем облегчает вычисление возможных действий и реакций с помощью ситуационного анализа. На рисунке 3 показан пример системы помощи водителю с поддержкой транспортного средства с набором датчиков, обеспечивающий "слияние датчиков".

Рисунок 3. Примеры датчиков системы помощи водителю.

Методы оценки резкости и размытости изображений

Размытое изображение может оказать влияние на качество изображения. Для оценки размытия определяются метрики, позволяющие количественно определить степень размытости изображения.

Мера размытости изображения

Далее в работе рассматриваются методы, которые показали наилучший результат при оценке размытости изображения. Всего рассмотрим четыре метода:

Первая метрика была описана Ф. Критом и Т. Долмиром. Она использует принцип, согласно которому уровень серого цвета соседних пикселей в менее размытом изображении изменяется с большей вариацией, чем в его размытой копии. Рассчитывается абсолютная разность D по вертикали и горизонтали для соседних пикселей в исходных и размытых изображениях:

(1)

(2)

где I (x, y) – значение интенсивности в пикселе (x, y), h и w – высота и ширина изображения.

После этого необходимо вычислить вариативность соседних пикселей до и после размытия: если разница велика, исходное изображение считается достаточно резким. В вычислении вариативности участвуют только уменьшающиеся разницы. Таким образом, вариативность V для вертикального направления определяется как:

(3)

где DBver(x,y) – модуль разницы для размытого изображения B. Наконец, размытость для вертикального направления вычисляется:

(4)

Горизонтальная размытость рассчитывается таким же образом. В качестве окончательной меры размытия выбирается максимум:

(5)

Вторая метрика размытости была разработана Мин Гу Чой. Она основана на выделении краев с использованием градиента интенсивности. Авторы определяют значение модуля разности пикселей по горизонтали и вертикали, вычисляемое как разность между его левым и правым или верхним и нижним соседними пикселями. Затем они получают средние горизонтальные и вертикальные абсолютные разности Dhormean для всего изображения:

(6)

Затем каждое значение пикселя сравнивается со средними значениями модуля горизонтальной разности, вычисленными для всего изображения, чтобы выбрать потенциальные граничные пиксели - Chor (x, y):

(7)

Далее происходит отбор краевых пикселей Ehor (x, y) по следующему принципу: значение Chor сравнивается со значением соседних пикселей по горизонтали:

(8)

Каждый краевой пиксель проверяется, чтобы определить, соответствует ли он размытому краю или нет. Во-первых, горизонтальная размытость пикселя вычисляется так:

(9)

Вертикальное значение получается таким же образом, выбирается максимум из двух значений для окончательного решения. Пиксель считается размытым, если его значение превышает определённый порог (например, 0.1, выбирается эмпирически).

(10)

Наконец, результирующая мера размытия для всего изображения называется инвертированной размытостью и вычисляется как отношение количества пикселей с размытыми краями к количеству краевых пикселей

) (11)

Третий метод, метод Tenengrad из категории GRA производит оценку градиента изображения. Метод основан на нахождение оценки среднего квадрата яркости пикселей монохромного изображения. Оценку можно произвести при помощи оператора Собеля. В каждой точке оператор Собеля вычисляет вектор градиента яркости.

После проведения процесса двухмерной свертки двух масок вращения с матрицей пикселей исходного изображения были получены приблизительные значения производных в каждой точке. В данном методе в качестве масок вращения использовались ортогональные матрицы размерностью 3х3 с первоначальным значением матрицы пикселей изображения по горизонтали и по вертикали:

(12)

(13)

где А (x, y) – исходное изображение;

Gx(x, y), Gy(x, y) – маски на основе оператора Собеля;

* – операция двухмерной свертки изображения.

Приближенное значение средней величины квадрата градиента GTENG по обрабатываемому изображению вычисляется по формуле:

(14)

Увеличение показателя GTENG приводит к увеличению четкости границ, поскольку показатель сопровождается наличием резких переходов яркости на изображения.

Основным преимуществом метода GRA1 можно отнести низкий объем вычислительных действий, а также высокую скорость обработки. Преимущественно метод работает на области изображения, где имеются контрастные переходы.

Четвертый рассматриваемый метод – это метод оценки размытости изображения, основанный на измерении локального контраста яркости. Метод относится к категории MIS, обозначим его как MIS1. Локальный контраст измеряется отношением яркости пикселя из матрицы черно-белого изображения и среднего уровня серого в окрестностях данного пикселя:

(15)

где I (x, y) – интенсивность пикселя с координатами x и y;

)– усредненное значение яркости пикселей в его окрестности.

Размер окрестности m(x, y) пикселей с центром в точке (x, y) подбирается для каждого класса изображений. Мера размытости исходного изображения определяется путем суммирования значений R (x, y) по всему изображению либо по исследуемой области изображения.

Мера резкости изображения

Первая мера основана на предположении, что различия соседних пикселей больше изменяются в областях с острыми краями. Поэтому авторы вычисляют разность второго порядка для соседних пикселей в качестве дискретного аналога второй производной для изображения, прошедшего через шумоподавляющий медианный фильтр:

(16)

где Im – оригинальное изображение, пропущенное через медианный фильтр.

Далее определяется вертикальная резкость для каждого пикселя Sver как:

(17)

и каждый пиксель считается резким, если его резкость превышает 0.0001. Число резких пикселей NSver вычисляется, и краевые пиксели находятся с помощью метода Canny, число NEver равно их количеству. Затем тот же процесс повторяется в горизонтальном направлении, и отношение острых краевых пикселей для вертикального и горизонтального направлений вычисляется как:

(18)

Резкое изображение более привлекательно для глаз и содержит больше полезной информации.

 Даугман, исследуя качество изображений радужной оболочки глаза (РОГ), для оценки резкости изображения предложил использовать анализ соотношения низких и высоких частот спектра Фурье изображения (рисунок 4). Однако эксперименты показали, что достаточно сложно найти границы между частотами, а также значение глобального порога, разделяющего резкие и нерезкие изображения.

Рисунок 4. Фрагменты изображений радужной оболочки глаза и их спектры Фурье.

Данный метод обозначим вторым методом определения меры резкости изображения. В работе предлагается следующая оценка резкости изображения. Резкость RQ:

(19)

где fi,j – значение функции яркости изображения в пикселях с координатами (i, j);

K – половина максимального значения яркости;

M, N – ширина и высота изображения.

Анализ серии изображений с разной резкостью свидетельствует о том, что наибольшее значение меры RQ для некоторых изображений отличаются всего на 0,01, что затрудняет объективную оценку четкости данных изображений.

Ю. И. Моничем и В. В. Старовойтовым была предложена другая мера оценки резкости изображения. Этот метод будет третьим рассматриваемым методом. Для оценки резкости единственного изображения предлагается создать из него второе – более размытое и сравнить их между собой, т.е. вторую задачу о безэталонной оценке изображения свести к первой задаче. Это можно сделать, например, по следующему алгоритму:

  • на вход поступает анализируемое полутоновое изображение I;
  • задать размеры двух масок для усредняющего фильтра k1 и k2;
  • получить изображение B1, выполнив свертку исходного изображения I с усредняющим фильтром размером k1;
  • получить изображение B2, выполнив свертку исходного изображения I с усредняющим фильтром размером k2 (k2> k1);
  • получить оценку степени размытости С:

(20)

где M, N – ширина и высота изображения.

Сравнительный анализ методов определения мер резкости и размытия изображений

Для корректного сравнения методов определения соответствующих метрик необходимо произвести процедуру нормализации т.е. нанести проекцию определенных метрик на отрезок [-1; 1]. Делается это по причине того, что определенные метрики дают результаты, лежащие в разных интервалах. Для нас же важно выяснить какой из методов дает более-менее стабильные результаты.

Нормализация была произведена по формуле:

(21)

Анализ будет произведен на трех шаблонах фотографий, приведенных на рисунке 5:

Рисунок 5. Шаблоны фотографий

В данном случае обзор будет произведен для исходного изображения калибровочного стенда, который был размыт искусственно наложением на изображение фильтра Гаусса со значениями 0.1; 0.5; 0.7; 1; 2; 3; 11; 21.

Шаблон изображен на рисунке 6.

 

Рисунок 6. Изображение калибровочного стенда с разными мерами размытости.

Полученные данные были визуализированы и получена следующая картина:

Рисунок 7. График зависимости меры размытия от уровня размытости первого шаблона.

Рисунок 8. График зависимости меры резкости от уровня размытости первого шаблона.

Для наглядности построим таблицу с отметкой лучшего метода для всех трех шаблонов:

Таблица 1. Сравнение работы методов определения меры размытости на разных шаблонах.

№ шаблона

Мера размытости 1

Мера размытости 2

Мера размытости 3

Мера размытости 4

1

-

-

+

-

2

-

-

+

+

3

-

+

-

+

Аналогичную таблицу построим для меры резкости:

Таблица 2. Сравнение работы методов определения меры резкости на разных шаблонах.

№ шаблона

Мера резкости 1

Мера резкости 2

Мера резкости 3

1

+

+

-

2

+

-

+

3

-

+

-

Таким образом, делается вывод, что среди алгоритмов, определяющих меру размытости изображения, лидируют третий и четвертый методы, а среди алгоритмов определения меры резкости первый и второй методы. Однозначно подобрать универсальный метод для всех шаблонов невозможно, поэтому методы должны быть подобраны вместе с шаблоном, на котором они работают лучше всего. Выбор методов вычисления метрик также должен зависеть от порогового значения размытости, которая еще приемлема для анализируемого изображения. Этот порог зависит от габаритов объектов подлежащих распознанию. Также для корректного проведения процесса калибровки необходима постоянная интенсивность освещенности.

Также результаты работы алгоритмов распознавания с расфокусированными изображениями показали, что предел размытия для распознания дорожных знаков на изображении составил ~ 2 пикселя.

Список литературы

  1. РБК. ГИБДД раскрыла число жертв ДТП на дорогах в 2019 году [Электронный ресурс]. – URL: https://rbcfreenews/5e57fdc19a7947d9ab7 f5adc (дата обращения 25.05.2020).
  2. World Health Organization. Мировая ассоциация здравоохранения [Электронный ресурс]: –– URL: http://www.who.int (дата обращения 20.06.2020).
  3. Системы помощи водителю и безопасности автомобиля ADAS, Advanced Driver Assistance System [Электронный ресурс]. – URL: https://www.tadviser.ru/index.php/Статья:Системы_помощи_водителю_и_безопасности_автомобиля_(ADAS,_Advanced_Driver_Assistance_System) (дата обращения 20.06.2020)
  4. Монич Ю.И, Старовойтов В.В. Мера оценки резкости цифрового изображения [Электронный ресурс]. // Искусственный интеллект. электрон. научн. журн. 2008. №4. С. 80–85. URL: https://cyberleninka.ru/article/n/mera-otsenki-rezkosti-tsifrovogo-izobrazheniya (дата обращения:06.06.2020).
  5. Батищев Д. С. Метрики качества медицинских изображений [Электронный ресурс]. // Научный результат. Информационные технологии. электрон. научн. журн. 2019. №3. С. 25-30. URL: https://cyberleninka.ru/article/n/metriki-kachestva-meditsinskih-izobrazheniy (дата обращения:06.06.2020).
  6. И. В. Ватаманюк, А. Л. Ронжин Применение методов оценивания размытости цифровых изображений в задаче аудиовизуального мониторинга [Электронный ресурс]. // Обработка информации и управление. электрон. научн. журн. 2014. №4. С. 16-23. URL: https://cyberleninka.ru/article/n/primenenie-metodov-otsenivaniya-razmytosti-tsifrovyh-izobrazheniy-v-zadache-audiovizualnogo-monitoringa (дата обращения:06.06.2020)
  7. Gonzalez R., Woods R. Digital Image Processing. Second Ed.: Prentice-Hall, 2002. 793 p.

Интересная статья? Поделись ей с другими: