Повышения разрешения цифровых изображений с использованием субпиксельного сканирования

Блажевич Сергей Владимирович – доктор физико-математических наук, доцент, заведующий кафедрой информатики и вычислительной техники Белгородского государственного университета. (БелГУ, г.Белгород)

Селютина Евгения Сергеевна – аспирантка кафедры информатики и вычислительной техники Белгородского государственного университета. (БелГУ, г.Белгород)

Аннотация: На основе двух принципов усреднения и полного восстановления разработаны и реализованы алгоритмы субпиксельной обработки цифрового изображения. Алгоритмы позволяют получитьцифровое изображение высокого разрешения за счет обработки нескольких исходных с более низким разрешением. Исходные изображения – серия фотоснимков, смещенных друг относительно друга на половину пикселя. Результат обработки – одно изображение с повышенным разрешением.

Ключевые слова: Обработка цифровых изображений, субпиксельное сканирование, субпиксельная обработка, сверхразрешение.

Все большее распространение получают технологии, связанные с применением изображений высокого разрешения. Исследования по вопросам обработки таких изображений в настоящее время приобрели особую актуальность. В течение последних десятилетий подобные разработки велись преимущественно зарубежными учеными.

В настоящей работе предложен метод субпиксельной обработки, который позволяет повыситьпространственное разрешение изображения, не изменяя разрешающей способности цифровых камер.

Когда стоит вопрос повышения детальности изображения, единственнымрешением служитповышение разрешения.Этого можнодостичьза счет субпиксельной обработки. Данный метод предполагает получение нового значения пикселя на основе обработки нескольких пикселей, частично сходных между собой. Для реализации алгоритма необходимо наличие нескольких изображений одного объекта, сдвинутых друг относительно друга на часть пикселя. [1]

Созданные в работе алгоритмы реализованы в программной среде для выполнения математических и технических расчетов – Mathcad 14. Математический пакет представляет изображения в виде матриц яркости, значения которой меняются от 0 до 255. Цветное изображение раскладывается по цветовым компонентам, и представляет собой три матрицы яркости. Обработку каждой из матриц цветовых компонент можно проводить отдельно.


В ходе исследования решалась задача повышения пространственного разрешения фрагмента космического снимка.

Первоначально была решена обратная задача, т. е. получены изображения низкого разрешения, смещенные друг относительно друга на половину пикселя. [3] Эти изображения являются входными данными для прямой задачи. Обратная задача является вспомогательной, позволяет после проведения прямых преобразований сопоставить результаты, тем самым проконтролировать степень эффективности алгоритма. На практике необходимо решать только прямую задачу, а смещенные друг относительно друга изображения низкого разрешения получают непосредственной фотосъемкой (сканированием) объекта.

Если говорить о простейшем примере субпиксельной обработки, тов качестве входных данных используются два изображения, полученные при сканировании (фотосъемке) со сдвигом на половину пикселя только по одному направлению.

В процессе обработки пиксель исходного изображения разбивается на четыре пикселя результирующего. При этом за счет использования второго изображения осуществляется уточнение значений пикселей по строкам. По столбцам каждый пиксель дублируется, это не повышает качества, но сохраняет пропорции исходного изображения.

Представленный алгоритм увеличивает количество строк изображения до 2n+1, где n – число строк исходного изображения. Если не включать начальную и конечную строку, так как они не обрабатываются, то количество строк составит 2n-1.


а)

б)

в)

Рисунок 1. Результаты работы алгоритма: а) одно из исходных изображений низкого разрешения, б) изображение, синтезированное из двух исходных, в) изображение, полученное при фотосъемке с разрешением, равным разрешению синтезированного изображения.

Рассмотренный алгоритм дает незначительное улучшение изображения только в горизонтальном направлении. В его основе лежит принцип усреднения.

Результирующее изображение значительно уступает в качестве, изображению, полученному путем непосредственной фотосъемки с высоким разрешением.

Однако метод имеет ряд преимуществ. В качестве исходных данных используется всего два изображения. Достаточно просто организовать смещение объектива фото-системы только в одном направлении. Кроме прочего, метод устойчив к шуму.

Так как повышение разрешения предполагается только в одном направлении, то метод целесообразно использовать при исследовании каких-либо объектов, имеющих особенности именно в направлении повышения разрешения, по строкам или по столбцам матрицы изображения.

Принцип усреднения более результативен при увеличении пространственного разрешения по двум направлениям. В качестве входных данных можно используются как два, так и четыре изображения.

 

Рисунок 2. Схемы исходных изображений (а, б), способов наложения (в, г) и результатов обработки для двух (д) и четырех (е) исходных изображений.

Из рисунка 2 видно, что количество пикселей может быть доведено до (2n +1)?(2m+1), где n – количество строк, m – количество столбцов исходного изображения.

 

Рисунок 3. Алгоритм формирования значений пикселей результирующего изображения из двух исходных.

Вычисление значений пикселей производятся по формулам (1) – (4). Выбор формулы производится по алгоритму, показанному на рисунке 3, и зависит от значения номера строки - k и столбца - i формируемого пикселя.

matrix1 - matrix4 - исходные изображения низкого разрешения; matrix_new - матрица выходного синтезированного изображения
Для четырех исходных изображений значения пикселей вычисляется аналогично.


а)

б)

в)

г)

Рисунок 4. Результаты работы рассматриваемого алгоритма: а) одно из исходных изображений низкого разрешения; б) изображение, синтезированное из двух исходных; в) изображение, синтезированное из четырех исходных; г) изображение, полученное при фотосъемке с разрешением, равным разрешению синтезированного изображения.

Рассмотренный алгоритм дает заметное улучшение качества изображения. Но результирующее изображение уступает изображению с таким же разрешением, полученному путем непосредственной фотосъемки объекта. Изображение получается слегка размытым, нечетким.

Несмотря на это, метод может успешно использоваться, так как имеет ряд преимуществ. В качестве исходных данных для получения значительного улучшения достаточно использовать всего два изображения. В этом случае не происходит изменения краевых строк и столбцов результирующей матрицы, но при работе с изображениями высокого разрешения эта особенность не является значимой. Из рисунка 4. видно, что результаты обработки двух и четырех изображений разнятся мало.

Так как в основе лежит принцип усреднения, то метод также устойчив к шуму. Локальные ошибки исходных изображений влияют только на соответствующие им пиксели результирующего изображения.

Недостаток яркости и четкости синтезированных изображений можно устранить, применяя другие методы улучшения цифровых изображений: повышение яркости, контрастности, подчеркивание границ. [4]

С использованием субпиксельной обработки можно решать задачи полного восстановления цифровых изображений по нескольким исходным, сдвинутым также на половину пикселя друг относительно друга [5].

Рисунок 5. Схемы исходных изображений, способов наложения и результата обработки: а) схема результирующего изображения, б) схема исходных изображений; в), г), д), е) способы смещения исходных изображений по отношению к результирующему.

Из рисунка 5. видно, что число пикселей при полном восстановлении составит (2n-1)?(2m-1), где n и m – число строк и столбцов исходного изображения.
Сначала решаем обратную задачу для получения изображений с взаимным смещением на половину пикселя, как показано на рисунке 5.

Рассмотрим решения задачи на примере матриц малого размера. Дана матрица а, необходимо сформировать матрицы b0, b1, b2, b3, представляющие собой аналоги смещенных на половину пикселя изображений низкого разрешения (рисунок 5 в, г, д, е).

Алгоритм решения обратной задачи преобразует изображение высокого разрешения в четыре изображения с разрешением, меньшим в два раза. Полученные изображения смещены относительно исходного на половину пикселя, как показано на рисунке 5.

При решении прямой задачи первоначально вычисляются четыре элемента матрицы a, соответствующие элементу b00,0.

Далее, с использованием найденных начальных значений производится вычисление элементов первых строк и столбцов результирующей матрицы. Ниже показано вычисление нулевой и первой строки, расчеты по столбцам проводятся аналогично.

После вычисления первых двух строк и столбцов матрицы происходит формирование оставшейся части матрицы на основе полученных значений.

В результате выполнения алгоритма получаем матрицу а, которая совпадает с исходной.


а)

б)

в)

Рисунок 6. Результаты работы рассматриваемого алгоритма на реальных изображениях: а) исходное изображение; б) одно из изображений низкого разрешения; в) восстановленное изображение.

Стоит отметить, что при данном смещении входных матриц (рисунок 5.) невозможно провести полное восстановление последних строки и столбца. В рассматриваемом случае, элементы, для которых невозможно найти точного решения, отбрасываются. Их значения можно получить на основе входных матриц приближенно.

Данный способ дает полное восстановление исходного изображения. Результирующее не уступает в качестве изображению с таким же разрешением, полученному путем непосредственной фотосъемки объекта. Полученные результаты обуславливают существенные преимущества данного метода перед ранее рассмотренными.

Однако метод имеет ограничения в использовании, которые могут сделать невозможным его применение в определенных условиях. В качестве исходных данных необходимо брать изображения высокого качества. Не допускается наличие шумов или других искажений на входных изображениях. [7] Ошибки, имеющие локализацию в 1-2 пикселя на исходном изображении, влияют на значение всех пикселей результирующего изображения, расположенных после них по строкам и столбцам.

Таким образом, рассмотрены методы субпиксельной обработки данных, позволяющие улучшать качество цифрового изображения за счет повышения их пространственного разрешения. Каждый из методов обработки имеет свои достоинства и недостатки и может быть предпочтителен в различных ситуациях. Выбор способа решения поставленной задачи зависит от определенных условий, к которым относится необходимая точность результата, количество и качество исходных изображений.

Список литературы:

1. Блажевич С.В. Синтез космического изображения с улучшенной разрешающей способностью на основе субпиксельного сканирования / С.В. Блажевич, В.Н. Винтаев, Н.Н. Ушакова, В.В. Шашков // Седьмая всероссийская открытая ежегодная конференция. – М.: Москва, ИКИ РАН, 2009. – С. 18.
2. Резник А.Л. Построение алгоритмов реконструкции цифровых сигналов и изображений по результатам регулируемого субпиксельного сканирования: Отчет о деятельности ИАиЭ СО РАН / А.Л. Резник, В.М. Ефимов, А.А. Соловьев, Е.А. Кузнецова, А.В. Торгов. – Новосибирск ИАиЭ СО РАН, 2004 – 37 с.
3. Соловьев А.А. Быстрые алгоритмы реконструкции изображений на основе субпиксельного сканирования / А.А. Соловьев // Материалы международной студенческой конференции «Студент и научно-технический прогресс» – Новосибирск: изд-во НГУ, 2004. – 7с.
4. Яне Б. Цифровая обработка изображений / Б. Яне; пер. с англ. А.М. Измайловой. – М.: Техносфера, 2007 – 584 с.
5. Sub-pixels. Font rendering technology. – http://www.grc.com/ct/ctwhat.htm
6. Селиванов А.С. Субпиксельная обработка как способ повышения пространственного разрешения в системах дистанционного зондирования / А.С. Селиванов // Современные проблемы дистанционного зондирования земли из космоса. – М.: изд-во РАН, 2004. – С 47.

Интересная статья? Поделись ей с другими: