Статья 'О текстурных признаках в задаче сегментации аэрофотоснимков на основе матриц яркостной зависимости ' - журнал 'Кибернетика и программирование' - NotaBene.ru
по
Меню журнала
> Архив номеров > Рубрики > О журнале > Авторы > О журнале > Требования к статьям > Редакция и редакционный совет > Порядок рецензирования статей > Политика издания > Ретракция статей > Этические принципы > Политика открытого доступа > Оплата за публикации в открытом доступе > Online First Pre-Publication > Политика авторских прав и лицензий > Политика цифрового хранения публикации > Политика идентификации статей > Политика проверки на плагиат
Журналы индексируются
Реквизиты журнала

Публикация за 72 часа - теперь это реальность!
При необходимости издательство предоставляет авторам услугу сверхсрочной полноценной публикации. Уже через 72 часа статья появляется в числе опубликованных на сайте издательства с DOI и номерами страниц.
По первому требованию предоставляем все подтверждающие публикацию документы!
ГЛАВНАЯ > Вернуться к содержанию
Кибернетика и программирование
Правильная ссылка на статью:

О текстурных признаках в задаче сегментации аэрофотоснимков на основе матриц яркостной зависимости

Тымчук Андрей Игоревич

ФГБОУ ВО «Кубанский государственный технологический университет»

350080 181, кв.103, Россия, Краснодарский Край область, г. Краснодар, ул. Сормовская, 181, кв. 103

Tymchuk Andrey Igorevich

graduate student, Kuban State Technological University

350080 181, kv.103, Russia, Krasnodarskii Krai oblast', g. Krasnodar, ul. Sormovskaya, 181, kv. 103

tymchuk.2017@bk.ru
Другие публикации этого автора
 

 

DOI:

10.25136/2306-4196.2018.6.28395

Дата направления статьи в редакцию:

13-12-2018


Дата публикации:

20-12-2018


Аннотация: Компьютерный анализ изображения представляет собой автоматическую обработку изображения, в процессе которой происходит определение и классификация расположенных на изображении объектов. Одним из важнейших этапов данного анализа является сегментация изображения, посредством которой на основе множества характеристик (цвет, текстура, яркость и т.д.) выполняется разбиение исходного изображения на множество непересекающихся областей. Важность этапа заключается в значительном влиянии сегментации на конечный результат анализа.Объектом исследования является метод текстурной сегментации изображения на основе построения и использования матриц яркостной зависимости. Предметом исследования является влияние текстурных признаков на качество сегментации изображения. Особое внимание уделяется вычислению значений текстурных признаков и критериев оценки сегментации. Методология исследования основана на анализе текстурной сегментации изображений с помощью эмпирических критериев оценки и эталонной сегментации. Основным выводом проведённого исследования является заключение о выборе набора текстурных признаков, которые показали лучшие результаты сегментации. Данный вывод сделан на основе анализа значений выбранных критериев оценки качества сегментации. Текстурная сегментация изображений и вычисление критериев оценки выполнялось на основе разработанной программы на языке программирования C++. Новизна исследования заключается в анализе текстурных признаков относительно качества сегментации изображений, выполненной на их основе.


Ключевые слова: обработка изображений, текстура, сегмент, текстурная сегментация, текстурный анализ, текстурный признак, текстурная характеристика, матрица яркостной зависимости, критерий оценки сегментации, эталонная сегментация

Abstract: Computer image analysis is an automatic image processing, in the process of which the definition and classification of objects located on the image takes place. One of the most important stages of this analysis is image segmentation, by means of which, based on a set of characteristics (color, texture, brightness, etc.), the initial image is divided into many non-intersecting areas. The importance of the stage lies in the significant impact of segmentation on the final result of the analysis.The object of the research is the method of texture segmentation of the image based on the construction and use of luminance dependence matrices. The subject of the research is the effect of textural features on the quality of image segmentation. Special attention is paid to the calculation of the textural attributes and segmentation evaluation criteria.The research methodology is based on the analysis of texture segmentation of images using empirical evaluation criteria and reference segmentation. The main conclusion of the study is the conclusion about the choice of a set of textural features that showed the best segmentation results. This conclusion was made on the basis of the analysis of the values of the selected criteria for assessing the quality of segmentation. The textural segmentation of images and the evaluation criteria were performed on the basis of the developed program in the C ++ programming language. The novelty of the study is in the analysis of textural characteristics regarding the quality of image segmentation, made on their basis.



Keywords:

Gray Level Co-occurrence Matrix, texture characteristic, textural feature, texture analysis, texture segmentation, segment, texture, image processing, image segmentation evaluation criteria, reference segmentation

Введение

На сегодняшний день существует огромное множество методов сегментации и их различных вариаций. Обусловлено это тем, что для задачи сегментации изображения не существует универсального решения, и используемый метод выбирается исходя из специфики задачи.

При текстурной сегментации аэрофотоснимков для описания текстуры используются текстурные признаки. Один из способов их вычисления – метод матриц яркостной зависимости, который был разработан и предложен Робертом М. Хараликом в 1973 году [1]. Преимущество данного метода заключается в простоте реализации и возможности установления пространственной связи между парой пикселей относительно расстояния и угла между ними.

Цель данного исследования заключается в определении текстурных признаков, оказывающих наибольшее влияние на общее качество сегментации изображения. Иными словами, требуется выделить те признаки, которые дадут наилучшие показатели по заданным критериям оценки качества сегментации. Для исследования было выбрано 15 текстурных признаков и 4 критерия оценки. Выбранные признаки – это стандартные признаки, вычисляемые на основе матриц яркостной зависимости. В качестве критериев оценки были выбраны эмпирические критерии, основанные на количестве и месторасположении неправильно классифицированных пикселей. Выбор критериев оценки основывается на работе [3], в которой авторы выполнили анализ и провели сравнение основных критериев оценки качества сегментации изображения. Стоит отметить, что все выбранные критерии вычисляются на основе сравнения результата с эталонной сегментацией. В данном исследовании не рассматривались автоматические (неконтролируемые) методики оценки, так как отсутствовала необходимость вычисления оценки непосредственно в процессе сегментации, требовалось оценить только конечный результат.

Для вычисления текстурных признаков и получения оценки была написана программа на языке программирования C++. Было выбрано 10 различных аэрофотоснимков сельскохозяйственных угодий и выполнена оценка качества сегментации на основании рассматриваемых текстурных признаков. По результатам оценки обозначены 5 признаков, которые показали лучшие результаты сегментации.

Текстурные признаки

Текстурный признак представляет собой низкоуровневый признак изображения, который можно использовать для описания содержимого изображения или его региона в дополнение или вместо стандартных признаков, основывающихся только на цветовой характеристике.

Для вычисления текстурных признаков можно использовать несколько методов. Один из известных – метод матриц яркостной зависимости. Исходя из названия, основой для вычисления текстурных признаков в данном методе служит соответствующая матрица. Обозначим её с помощью P . Матрица имеет размер K , который соответствует количеству уровней серого на рассматриваемом изображении. Каждый элемент матрицы вычисляется путём подсчёта количества соседних расположений пикселей с уровнями серого i и j . После этого, как правило, матрицу приводят к нормализованному виду – каждый элемент матрицы делится на сумму всех элементов. В случае нормализованной матрицы каждый элемент содержит значение вероятности того, что пиксель со значением i будет найден рядом с пикселем значения j . Также важно отметить, что соседство двух пикселей определяется на основе двух параметров: расстоянию между пикселями d и угловому направлению φ . Алгоритм вычисления матрицы яркостной зависимости подробно рассмотрен в статье [2].

В работе [1] было описано 14 текстурных признаков. В данном исследовании учтены все из них кроме последнего (Maximal Correlation Coefficient ) – он был опущен по причине сложности вычисления. Также учитывались 2 дополнительных признака – Cluster Shade и Cluster Prominence . Они не описаны в [1], но часто упоминаются в работах, относящихся к тематике сегментации изображений.

Далее приведено описание рассматриваемых текстурных признаков:

1) Energy – отражает однородность распределения уровней серого на изображении. Альтернативное название признака – Angular Second Moment . Когда текстура однородна, то есть в рассматриваемой области часто встречаются одни и те же пары соседних пикселей, значение признака будет большим. Признак вычисляется по формуле [1]:

2) Contrast – является мерой различий уровня серого между рассматриваемым пикселем и его соседом. Большие значения признака говорят о сильном различии между уровнями серого соседних пикселей. Признак вычисляется по формуле [1]:

3) Correlation – является мерой линейной зависимости уровня серого между пикселями в указанных положениях относительно друг друга, отражает постоянство рассматриваемой текстуры. Признак вычисляется по формуле [1]:

В этой формуле , и , являются среднеквадратическим отклонением и средним арифметическим для векторов и соответственно, которые представляют собой массивы поэлементных сумм строк и столбцов матрицы P .

4) Variance – отражает отличие элемента от среднего значения матрицы P . Альтернативное название признака – Sum of Squares . Признак вычисляется по формуле [1]:

В этой формуле μ является средним арифметическим элементов матрицы P .

5) Inverse Difference Moment – отражает однородность рассматриваемой текстуры. Высокие значения признака означают отсутствие локальных отличий от общего вида текстуры. Альтернативное название признака – Homogeneity . Признак вычисляется по формуле [1]:

6) Sum Average – отражает преобладание соседнего расположения пикселей, которые в совокупности имеют высокую яркость. Признак вычисляется по формуле [1]:

В этой формуле представляет собой вектор, каждый элемент которого является суммой элементов , для которых выполняется условие .

7) Sum Variance – отражает отличие элемента от значения энтропии вектора . Признак вычисляется по формуле [1]:

8) Sum Entropy – отражает неравномерность (хаотичность) вектора . Признак вычисляется по формуле [1]:

9) Entropy – отражает неравномерность (хаотичность) текстуры. Низкое значение признака соответствует неоднородной текстуре, а высокое значение – однородной. Признак вычисляется по формуле [1]:

10) Diff Variance – отражает отличие элемента от среднего значения вектора . Признак вычисляется по формуле [1]:

В этой формуле представляет собой вектор, каждый элемент которого является суммой элементов , для которых выполняется условие .

11) Diff Entropy – отражает неравномерность (хаотичность) вектора . Признак вычисляется по формуле [1]:

12) First Information Measure of Correlation – данный признак описан в работе [4]. Вычисляется по формуле [4]:

13) Second Information Measure of Correlation – данный признак описан в работе [4]. Вычисляется по формуле [4]:

В формулах (12) и (13) параметры HX и HY представляют собой значения энтропии векторов и соответственно. Формулы остальных параметров указаны далее:

14) Cluster Shade – является мерой асимметрии изображения. При высоком значении признака изображение является асимметричным. Признак вычисляется по формуле [5]:

15) Cluster Prominence – также является мерой асимметрии изображения. Чем больше значение признака, тем менее симметрично изображение. Кроме того, при низких значениях признака максимальный элемент матрицы P близок к среднему значению матрицы. Признак вычисляется по формуле [5]:

Критерии оценки качества сегментации

Для оценки качества сегментации было выбрано 4 эмпирических критерия, подразумевающих, что оценивается не сам алгоритм, а результат его работы на некотором наборе тестовых изображений. Эмпирические методики, в свою очередь, подразделяются на контролируемые и неконтролируемые (автоматические). В данном исследовании не рассматривались неконтролируемые методики оценки, так как отсутствовала необходимость вычисления оценки непосредственно в процессе сегментации, требовалось оценить только конечный результат. Исходя из этого, выбранные критерии рассматривались относительно эталонной сегментации. Выбор критериев оценки основывается на работах [3] и [7], в которых авторы выполнили анализ и провели сравнение основных критериев оценки качества сегментации изображения.

Далее приведено описание выбранных критериев оценки:

1) Первый критерий – процентное отношение количества неправильно классифицированных пикселей класса к общему количеству пикселей этого класса на эталонном изображении. Значение критерия вычисляется по формуле [6]:

В данной формуле представляет собой количество пикселей, которые действительно принадлежат классу, а является количеством пикселей того же класса, которые были правильно классифицированы. Чем ниже значение критерия, тем выше качество сегментации.

2) Второй критерий – процентное отношение количества пикселей, ошибочно причисленных к классу, к общему числу пикселей других классов на эталонном изображении. Значение критерия вычисляется по формуле [6]:

В данной формуле представляет собой количество пикселей, отнесённых к классу при сегментации, а является количеством пикселей всех классов на изображении. Чем ниже значение критерия, тем выше качество сегментации.

3) Третий критерий учитывает расстояние между неправильно классифицированным пикселем и сегментом, к которому он бы ошибочно отнесён. Значение критерия вычисляется по формуле [6]:

В данной формуле N представляет собой количество ошибочно классифицированных пикселей, а является расстоянием между ошибочно классифицированным i -ым пикселем и ближайшим пикселем, в действительности относящимся к классу i -ого пикселя. Чем ниже значение критерия, тем выше качество сегментации.

4) Четвёртый критерий схож с третьим. Однако, чем выше значение критерия, тем выше качество сегментации. Критерий вычисляется по формуле [6]:

Результаты

Вычисление текстурных признаков выполнялось на тестовом наборе из 10 изображений (представлены на рисунке 1) для 32 уровней серого (согласно работе [2]) и при размере скользящего окна в 5 пикселей. Для каждого изображения тестового набора вручную было сформировано изображение с эталонной сегментацией (представлены на рисунке 2).

Для вычисления значений признаков и критериев оценки была написана программа на языке программирования C++. На основе значений каждого текстурного признака была выполнена сегментация тестовых изображений – каждый сегмент изображения (размер сегмента соответствует размеру скользящего окна) раскрашивался одним из 10 цветов в зависимости от значения текстурного признака. Примеры сегментации изображений представлены на рисунке 3.

Далее с помощью реализованной программы каждая полученная сегментация сопоставлялась с эталонной сегментацией путём вычисления значений критериев оценки. Из полученных значений была сформирована итоговая таблица.

Рисунок 1 – Тестовый набор изображений

Рисунок 2 – Эталонная сегментация для тестового набора изображений

Рисунок 3 – Сегментация пятого изображения тестового набора на основе пятнадцати текстурных признаков

K1

K2

K3

K4

F1

70,1

14,1

16,6

0,31

F2

70,4

20,7

14

0,27

F3

64,2

17,1

17,1

0,27

F4

50,8

4,9

8,2

0,38

F5

71,3

13,9

18,1

0,32

F6

50,9

4,5

8,8

0,38

F7

50,7

4,1

7,6

0,39

F8

68,6

13,2

15,6

0,33

F9

69,2

13,4

17,3

0,32

F10

71,5

13,6

18,1

0,32

F11

72,1

15,3

17,3

0,31

F12

72,8

17,7

18,1

0,29

F13

72,5

13

16,6

0,33

F14

52,9

6,2

10,4

0,35

F15

56,2

8,5

8,6

0,35

Таблица 1 – Значения критериев оценки сегментации для рассматриваемых текстурных признаков

Из таблицы 1 видно, что на тестовой выборке лучшие результаты сегментирования показали текстурные признаки: Variance , Sum Average , Sum Variance , Cluster Shade и Cluster Prominence . В таблице они выделены жирным шрифтом. Кроме того, стоит отметить, что данные признаки имеют лучшие результаты сегментации по каждому из критериев.

Заключение

Сегментация, безусловно, является важным этапом при решении задачи анализа изображения, так как она напрямую влияет на конечный результат анализа. В данной статье рассматривался метод сегментации изображения с помощью текстурных признаков, вычисляемых на основе матриц яркостной зависимости. В рамках исследования было выбрано 15 текстурных признаков и 4 критерия оценки качества сегментации. Согласно выбранным критериям была установлена пятёрка текстурных признаков, которые показали лучшие результаты сегментации по сравнению с остальными. Из этого следует, что в дальнейших исследованиях, в особенности при реализации сегментации на основе нескольких признаков, вышеуказанная пятёрка признаков должна иметь больший вес по сравнению с остальными.

Библиография
1.
Haralick R. M., Shanmugan K., Dinstein I. Textural Features for Image Classification // IEEE Trans. Systems, Man and Cybernetics. 1973, vol. 3, no. 6, pp. 610-621.
2.
Тымчук А. И. О выборе уровней серого в задаче текстурной сегментации изображений на основе матриц яркостной зависимости // Кибернетика и программирование №3, 2018. – С. 1-9.
3.
Zhang Y. J. A Survey On Evaluation Methods for Image Segmentation // Pattern Recognition, vol. 29, no. 8, 1996, pp. 1335-1346.
4.
Linfoot E. H. An Informational Measure of Correlation // Information and Control, vol. 1, no. 1, pp. 85-89, 1957.
5.
Yang X., Tridandapani S., Beitler J. J., Yu D. S., Yoshida E. J., Curran W. J., Liu T. Ultrasound GLCM texture analysis of radiation-induced parotid-gland injury in head-and-neck cancer radiotherapy: an in vivo study of late toxicity // Med Phys, vol. 39, no. 9, pp. 5732–5739, 2012.
6.
Захаров А. В., Кольцов П. П., Котович Н. В., Кравченко A. А., Куцаев A. С., Осипов A. С. Критерии оценки качества сегментации изображений // ТРУДЫ НИИСИ РАН, Том 2, № 2, 2012. – С. 87-99.
7.
Zhang Y. J. A review of recent evaluation methods for image segmentation // Proc. of Sixth International Symposium on Signal Processing and its Applications (ISSPA 2001), vol. 1, 2001, pp.148-151.
References (transliterated)
1.
Haralick R. M., Shanmugan K., Dinstein I. Textural Features for Image Classification // IEEE Trans. Systems, Man and Cybernetics. 1973, vol. 3, no. 6, pp. 610-621.
2.
Tymchuk A. I. O vybore urovnei serogo v zadache teksturnoi segmentatsii izobrazhenii na osnove matrits yarkostnoi zavisimosti // Kibernetika i programmirovanie №3, 2018. – S. 1-9.
3.
Zhang Y. J. A Survey On Evaluation Methods for Image Segmentation // Pattern Recognition, vol. 29, no. 8, 1996, pp. 1335-1346.
4.
Linfoot E. H. An Informational Measure of Correlation // Information and Control, vol. 1, no. 1, pp. 85-89, 1957.
5.
Yang X., Tridandapani S., Beitler J. J., Yu D. S., Yoshida E. J., Curran W. J., Liu T. Ultrasound GLCM texture analysis of radiation-induced parotid-gland injury in head-and-neck cancer radiotherapy: an in vivo study of late toxicity // Med Phys, vol. 39, no. 9, pp. 5732–5739, 2012.
6.
Zakharov A. V., Kol'tsov P. P., Kotovich N. V., Kravchenko A. A., Kutsaev A. S., Osipov A. S. Kriterii otsenki kachestva segmentatsii izobrazhenii // TRUDY NIISI RAN, Tom 2, № 2, 2012. – S. 87-99.
7.
Zhang Y. J. A review of recent evaluation methods for image segmentation // Proc. of Sixth International Symposium on Signal Processing and its Applications (ISSPA 2001), vol. 1, 2001, pp.148-151.
Ссылка на эту статью

Просто выделите и скопируйте ссылку на эту статью в буфер обмена. Вы можете также попробовать найти похожие статьи


Другие сайты издательства:
Официальный сайт издательства NotaBene / Aurora Group s.r.o.
Сайт исторического журнала "History Illustrated"