· .. .

Yerel Ikili Ortinttiler I<;in Slnlfiandlrma

Yontemlerinin Kar�lla�tlrllmasl

A Comparison of Classification Methods

for Local Binary Patterns

Nihan Kazak Mehmet Koc Bilgisayar Miih. Bol. Elek. -Elektronik Miih. Bol.

Burak Benligiray Elek. -Elektronik Miih. Bol.

Cihan Topal Elek. -Elektronik Miih. Bol.

Bilecik �eyh Edebali UniversitesiBilecik �eyh Edebali Universitesi Anadolu Universitesi Eski§ehir, Tiirkiye

burakbenligiray@anadolu. edu. tr

Anadolu Universitesi Eski§ehir, Tiirkiye

cihant@anadolu. edu. tr Bilecik, Tiirkiye Bilecik, Tiirkiye

nihan.kazak@bilecik. edu. tr mehmet.koc@bilecik.edu. tr

Ozetfe -Doku tamma iferik tabanlz goriintii er!�zmz, yiiz tamma ve uydu resimlerinin smiflandmlmaSI falz�malannda kullamlan onemli bir araftzr. Doku tamma ifin kullamlan ozniteliklerin arasmda en ba�anlz olanlarmdan birisi yerel ikili oriintiilerdir (yjO). yjo bir pikselin belirli bir kom§ulugundaki piksellerle arasmdaki gri seviye farklanm hesaplayan bir operatordiir. Literatiirdeki birfok falz�mada yjo ozniteliklerinin smTjlandlnlmasz lfm histogram tabanlz benzerlik olfiitleri kullamlmaktadzr. Bu falz§mada yjo ozniteliklerinin ba§anmzmn artznlmasz ifin destek vektor makineleri, dogrusal ayzrtaf analizi ve dogrusal regresyon smTjlandmClsl irdelenmi§tir. Yapllan deneylerde dogrusal regresyon smTjlandmclsz ile %84.4 tamma ba§anmz elde edilmi§tir.

Anahtar Kelimeler-doku smTjlandlrma; yerel ikili oriintiiler; smTjlandzrma yontemleri; UIUC doku veritabam.

Abstract-Texture recognition is an important tool used for content-based image retrieval, face recognition, and satellite image classification applications. One of the most successful features for texture recognition is local binary patterns (LBP), which computes local intensity differences for a pixel with respect to its neighbor pixels. In many studies in the literature, histogram based similarity measures are employed to classify LBP features. In this study, we investigate the performance of support vector machines, linear discriminant analysis, and linear regression classifier to improve the success of LBP features. We achieved 84.4% classification success using linear regression classification.

Keywords--texture classification; local binary patterns; classification methods; UIUC texture database.

I. GiRi�

Doku, birbirini tekrar eden yerel oriinttilerin olu§turdugu bir yapl olarak tammlanabilmektedir. Bu oriinttiler yer yer benzer geometrik yapldaki §ekillerin tekran olarak ortaya glkarken, bazen de tekrarlanan l§lk §iddeti dalgalanmalan olarak bulunabilir. Doku tamma ozellikle yiiz tamma, uydu imgelerinin slmfiandmlmasl, igerik tabanh goriintii eri§imi ve birgok nesne tamma probleminde etkin bir role sahiptir [1-5].

978-1-5090-1679-2/16/$31.00 ©2016 IEEE

Doku tamma birgok oriintii tamma probleminde oldugu gibi oznitelik glkarlml ve slmfiandmnasl olarak iki a§amadan olu§maktadlr. Dokular genellikle yapl geregi belirgin ozellikler banndlrmaYlp kendini tekrar eden oriinttilerden olu§tugu igin tamma i§lemlerinde biitiinciil oznitelikler kullamlmaktadlr. Literatiirde bulunan ve doku tammada kullamlan en yaygm oznitelik yerel ikili oriintiiler (yib) olarak kar§lmlza glkmaktadlr [1]. Yib , doku imgesindeki her pikselin belirli bir yanc,:aptaki kom§ulanyla olan 1§lk §iddeti farklanm ikili olarak kodlayan bir operatOrdiir. Sonrasmda elde edilen ikili kodlann histograml olu§turularak nihai oznitelik elde edilir. yib yiiz tamma [2, 3], cinsiyet tamma [4], el izi tamma [5] ve §ekil lokalizasyonu [6] gibi birc,:ok tamma uygulamasmda kullamlml§tlr. yib farkh uygulamalarda ba§anh tamma oranlan vermesinden dolaYI yogun olarak gah§i1an ve birc,:ok c,:e§idi tiiretilen bir ozniteliktir [9]. Bu c,:ah§mada temel ve tekdiize yib yontemi olmak iizere iki tiiriine yer verilmi§tir.

Literatiire bakIldlgmda yib ile yapIlan c,:ah§malarm biiyiik c,:ogunlugunda elde edilen oznitelik vektorlerinin benzemezlik olc,:iitleri kullanan istatistiksel testlerle slmflandmldlgl goriilmektedir [7, 10, 11]. Bunun yamnda destek vektOr makineleri (DVM) [12], dogrusal ayIrtag analizi (DAA) [13] gibi slmflandlrma yontemlerinin de kullamldlgl az saYlda c,:ah§ma da bulunmaktadrr. Ancak farkh slmfiandrrma algoritmalarmm aym veri seti iizerinden elde edilen yib oznitelikleri iizerindeki periormanslanmn irdelendigi bir c,:ah§ma bulunmamaktadlr.

Bu gah§mada iki farkh yib ge§idi kullamlarak giincel bir doku veri setinden oznitelikler c,:lkarIlml§tIr. Sonrasmda, elde edilen yib oznitelikleri farkh yontemlerle slmflandmlarak her bir slmflandlrma yonteminin ba§anml olc,:tiImii§tiir. Yapilan deneysel c,:ah§malarda literatiirde bu amac,:la kullamlmayan dogrusal regresyon slmfiandmClsmm (DRS) yiiksek tamma oranlarl elde ettigi goriilmii§tiir.

Bildirinin organizasyonu §u §ekilde devam etmektedir: ikinci boliimde yerel ikili oriinttiler yontemi klsaca anlatIlmaktadrr. Uc,:iincii boliimde deneylerde kullanIlan farkh slmfiandmCllar olan G-testi, Ki-kare, destek vektor makineleri (DVM), dogrusal aylrtac,: analizi (DAA) ve dogrusal regresyon

3 1 5

9 4 2

0 4 7

m&0 1

� 1 0

o 1 1

1}ekil 1. Temel yto operatbrii.

ikili kod: 00101101

Yio: 45

slmfiandmCI (DRS) kIsaca apklanmaktadlr. Dordiincii bOliimde gen;:ekle§tirilen deneysel c;:ah§malar sunulmakta ve son boliimde deneysel sonuc;:larda elde edilen bulgular yorumlanml§tJr.

II . YEREL iKiLi ORUNTULER (Yib)

ilk defa Ojala yd. taratindan onerilen yerel ikili oriintiiler operatOrii gri-seviye degi§mez bir ozniteliktir [l]. Bu operatOr bir pikselin gri seviyesinin belirli bir yanc;:ap kom§ulugunda bulunan diger piksellere gore yiiksek ya da dii§iik olmasml inceleyerek ikili degerler olu§turur. Temel YiO, 3 x 3 bloklar kullanmaktadlr. Blok ic;:erisindeki her bir pikselin gri-seviye degeri, merkez pikselin gri-seviye degeri ile kar§Ila§tInhr. Eger merkez pikselin degeri ile kar§lla§tmlan pikselin degeri arasmdaki fark sltirdan btiytik veya e§itse kom§u piksel degeri ikili olarak 1, diger durumda ise 0 kodlamr. Daha soma merkez pikselin LBP kodu, olu§an ikili kodun onluk tabana donti§ttiriilmesiyle hesaplamr. Sekil 1 'de temel yi6 operatOrii bir ornek ile gosterilmi§tir.

Temel yiO operatorti farkh yanc;:ap ve kom§uluklarda da hesaplanabilir [8]. Sekil 2'de farkh yanc;:aplara sahip iki dairesel simetrik kom§u seti goriilmektedir. R yanc;:apma sahip bir dairesel kom§uluk tizerinde P adet kom§u piksel oldugunu varsayarsak merkez pikselin YiO kodu a§agldaki formiil ile hesaplanmaktadrr:

Denklem (I ) 'de gc merkez pikselin gri-seviye degerini gp ise p. kom§unun gri-seviye degerini ifade etmektedir.

Tekdiize YiO, yerel oriinttilerden daha az say Ida oznitelik C;:lkarma amaClyla geli§tirilmi§tir. Bir ortinttintin ikili kodunda O'dan 1 'e veya 1 'den O'a gec;:i§ saYlsl iki ya da daha c;:ok ise bu oriintii tekdiize oriintii degildir, diger durumdaki oriintti tekdtize oriintti olarak adlandmhr. Omegin; Sekil 1 'de verilen oriinttiniin ikili kodu 00101101 olmakla birlikte toplamda 0-1 ve 1-0 gec;:i§leri ikiden fazla olmaSI sebebiy Ie tekdiize degildir. Smlfiandlrma yaplhrken sadece tekdtize ortintiilerin LBP kodlan dikkate ahnmaktadlr.

III . SINIFLANDIRICILAR

Doku slmfiandlrmada bir imgeye YiO uygulandlgmda oznitelik vektOrii olarak histogram elde edilir. Omek ve model histogramlann benzerligini olc;:mek ic;:in genellikle parametrik olmayan istatistiksel testIer kullamhr. Bu bOltimde, doku smlfiandlrmada c;:ogunlukla kullamlan G-testi ve Ki-kare (X2) testinin yanlSlra, destek vektor makineleri (DVM), dogrusal aYlrtac;: analizi (DAA) ve dogrusal regresyon slmfiandmclsl (DRS) yontemleri kIsaca anlatIlml§tlr.

1}ekil 2. (8,1) ve (16,2) yto operatbrii.

A. G-Testi

G-testi a§agldaki gibi tammlanrr.

B S G(S, M) = 2 L Sb1og_b Nh b=1

(2)

Burada B, histogramdaki c;:ubuk (bin) saYIslm Sb ve �h srraslyla b. c;:ubuktaki ilgili ornek ve model olaslhklarml temsil etmektedir. G-testi, slmfiandlrma yapllrrken Sb log Sb her model ic;:in aym olmasl sebebiyle a§agldaki §ekilde sadele§tirilebilir:

B L(S, M) = 2 L Sb10gNh (3)

b=l Test omegi S, L-istatistigini maksimize eden M modelinin slmtina atamr.

B. Ki-kare (X2) Testi

Kar§lla§tmlacak olan histogramlar S ve !vI olsun. Ki-kare testi a§agldaki denklem ile hesaplamr.

dX2 (S, M) = t (Si - mi)2

i=1 Si + mi (4)

Burada, E, histogramlardaki c;:ubuk saYIslm, Si ve mi SlraSI ile S ve Nl'nin i. histogram c;:ubugunu gostermektedir. Slmfiandrrma en yakm kom§uluk kurah ile yapllmaktadlr.

C. Destek Vektor Makineleri (DVM)

DVM ile oznitelikleri iki slmfa aYlran bir hiper-dtizlemin bulunmasl amac;:lanmaktadlr. Oznitelikler dogrusal olarak aynlabilir bir yaplda ise bu i§lem dogrudan uygulanabilir. Aksi durumda oznitelikler once dogrusal olarak aynlabilecekleri daha yiiksek boyutlu bir uzaya yanSltIhrlar.

D. Dogrusal AYlrtaf; Analizi (DAA)

DAA, veri ic;:erisinde bulunan farkh slmfiara ait gruplarm dogrusal aynlabilirligini maksimize ederek boyut azaltmasl yapan bir yontemdir. Dogrusal aYlrtac;: analizindeki amac;: slmfiar araSI dagIllml en biiyiik yaparak farkll slmfiarm orneklerini birbirinden aymrken, slmf ic;:i degi§intiyi en ktic;:tik yapmaktlr. Boylece boyut indirgemesi yaplhrken aym zamanda da slmfiandlrmada kullamlacak bilgiler korunacaktIr. DAA yonteminde a§agldaki amac;: fonksiyonu maksimize edilir:

J(w) =

WTSBW WTSTW (5)

�ekil 3. UlUe veritabanmdan omek doku imgeleri.

B urada S B simfiar araSI sagIhm matrisi, ST ise simf igi saphm matrislerinin toplamIdrr. J amag fonksiyonunu maksimize eden w vektCirlerinin gerdigi altuzayda Oklid uzakhgl ile simfiandirma yapIlrr.

E. Dogrusal Regresyon SlnlfiandmCl (DRS)

Dogrusal Regresyon Simfiandmci (DRS) gogunlukla yiiz tamma uygulamalarmda kullamlan [13-15] altuzay tabanh bir yontemdir. Yontemde, egitim ornekleri ile regresyon analizi yapilarak slmfiara aitXi, 'i = 1, ... , C modelleri elde edilmektedir. Smlf"landmlmak istenen y oznitelik vektortintin simf modelleri kullamlarak Yi = Xi(K[ Xi)-l K[, i =

1, ... ,C tahminleri elde edilir. y, en yakm olan tahminin ait oldugu simfa atanrr.

IV . DENEYSEL SONU�LAR

Farkh simfiandrrma yontemlerinin ba§anmim olgmek amaclyla UIUC doku veritabam kullamlml§tlr [16]. Veritabam farkh gorii§ aplan ve olgek farkhhklanna sahip toplam 25 simf

90 ,--------,---------,---------,--------�

c � 50 o III E 40 C

� 30'�----��e-------�.-------��------�

20

10 O�------�--------�------�--���--� 10 15 20 25

Egitim Ornek SaYlsl

�ekil 4. Temel Yi6 ile sllllfiandirma oranlan.

30

90 ,--------,---------,---------,--------�

�6 o

<= � 50 o

OL-------�--------�-------L--����� 10 15 20 25

Egitim Ornek SaYlsl

�ekil 5. Tekdtize Yi6 ile sllllfiandirma oranlan.

30

ve her slmfa ait 40 doku imgesi igermektedir. Her bir imgenin boyutu 640 x 480 pikse1dir. Veritabamndaki her simftan bir ornek doku imgesi �ekil 3'de gosterilmektedir.

Yapilan deneylerde slraslyla her simftan rastgele segilmi§ 10, 15, 20, 25 ve 30 adet doku imgesi egitim igin geriye kalanlar ise test igin kullamlml§tlr. �ekil 4 ve �ekil 5'de Slfaslyla temel YiO ve tekdtize yib kullamlarak iigiincii bOliimde deginilen simfiandirma yontemlerinin ba§arisl gosterilmektedir. Dogruluk oranlan, 10 kez rastgele segilen ornek saYIsma bagh simfiandrrma oranlanmn ortaiamasl ahnarak e1de edilmi§tir. Her simftan rasge1e segilen 30 adet test imgesi igin temel YiO ve tekdtize YiO yontemlerinden e1de edilen oznitelikler Ki-kare, Log-likelihood, DAA, DRS ve DVM ile simfiandmiarak 10 kere gah§tmlmI§trr. Elde edilen tamma oranlarmm ortalamalan �ekil 6'daki grafikte kar§Ila§tIrmah olarak verilmi§tir.

V. SONU�

Bu gah§mada saylSlz oriintii tamma uygulamasmda kullamlan yerel ikili ortinttiler (YiO) yonteminin farkh

�ekil 6. Stnlfiandlrma yontemlerinin yt6 ve Tekdtize yt6 i9in Sllllfiandirma ba§anmlan.

slmfiandmCllar kar§lsmdaki performansmm irdelenmesi amaglanml§tIr. Bu yontemlerin slmfiandlrma oranlanm test etmek amaClyla UIUC doku veritabam kullamlml§trr. Yapdan deneysel gah§malarda Iiterattirde genellikle Ki-kare gibi benzerlik Olgtitti tabanh istatistikse1 testlerle slmfiandmlan YiO'ntin, dogrusal regresyon slmfiandmCI gibi altuzay tabanh yontemlerde daha iyi sonuglar verdigi gortilmti§ttir. Yapllan deneylerde altuzay tabanh yontemlerin benzerlik Olgiitti kullanan slmfiandlrma yontemlerine gore %41' e varan oranlarda daha ba§anh sonuglar verdigi goriilmektedir.

Yapdan deneyse1 gah§malarda e1de edilen diger bir bulgu ise G-Test ve Ki-kare gibi benzerlik tabanh slmfiandmCllara ait ba§anmlann egitim ornek saYlSlmn artmaslyla gok fazla degi§memesidir. Bu slmfiandmcIIarm aksine alt uzay tabanh slmfiandmCllarda egitim omek saYlsl arttlkga slmfiandlrma ba§arlsl da onemli olgtide artmaktadlr. Bunun nedeni alt uzay tabanh slmfiandmcIlarm egitim omek saYlsl arttlkga veriyi daha iyi ve kapsamh bir §ekilde modellemeleri oldugu dti§tintilmektedir.

KAYNAK(,:A

[1] Ojala, T, Pietikainen M., and Harwood, D., "A Comparative Study of Textur Measures with Classification Based on Feature Distributions," Pattern Recognition, 29(1 ):51-59, 1996.

[2] Zhao, G. and Pietikainen, M., "Dynamic Texture Recognition Using Local Binary Patterns with an Application to Facial Expressions," IEEE Transactions on Pattern Analysis and Machine Intelligence, 29(6):915-928, 2007.

[3] Tan, X., and Triggs, B., "Enhanced Local Texture Feature Sets for Face Recognition Under Difficult Lighting Conditions," IEEE Trans. Image Processing,19(6):1635-l650,20l0.

[4] Shan c., "Learning local binary patterns for gender classification on real-world face images," Pattern Recognition Letters, 33:431-437, 2012.

[5] Michael G.K.O., Connie T, and Teoh A.BJ., "Touch-less palm print biometrics: Novel design and implementation," Image and Vision Computing, 26:1551-1560, 2008.

[6] Heikkila, M, Pietikainen, M., and Schmid, c., "Decription of interest regions with local binary patterns," Pattern Recognition, 42:425-436, 2009.

[7] Pietikainen, M., Hadid, A., Zhao, G., and Ahonen, T, "Local Binary Patterns for Still Images," in Computer Vision Using Local Binary Patterns.: Springer, 2011, pp. 13-47.

[8] Ojala, T, Pietikainen, M., and Maenpaa, T, "Multiresolution Gray-Scale and Rotation Invariant Texture Classification with Local Binary Patterns," IEEE Trans. Pattern Analysis and Machine Intelligence, 24(7):971-987, 2002.

[9] Guo, Z., Zhang, L., and Zhang, D., "A Completed Modeling of Local Binary Pattern Operator for Texture Classification," IEEE Transactions on Image Processing, 19(6): 1657-1663, 20 I O.

[10] Maenpaa, T, The Local Binary Pattern Approach to Texture Analysis-Extensions and Applications, 2003.

[ll] Liao, S., Law, M.W.K., and Chung, A.C.S., "Dominant Local Binary Patterns for Texture Classification," IEEE Transactions on Image Processing, vol. 18(5):1107-1118,2009.

[12] Shan, C., Gong, S., and McOwan, P.W., "Facial Expression Recognition Based on Local Binary Patterns: A comprehensive study," Image and Vision Computing, 27:803-816, 2009.

[13] Naseem, I., Togneri, R., and Bennamoun, M., "Linear Regression for Face Recognition," IEEE Trans. Pattern Analysis and Machine Intelligence, 32(ll):2106-2ll2, 2010.

[14] Naseem, 1., Togneri, R., and Bennamoun, M., "Robust regression for face recognition," Pattern Recognition, 45(1): pp. 104-118,2012.

[15] Koc, M. and Barkana, A., "Application of Linear Regression Classification to Low Dimensional Datasets," Neurocomputing, 131:331-335,2014.

[16] Lazebnik, S., Schmid, c., and Ponce, J., "A Sparse Texture Representation Using Local Affine Regions," IEEE Trans. Pattern Analysis and Machine Intelligence, 27(1): 1265-1278, 2005.

[17] Topi, M., Timo, 0., Matti, P., and Maricor, S. "Robust Texture Classification by Subsets of Local Binary Patterns," 15th International Conference on Pattern Recognition (Vol.3), Barcelona, 2000, pp. 935-938.

[18] Zhao, Y., Jia, W, Hu, R.X., and Min, H., "Completed Robust Local Binary Pattern for Texture Classification," Neurocomputing, 106:68-76, 2013.