Abstrak—Struktur garis lengkung adalah fitur yang berguna dalam berbagai aplikasi, terutama dalam analisis citra medis. Metode evaluasi performa algoritma deteksi struktur garis lengkung sangat dibutuhkan untuk mengukur akurasi dari hasil deteksi garis lengkung. Oleh karena itu, telah dibangun sistem pengukur performa algoritma deteksi struktur garis lengkung dengan metode evaluasi performa struktural pada kasus segmentasi pembuluh darah retina. Metode evaluasi performa struktural adalah metode evaluasi berdasarkan perbandingan struktur dari hasil segmentasi garis lengkung dengan ground truth melalui proses point matching. Metode ini terdiri dari lima proses yaitu melakukan ekstraksi struktur dengan skeletonisasi, pemilihan kandidat match berdasarkan jarak Euclidean dan selisih lebar struktur, penghitungan cost dari kandidat match, penghitungan optimal structural matching, dan pengukuran kualitas deteksi yang menghasilkan dua aspek performa yaitu nilai akurasi dan akurasi deteksi. Metode berhasil mengukur performa algoritma dengan baik dan menghasilkan informasi karakteristik dari struktur garis lengkung yang dideteksi.
Kata Kunci—Evaluasi performa, Image matching, Segmentasi struktur garis lengkung, Skeletonisasi.
I. PENDAHULUAN
VALUASI performa algoritma adalah salah satu permasalahan yang penting dalam pengenalan pola [1]. Penelitian yang ekstensif telah banyak dilakukan pada bidang evaluasi performa algoritma deteksi tepi dan region, sedangkan penelitian pada evaluasi algoritma deteksi struktur garis lengkung (curvilinear) lebih sedikit sehingga berpeluang untuk dieksplorasi lebih luas.
‘Struktur garis lengkung’ adalah garis atau lengkungan pada citra dengan lebar yang bervariasi. Struktur garis lengkung adalah fitur yang berguna dalam berbagai aplikasi misalnya untuk menemukan jalan atau sungai pada citra udara, mendeteksi jalur lalu lintas, dan lain-lain. Struktur garis lengkung juga menjadi fitur yang banyak diamati pada citra medis, misalnya pembuluh darah, rongga udara, tulang, dan struktur tipis lainnya [2].
Salah satu struktur garis lengkung yang banyak diteliti adalah pembuluh darah retina yang merupakan indikator penting mendiagnosis penyakit diabetes, hipertensi, dan arteriosclerosis. Sebagian besar algoritma deteksi pembuluh darah retina menggunakan evaluasi performa berbasis ground truth dengan perbandingan piksel objek hasil segmentasi dengan ground truth, dimana ground truth adalah citra
referensi dari hasil yang diharapkan. Evaluasi ini disebut dengan evaluasi pixel-wise.
Setelah mendapatkan citra hasil segmentasi/machine-segmented (MS), maka evaluasi dimulai dengan mencari jumlah piksel pembuluh pada MS dan ground truth (GT) yang dihitung sebagai true positive (TP). Piksel yang ditandai sebagai pembuluh di MS tetapi bukan pembuluh pada GT dihitung sebagai false positive (FP). True Positive Rate (TPR) adalah pembagian TP dengan total piksel pembuluh GT. Sedangkan False Positive Rate (FPR) adalah pembagian FP dengan total piksel yang bukan pembuluh pada GT. Sebagai alternatif, FPR juga dapat dihitung berdasarkan jumlah piksel bukan pembuluh yang berada dalam lingkaran yang tampak, field of view (FOV) [3]. Setelah mendapatkan nilai TPR dan FPR, performa sistem dapat diteliti dengan menggunakan kurva receiver operating curves (ROC). Jika nilai yang dihasilkan semakin mendekati sudut kiri atas kurva (TPR = 100% dan FPR = 0%), maka performa sistem semakin baik [2].
Metode evaluasi pixel-wise digunakan untuk mengevaluasi metode binarisasi [4]. Selain itu, juga digunakan untuk mengekstraksi bangunan pada citra udara [5]. Metode ini tepat digunakan untuk region yang besar, tetapi aplikasinya pada struktur garis lengkung yang merupakan region tipis dan terulur panjang dapat dipertimbangkan kembali. Hal ini dibuktikan dari nilai TPR dan FPR empat citra sintetis MS yang merupakan modifikasi dari sebuah citra GT STARE yang ditampilkan pada Gambar 1 (c) – (f) [2].
Gambar 1.(a) Citra retina STARE; (b) GT; (c) MSthin: GT yang dierosi; (d)
MSdel: GT dengan sejumlah piksel yang dihapus; (e) MSexp: GT yang didilasi;
(f) MSins: GT dengan sejumlah piksel yang disisipkan [2]
Implementasi Evaluasi Performa Struktural
Algoritma Deteksi Struktur Garis Lengkung
Mujaahidah As Sayfullooh, Anny Yuniarti, dan Agus Zainal Arifin
Teknik Informatika, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember (ITS)
Jl. Arief Rahman Hakim, Surabaya 60111
E-mail: anny@if.its.ac.id, agusza@cs.its.ac.id
Dengan metode evaluasi pixel-wise, MSthin dan MSdel menghasilkan nilai TPR dan FPR yang sama yaitu 85,1% dan 0% padahal dua citra MS ini memiliki bentuk yang berbeda. Kejadian yang serupa juga terjadi pada citra MSexp dan MSins yang menghasilkan nilai yang sama untuk TPR = 100% dan FPR = 1,7% padahal keduanya juga memiliki bentuk berbeda yang memungkinkan untuk menghasilkan nilai evaluasi yang berbeda.
Contoh di atas menunjukkan kekurangan dari evaluasi pixel-wise untuk mengevaluasi performa algoritma deteksi struktur garis lengkung yaitu menghasilkan evaluasi yang belum cukup objektif selain itu, juga tidak dapat menghasilkan informasi karakteristik struktur dari hasil segmentasi yaitu hasil segmentasi lebih tebal atau tipis dari ground truth. Evaluasi performa lain juga telah digunakan pada citra dengan kontras yang tinggi tetapi tidak dapat menghasilkan informasi karakteristik dari hasil deteksi [6]. Pada metode lainnya, tidak dapat mengevaluasi struktur garis lengkung dengan tebal yang bervariasi [7].
Sistem evaluasi performa struktural algoritma deteksi struktur garis lengkung yang dibangun menggunakan masukan citra GT dan MS dan keluaran berupa dua aspek performa yaitu nilai deteksi (berapa banyak struktur garis lengkung yang dideteksi) dan akurasi deteksi (bagaimana ketepatan dari struktur garis lengkung yang dideteksi dengan ground truth). Sehingga didapatkan hasil evaluasi yang bernilai cukup objektif dan dapat menghasilkan informasi karakteristik dari struktur garis lengkung.
II. METODOLOGI A. Ekstraksi Struktur
Masukan citra GT dan MS dikonstruksi menjadi citra skeleton GTt dan MSt untuk mendapatkan structure point p untuk GTt dan q untuk MSt. Setelah didapatkan structure point p dan q, maka dihitung jarak Euclidean dp dan dq dari masing-masing structure point p dan q ke piksel background-nya yang terdekat. Setelah itu, ditentukan lebar w untuk setiap structure point p dan q dimana w adalah 2d.
B. Pemilihan Kandidat Match
Match adalah himpunan pasangan structure point p dan q. Structural matching adalah match dimana setiap satu structure point p hanya berpasangan dengan satu q, begitupun sebaliknya. Pembentukan matching GTt dan MSt dilakukan dengan memasangkan setiap structure point p dengan q. Tidak setiap pasangan (p,q) adalah kandidat match. Syarat pasangan (p,q) merupakan kandidat match adalah:
Jarak Euclidean antara p dan q tidak terlalu jauh.
Selisih lebar p dan q tidak terlalu besar.
Sebuah pasangan (p,q) adalah kandidat match jika dan hanya jika max max
)
,
(
p
q
d
w
w
w
d
p
q
(1),dimana d(p,q) adalah jarak Euclidean antara p dan q, dmax adalah jarak Euclidean maksimum, wp danwq adalah lebar
structure point p dan q, dan wmax adalah selisih lebar maksimum dari pasangan structure point yang merupakan perkalian dari parameter cw dengan structure point p yang memiliki nilai lebar yang paling besar.
w
pp
GT
t
cw
w
max
max
(2), dimana cw (coefficient width) adalah bobot nilai untuk menetapkan jarak Euclidean dan selisih lebar maksimum dari pasangan kandidat match structure point GTt dan MSt. Parameter cw mempengaruhi jumlah kandidat match optimal yang terpilih. Nilai cw didapatkan melalui tahap uji coba training. Kemudian untuk dmax, maka nilainya sama denganw
max.
C. Penghitungan Cost Kandidat Match
Untuk setiap kandidat match (p,q), p GTt dan q MSt, maka cost yang dibutuhkan adalah
0
,
1
1
)
,
(
1
1
)
,
(
max max
w
w
w
d
q
p
d
q
p
c
p q (3),dimana c(p,q) adalah cost kandidat match. Semakin baik sebuah kandidat match (p,q) maka memiliki jarak Euclidean dan selisih lebar yang kecil, sehingga menghasilkan cost yang kecil juga. Cost minimum adalah 0, yang didapatkan dari kandidat match yang sempurna (perfect match). Berdasarkan cost dari setiap kandidat match yang lolos sebagai structural matching, maka total cost dari structural matching adalah
M q pc
p
q
M
M
C
(
)
( , )(
,
)
0
,
(4), dimana M adalah structural matrching dan C(M) adalah cost total dari structural matrching.D. Penghitungan Optimal Structural Matching
Langkah pertama yang dilakukan untuk mendapatkan optimal structural matching adalah pencarian perfect match (p,q), yaitu pasangan (p,q) yang memiliki cost = 0 di dalam kandidat match. Setelah mendapatkan perfect match, selanjutnya dilakukan pencarian pasangan (p,q) yang masih memenuhi syarat di bawah batas jarak Euclidean dan selisih lebar maksimum serta memenuhi definisi structural matching untuk ditambahkan ke dalam himpunan structural matching yang masih berisi pasangan perfect match. Jumlah dari keduanya disebut dengan optimal structural matching. E. Pengukuran Kualitas Deteksi
Pengukuran kualitas deteksi dilakukan untuk menghasilkan nilai performa dari evaluasi struktural yang terdiri dari dua aspek performa yaitu nilai deteksi dan akurasi deteksi.
1. Nilai Deteksi
Nilai deteksi adalah aspek performa untuk mengetahui berapa banyak struktur garis lengkung yang berhasil terdeteksi
pada proses segmentasi. Pengukuran kualitas deteksi didefinisikan dengan
TP
(5),dimana TP adalah jumlah structure point MSt yang match dengan structure point GTt dan
merupakan optimal structural matching.
p
TP
TPR
(6),dimana TPR adalah bobot keberhasilan dari structure point GTt yang berhasil dideteksi oleh MSt.
q
TP
FP
(7),dimana FP adalah jumlah structure point MSt yang tidak memiliki pasangan pada GTt.
p
FP
FPR
(8),dimana FPR adalah bobot kesalahan MSt dalam mendeteksi structure point dengan p adalah piksel yang bukan structure point p.
q
TP
FN
(9),dimana False negative (FN) adalah jumlah structure point di GTt yang tidak memiliki pasangan di MSt.
p
FN
FNR
(10),dimana False negative rate (FNR) adalah bobot yang mengindikasikan structure point GTt yang hilang dalam proses segmentasi.
2. Akurasi Deteksi
Akurasi deteksi adalah aspek performa untuk mengetahui bagaimana ketepatan dari struktur garis lengkung yang terdeteksi dengan ground truth sehingga didapatkan informasi karakteristik dari hasil segmentasi. Akurasi deteksi ini mengukur kualitas matching berdasarkan nilai detection error (DE).
0
,
1
)
(
TP
C
DE
(11),dimana DE adalah nilai yang mendeteksi kesalahan pada matching MSt dan GTt. Jika nilai DE adalah 0,
mengindikasikan best case untuk matching MSt dan GTt, yang artinya MS mirip dengan GT.
Deteksi kesalahan dapat dipisah menjadi deteksi kesalahan posisi dan lebar struktur.
pqd
p
q
TP
PE
,,
1
(12)Position error (PE) adalah nilai deteksi kesalahan posisi dari pasangan structure point GTt dan MSt. Jika nilai PE adalah 0, maka setiap structure point di MSt berada pada posisi yang sama dengan GTt.
pqw
pw
qTP
WE
,1
(13) Width error (WE) adalah nilai deteksi kesalahan lebar dari pasangan structure point GTt dan MSt. Jika nilai WE adalah 0, maka setiap structure point di MSt memiliki lebar yang sama dengan GTt. Jika WE > 0, maka structure point GTt lebih tebal dari MSt, dan sebaliknya, WE < 0, structure point GT lebih tipis dari MS.Semakin kecil nilai DE, PE, dan WE yaitu mendekati 0 maka semakin tinggi akurasi dari algoritma segmentasi struktur garis lengkung, dengan kata lain hasil segmentasi semakin mirip dengan ground truth.
III. UJI COBA A. Data Uji Coba
Data yang digunakan adalah sebuah citra GT STARE dan empat citra sintetis GT tersebut dengan ukuran 700 x 650 piksel [8]. Kemudian 20 citra firsthand labelling, 10 citra secondhand labelling DRIVE berukuran 565 x 564 piksel [9]. Terakhir, 10 citra hasil segmentasi yang menggunakan data DRIVE.
B. Proses Uji Coba
Uji coba sistem ini dilakukan dengan tiga proses yang berbeda yaitu:
1. Proses uji coba pembuktian kekurangan evaluasi pixel-wise menggunakan sebuah citra GT dan empat citra sintetis STARE.
2. Proses uji coba training menggunakan data DRIVE untuk mendapatkan nilai parameter cw.
3. Proses uji coba testing menggunakan data DRIVE untuk menilai performa algoritma segmentasi struktur garis lengkung dari TA salah satu mahasiswa Teknik Informatika ITS yang berjudul, “Implementasi Segmentasi Pembuluh Darah Retina pada Citra Fundus Mata Menggunakan Tekstur, Thresholding, dan Operasi
Morfologi” [10]. C. Hasil Uji Coba Pembuktian Kekurangan Evaluasi
Pixel-wise
membuktikan kekurangan dari evaluasi pixel-wise pada pengukuran performa algoritma deteksi struktur garis lengkung.
Pada Gambar 2, berdasarkan metode evaluasi pixel-wise diperoleh citra MSthin dan MSdel menghasilkan nilai yang sama untuk TPR = 85,0972% dan FPR = 0%. Citra MSexp menghasilkan nilai TPR = 100% dan TPR MSins = 99,997%, sedangkan untuk nilai FPR pada MSexp dan MSins memiliki nilai yang sama yaitu 1,20708%.
Karena evaluasi pixel-wise belum cukup objektif selain itu tidak dapat menambahkan informasi karakteristik dari MS, maka dilakukan evaluasi struktural dengan hasil yang ditampilkan pada Tabel 1. Evaluasi struktural terdiri dari dua aspek performa yaitu nilai deteksi dan akurasi seteksi. Nilai TPR dan FPR merupakan bagian dari nilai deteksi.
Empat citra sintetis berasal dari sebuah citra GT yang dimodifikasi menjadi empat citra yang berbeda, MSthin adalah citra GT yang dierosi, MSdel adalah citra GT dengan piksel objek bagian tengah yang dihapus, MSexp adalah citra GT yang didilasi pada pembuluh bagian atas. Sedangkan citra MSins adalah citra GT yang ditambahkan sejumlah piksel bukan pembuluh. Berdasarkan kondisi nyata maka karakter struktur pembuluh yang sangat mirip dengan GT adalah MSins sehingga nilai DE yang dihasilkan seharusnya sama dengan 0. Untuk membuktikan hipotesa tersebut maka dilakukan penghitungan akurasi deteksi.
Untuk analisis awal dilakukan pada nilai deteksi yaitu nilai TPR dan FPR. Nilai TPR MSthin dan MSdel adalah 99,6330% dan 77,2972%, nilai FPR 0,005% dan 0,0012%. Berdasarkan nilai TPR, pada MSdel lebih banyak struktur pembuluh yang hilang sehingga mengakibatkan sedikitnya jumlah pasangan structure point MSdel dengan GT yang berakibat jumlah optimal structure point berkurang dan nilai TPR menjadi rendah. Untuk nilai FPR, jika dilakukan pembulatan nilai maka mencapai 0% yang mengindikasikan hampir tidak ada objek bukan pembuluh yang terdeteksi.
Pada MSexp dan MSins diperoleh nilai TPR yang juga berbeda yaitu 99,5019% dan 99,9738%, sedangkan untuk nilai FPR 0,0043% dan 0,0943%. Berdasarkan nilai FPR, pada MSins objek tambahan yang bukan pembuluh menyebabkan perubahan struktur jaringan pembuluh dari MSins, sehingga banyak structure point pada MSins yang tidak memiliki pasangan dengan GT dibandingkan dengan MSexp yang berakibat bertambahnya nilai FPR pada MSins.
Analisis selanjutnya berdasarkan aspek performa akurasi deteksi yaitu dengan nilai DE, PE, dan WE yang dihasilkan oleh keempat citra sintetis. Hasil terbaik diperoleh dari MSins dimana nilai DE adalah 0, yang artinya semua struktur GT memiliki pasangan pada MSins walaupun ada objek bukan pembuluh yang disisipkan, selain itu struktur GT dan MSins tidak memiliki perbedaan posisi dan lebar sehingga nilai PE dan WE menjadi 0. Nilai DE dari MSins membuktikan hipotesa awal sebelum uji coba dilakukan adalah benar, sehingga dapat dibuktikan bahwa evaluasi struktural dapat menghasilkan informasi karakteristik dari hasil deteksi struktur garis lengkung.
(a) Citra MSthin (b) Citra MSdel
(c) Citra MSexp (d) Citra MSins
Gambar 2.Hasil uji coba pembuktian kekurangan evaluasi pixel-wise dengan data STARE
Tabel 1. Hasil penghitungan evaluasi struktural data STARE
Nilai MSthin MSdel MSexp MSins
TPR 99,6330 77,2972 99,5019 99,9738 FPR 0,0050 0,0012 0,0043 0,0943
DE 0,0412 0,0013 0,0325 0
WE 0,0583 0,0019 0,0460 0
PE 0 0 0 0
Untuk MSthin, MSdel, dan MSexp menghasilkan nilai DE yang besar dari 0 yaitu: 0,0412, 0,0013, dan 0,0325 yang mengindikasikan bahwa proses erosi, penghapusan piksel, dan dilasi mengakibatkan kehilangan sejumlah kandidat perfect match dari ketiga MS sintetis tersebut dan digantikan kandidat match lain yang memiliki perbedaan posisi dengan GT. Kesalahan posisi juga dibuktikan dengan nilai WE dari ketiga citra adalah 0 yang artinya semua structure point MS memiliki lebar yang sama dengan GT.
D. Hasil Uji Coba Training
Sistem dijalankan dengan data DRIVE menggunakan variasi nilai cw mulai dari [0,3-0,7]. Performa nilai TPR dan FPR yang baik diperoleh ketika menggunakan nilai cw antara [0,4-0,7] yang ditampilkan pada grafik Gambar 3. Oleh karena itu, dilakukan evaluasi sekali lagi untuk mencari nilai cw yang paling optimal berdasarkan performa DE dan WE, maka nilai 0,5 adalah nilai yang paling bagus. Hasil uji coba ditampilkan pada Tabel 2.
Gambar 3.Grafik pengukuran performa dari variasi nilai cw berdasarkan nilai TPR dan FPR
Tabel 2. Nilai DE dan WE dari variasi nilai cw
Citra Nilai cw 0,4 0,45 0,5 0,55 0,6 0,65 0,7 DE WE DE WE DE WE DE WE DE WE DE WE DE WE 03_GT 0,43 0 0,38 0 0,34 0 0,36 0 0,33 0 0,30 0 0,28 0 07_GT 0,42 0 0,37 0 0,33 0 0,34 0,000124 0,31 0,000124 0,27 0,000124 0,27 0,000124 09_GT 0,39 0 0,35 0 0,31 0 0,31 0,000112 0,29 0,000112 0,26 0,000112 0,25 0,000112 14_GT 0 0 0 0 0,45 0 0,38 0 0,38 0 0,35 0 0,32 0 17_GT 0,41 0 0,37 0 0,33 0 0,31 0 0,31 0 0,28 0 0,26 0 18_GT 0,38 0 0,34 0 0,31 0 0,30 0,000237 0,28 0,000237 0,26 0,000237 0,24 0,000237 19_GT 0,32 0 0,29 0 0,26 0 0,23 0 0,23 0 0,21 0 0,20 0 20_GT 0,40 0 0,40 0 0,32 0 0,32 0 0,29 0 0,27 0 0,25 0 16_GT 0,38 0,000105 0,34 0,000105 0,31 0,000105 0,30 -0,0001 0,30 -0,0001 0,26 -0,0001 0,24 -0,0001 05_GT 0,41 0,000116 0,37 0,000116 0,33 0,000116 0,33 -0,00034 0,31 -0,00034 0,28 -0,00034 0,26 -0,00034
Tabel 3. Hasil evaluasi performa struktural data DRIVE
Citra TP TPR FP FPR FN DE PE WE 12 2453 28,44 702 0,22 6175 0,32 0,46 0 08 3376 39,59 1146 0,36 5152 0,34 0,48 0 06 4033 40,70 698 0,22 5876 0,32 0,45 0,0004 10 4188 46,40 1009 0,31 4837 0,31 0,44 0 13 4819 47,65 1101 0,34 5295 0,31 0,44 0 04 4322 48,86 1241 0,39 4523 0,30 0,43 0 11 5390 52,09 1935 0,61 4958 0,32 0,45 0 15 4464 58,55 1895 0,59 3160 0,43 0,43 0 02 5617 61,04 1624 0,51 3585 0,31 0,44 0,0001 01 5674 61,51 1847 0,58 3550 0,31 0,44 0
E. Hasil Uji Coba Testing
Sistem dijalankan untuk menghasilkan nilai evaluasi performa struktural dari hasil segmentasi algoritma deteksi struktur pembuluh darah retina dari TA salah satu mahasiswa Teknik Informatika ITS yang menggunakan data DRIVE sebagai data uji cobanya.
Tabel 3 menampilkan hasil evaluasi struktural yang meliputi nilai deteksi: TP, TPR, FP, FPR, dan FN; dan akurasi deteksi: DE, PE, dan WE. Dengan menggunakan evaluasi struktural didapatkan keputusan bahwa algoritma segmentasi yang digunakan pada TA tersebut memiliki performa yang rendah berdasarkan nilai TPR tertinggi hanya mencapai 61.51%. Sedangkan untuk akurasi deteksi, hasil segmentasi menghasilkan pembuluh yang memiliki perbedaan posisi struktur dengan GT berdasarkan nilai PE yang besar dari 0.
IV. KESIMPULAN DAN SARAN A. Kesimpulan
Evaluasi performa struktural cukup objektif untuk mengukur performa algoritma deteksi struktur garis lengkung, 0 10 20 30 40 50 60 70 80 90 100 03_GT 05_GT 07_GT 09_GT 14_GT 16_GT 17_GT 18_GT 19_GT 20_GT Tru e Pro si ti ve R a te
False Positive Rate
cw = 0,3 cw = 0,35 cw = 0,4 cw = 0,45 cw = 0,5 cw = 0,55 cw = 0,6 cw = 0,65 cw = 0,7
selain itu dapat menghasilkan informasi karakteristik dari hasil deteksi struktur garis lengkung. Untuk mendapatkan optimal structural matchingi maka nilai threshold (nilai batas) yang paling bagus untuk parameter cw adalah 0,5.
B. Saran
Metode ekstraksi struktur perlu dikembangkan untuk mendapatkan struktur garis lengkung yang lebih baik.
Perlu adanya riset yang lebih mendalam untuk metode penghitungan optimal structural matching untuk mendapatkan nilai evaluasi performa algoritma deteksi struktur garis lengkung yang lebih akurat.
DAFTAR PUSTAKA
[1] Bharkad and Kokare, "Performance evaluation of distance metrics," Pattern Recognation Artificial Intelligent, vol. 25, no. 6, pp. 777-806, 2011.
[2] X. Jiang, M. Lambers, and H. Bunke, "Structural Performance Evaluation of Curvilinear Structure Detection Algorithms," Pattern Recognition Letters, vol. 33, no. 15, pp. 2048-2056, Nov. 2012.
[3] Niemeijer, B. v. Ginnecken, and C. M.J., "Retinopathy online challenge: Automatic detection of microaneurysms in digital color fundus photographs," IEEE Transaction Medical Image, vol. 29, no. 1, p. 185– 195, 2010.
[4] S. U. Lee, S. Y. Chung, and R. H. Park, "A comparative performance study of several global thresholding techniques for segmentation," Computer Vision, Graphics,and Image Processing, no. 52, p. 171–190, 1990.
[5] S. J.A, "Performance evaluation and analysis of monocular building extraction from aerial imagery," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 21, no. 4, p. 311–326, 1999.
[6] B. Fang, X. You, Y. Y. Tang, and W. S. Chen, "Morphological structure reconstruction of retinal vessels in fundus images," International Journal Pattern Recognation Artificial Intelligent, vol. 19, no. 7, p. 937– 948, 2005.
[7] M.Niemeijer, J. J. Staal, B. v. Ginneken, M. Loog, and M. D. Abramoff, "Comparative study of retinal vessel segmentation methods on a new publiclyavailable database," Fitzpatrick, J., Sonka, M. (Eds.), SPIE Medical Imaging, vol. 5370, p. 648–656.
[8] M. D. ,. Michael Goldbaum. (2013, Jan.) STructured Analysis of the Retina. [Online]. http://www.ces.clemson.edu/~ahoover/stare
[9] I. S. Institute. (2013, Nov.) Image Sciences Institute. [Online].
http://www.isi.uu.nl/Research/Databases/DRIVE/ [10] M. R. Kurnia, "Implementasi Segmentasi Pembuluh
Darah Retina pada Citra Fundus Mata Menggunakan Tekstur, Thresholding. dan Operasi Morfologi," Institut Teknologi Sepuluh Nopember Tugas Akhir KI091391, 2012.
