BAB IV
HASIL DAN PEMBAHASAN
IV.1. Implementasi
Pengujian dalam penelitian ini dilakukan dengan menggunakan MATLAB 2009. Citra mammogram yang digunakan dibagi menjadi tiga kelas, yaitu kelas Normal, Benign dan Malignant yang terdiri dari 207, 63 dan 52 citra. Setiap citra berukuran 1024 x 1024 piksel dan dicrop menjadi 140 x 140 piksel dari pusat daerah abnormal. Citra yang sudah mengalami proses cropping kemudian di-preprocessing dengan histogram equalization dan image adjustment. Selanjutnya, tiap citra didekomposisikan dengan DT CWT menjadi level 1 (140 x 140 piksel), level 2 (7 x 70 piksel), level 3 (35 x 35 piksel) dan level 4 (18 x 18 piksel).
Gambar 4.1 Citra Sampel untuk Kelas Normal (Baris atas menunjukkan citra yang belum dipreprocessing, sedangkan baris bawah menunjukkan
Gambar 4.2 Citra Sampel untuk kelas Benign (Baris atas menunjukkan citra yang belum dipreprocessing, sedangkan baris bawah menunjukkan citra
sudah di preprocessing).
Gambar 4.3 Citra Sampel untuk Kelas Malignant (Baris atas menunjukkan citra yang belum dipreprocessing, sedangkan baris bawah menunjukkan
citra sudah di preprocessing).
Untuk melakukan proses reduksi dengan menggunakan metode NMF, perlu adanya suatu variable k yang menandakan rank, nilai inisialisasi serta jumlah iterasi yang perlu dilakukan agar mendapat hasil yang maksimal. Saat ini belum ada ketentuan pasti atau nilai pasti yang dapat digunakan untuk nilai k, inisialisasi maupun jumlah iterasi.
Dalam menerapkan NMF, proses inisialisasi awal merupakan langkah yang penting karena dengan inisialisasi yang sesuai dapat mempercepat proses konvergensi dan reduksi kesalahan (error reduction).
Penelitian ini menggunakan inisialisasi random standar. Penelitan pada buku Text Mining : Application and Theory (Berry & Kogan, 2010) yang membandingkan beberapa metode inisialisasi NMF diantaranya random
initialization, NNDSVD, Infogain, Gainratio dan SVD pada klasifikasi email memudahkan penulis untuk menetapkan jumlah iterasi pada tahap inisialisasi. Hasil inisialisasi yang dipaparkan pada penelitian tersebut menunjukkan bahwa jika initalisasi random menggunakan jumlah iterasi = 5, metode ini menghasilkan
error yang besar dibandingkan dengan metode-metode lainnya, tetapi jika
menggunakan jumlah iterasi = 30, kinerja metode random ini memberikan hasil yang sama baiknya dengan metode-metode lainnya. Karena penulis menggunakan metode inisialisasi random, maka penulis menggunakan jumlah iterasi = 30 pada tahap inisialisasi berdasarkan penelitian yang sudah dilakukan penulis sebelumnya.
Pada tahap iterasi selanjutnya setelah tahap inisialisasi, penulis menggunakan maksimal jumlah iterasi = 5000 dengan batas error 1e-2. Pengujian dilakukan dengan menggunakan k = 10 sampai dengan k = 80 pada tiap level DT CWT.
IV.2. Hasil Pengujian
Pengujian sistem retrieval dilakukan pada 2 jenis basis data, yaitu basis data A (citra yang tidak preprocessing) dan basis data B (citra yang sudah di-preprocessing). Pada tiap basis data, 10 citra diambil untuk pengujian, sedangkan sisanya digunakan untuk proses training.
Untuk mengetahui bahwa proses retrival yang dilakukan sudah benar, maka penulis melakukan validasi dengan mengambil masing-masing 20 citra dari kelas Benign dan Malignant secara acak sehingga total citra yang digunakan adalah 40 citra. Semua citra tersebut digunakan sebagai training set dan test set.
Pada saat retrival, citra kueri yang digunakan diambil dari training set, sehingga hasil retrival yang seharusnya terjadi adalah citra hasil retrieve dengan kemiripan tertinggi adalah citra kueri itu sendiri. Pengujian dilakukan dengan mengambil 10 citra dari training set sebagai kueri dan menampilkan 10 citra retrival dari nilai kemiripan yang paling tinggi. Hasil retrivalnya dapat dilihat pada gambar 4.4 dan gambar 4.5.
Gambar 4.4 Hasil Retrival Citra Benign.
Tabel 4.1 Nilai Precision Hasil Retrival Citra Benign dan Malignant. Test
Benign Malignant Citra yang relevan Precision Citra yang relevan Precision
1 7 0,7 6 0,6 2 7 0,7 7 0,7 3 8 0,8 5 0,5 4 5 0,5 7 0,7 5 5 0,5 6 0,6 6 6 0,6 5 0,5 7 5 0,5 5 0,5 8 6 0,6 6 0,6 9 8 0,8 5 0,5 10 8 0,8 6 0,6 Rata-rata 0,65 0,52
Berdasarkan hasil pengujian validasi, dapat dilihat bahwa citra retrival pertama adalah citra kueri itu sendiri dan dapat menghasilkan nilai precision rata-rata antara 52% sampai 65% untuk kelas Benign dan Malignant.
Dari hasil validasi yang telah dilakukan, menunjukkan bahwa sistem retrival yang dilakukan sudah benar, maka penulis melakukan pengujian untuk 2 jenis basis data yang sudah dijelaskan sebelumnya, yaitu basis data A dan basis data B. Citra yang akan digunakan untuk pengujian diambil dari masing-masing kelas (normal, benign dan malignant) sebanyak 10 citra, sisanya digunakan untuk proses training. Hasil retrival yang diambil adalah 10 citra dengan tingkat
kemiripan dari yang paling tinggi. Hasil retrival untuk citra pada basis data A ditampilkan pada gambar 4.6 sampai gambar 4.8.
Gambar 4.6 Hasil retrival untuk Kasus Normal (Level 3, k = 80).
Gambar 4.8 Hasil retrival untuk Kasus Malignant (Level 2, k = 10).
Hasil retrival untuk citra pada basis data B ditampilkan pada gambar 4.9 sampai dengan gambar 4.11.
Gambar 4.10 Hasil retrival untuk Kasus Benign (Level 1, k = 10).
Gambar 4.11 Hasil retrival untuk Kasus Malignant (Level 2, k = 10).
Perbandingan nilai rata-rata precision antara hasil retrival pada citra basis data A dan hasil retrival pada citra basis data B ditampilkan pada tabel 4.2 dan gambar 4.12.
Tabel 4.2 Perbandingan Nilai Rata-rata Precision Hasil Retrival pada Kasus Normal (Level 1 DT CWT).
Kasus Level Nilai k
Nilai Precision rata-rata Tidak preprocessing Preprocessing
Normal 1 10 0,68 0,88 20 0,66 0,88 30 0,65 0,88 40 0,66 0,87 50 0,66 0,78 60 0,68 0,84 70 0,69 0,83 80 0,68 0,85
Gambar 4.12 Grafik Perbandingan Nilai Precision pada Kasus Normal (Level 1). 0 0.2 0.4 0.6 0.8 1 10 20 30 40 50 60 70 80 Average Pr ecisi o n Rank
Normal
No Preprocessing PreprocessingTabel 4.3 Perbandingan Nilai Rata-rata Precision Hasil Retrival pada Kasus Benign (Level 1 DT CWT).
Kasus Level Nilai k
Nilai Precision rata-rata Tidak preprocessing Preprocessing
Benign 1 10 0,53 0,57 20 0,53 0,54 30 0,53 0,56 40 0,53 0,54 50 0,52 0,54 60 0,53 0,58 70 0,53 0,56 80 0,52 0,57
Gambar 4.13 Grafik Perbandingan Nilai Precision pada Kasus Benign (Level 1). 0 0.2 0.4 0.6 0.8 1 10 20 30 40 50 60 70 80 Average Pr ec isio n Rank
Benign
No Preprocessing PreprocessingTabel 4.4 Perbandingan Nilai Rata-rata Precision Hasil Retrival pada Kasus Malignant (Level 1 DT CWT).
Kasus Level Nilai k
Nilai Precision rata-rata Tidak preprocessing Preprocessing
Malignant 1 10 0,42 0,46 20 0,42 0,45 30 0,42 0,45 40 0,42 0,46 50 0,41 0,45 60 0,42 0,45 70 0,42 0,45 80 0,43 0,46
Gambar 4.14 Grafik Perbandingan Nilai Precision pada Kasus Malignant (Level 1).
Berdasarkan hasil pengujian yang telah dilakukan pada basis data A dan basis data B, performa pada basis data B lebih baik daripada basis data A, yang
0 0.2 0.4 0.6 0.8 1 10 20 30 40 50 60 70 80 Average Pr ec isio n Rank
Malignant
No Preprocessing Preprocessingartinya sistem retrival dengan citra yang sudah di-preprocessing akan memberikan hasil retrival yang lebih akurat.
Oleh karena itu, penulis melakukan uji coba lebih lanjut dengan menggunakan basis data B. Pengujian dilakukan pada setiap level DT CWT, yaitu level 1, 2, 3 dan 4. Citra pada setiap level diuji dari nilai rank k = 10 sampai dengan nilai k = 80.
Tabel 4.5 Nilai Precision Rata-rata Tertinggi pada Tiap Level DT CWT.
DT CWT
Kelas
Normal Benign Malignant
Level 1 88% 58% 46%
Level 2 89% 64% 47%
Level 3 83% 59% 49%
Level 4 88% 60% 47%
Gambar 4.15 Nilai Precision pada Kasus Normal dengan Berbagai Nilai Rank. 0 0.2 0.4 0.6 0.8 1 10 20 30 40 50 60 70 80 Average Prec isio n Rank
Normal
Level 1 Level 2 Level 3 Level 4Gambar 4.16 Nilai Precision pada Kasus Benign dengan Berbagai Nilai Rank.
Gambar 4.17 Nilai Precision pada Kasus Malignant dengan Berbagai Nilai Rank. 0 0.2 0.4 0.6 0.8 10 20 30 40 50 60 70 80 Average Pr ecisi o n Rank
Benign
Level 1 Level 2 Level 3 Level 4 0 0.1 0.2 0.3 0.4 0.5 0.6 10 20 30 40 50 60 70 80 Average Pr ecisi o n RankMalignant
Level 1 Level 2 Level 3 Level 4Gambar 4.18 Nilai Precision pada Citra Level 1 dengan Berbagai Nilai Rank.
Gambar 4.19 Nilai Precision pada Citra Level 2 dengan Berbagai Nilai Rank. 0 0.2 0.4 0.6 0.8 1 10 20 30 40 50 60 70 80 Av erage Prec isio n
Level 1 DT CWT
Normal Benign Malignant Rank 0 0.2 0.4 0.6 0.8 1 10 20 30 40 50 60 70 80 Av erage Prec is io nLevel 2 DT CWT
Normal Benign Malignant RankGambar 4.20 Nilai Precision pada Citra Level 3 dengan Berbagai Nilai Rank.
Gambar 4.21 Nilai Precision pada Citra Level 4 dengan Berbagai Nilai Rank.
Dari hasil pengujian yang telah dipaparkan pada gambar 4.15 sampai gambar 4.17, performa retrival terbaik untuk kelas normal terletak pada level 2 DT CWT yang mampu mencapai nilai precision tertinggi (gambar 4.15). Pada
0 0.2 0.4 0.6 0.8 1 10 20 30 40 50 60 70 80 Av erage Prec isio n
Level 3 DT CWT
Normal Benign Malignant Rank 0 0.2 0.4 0.6 0.8 1 10 20 30 40 50 60 70 80 Av erage Prec is io nLevel 4 DT CWT
Normal Benign Malignant Rankgambar 4.16, performa terbaik untuk kelas Benign terletak pada level 2. Sedangkan pada gambar 4.17, performa retrival terbaik terletak pada level 3. Seperti yang telah dijelaskan pada bab sebelumnya, proses retrival pada tahap pertama meretrif citra berdasarkan normal dan abnormal, sehingga dari hasil retrival pada gambar 4.15, retrival pada citra level 2 menjadi pilihan terbaik. Dan untuk tahap kedua, yaitu meretrif citra berdasarkan benign dan malignant, retrival pada citra level 2 menjadi pilihan yang terbaik karena retrival citra benign pada level 2 memberikan hasil yang paling baik, sedangkan retrival citra malignant pada level 2 juga memberikan hasil yang baik.
Penentuan nilai rank yang terbaik dapat dilihat pada gambar 4.19. Untuk retrival tahap pertama, nilai rank k yang dipilih adalah k = 80, sedangkan untuk retrival tahap kedua, nilai rank k yang dipilih adalah k = 40. Seluruh hasil pengujian dapat dilihat secara lengkap di bagian Lampiran.
Retrival mammogram pada penelitian yang dilakukan penulis sebelumnya menggunakan fitur tekstur dengan teknik gabor filtering (Wei, Li, & Li, 2007). Data yang dipakai dalam penelitian berjumlah 750 citra berukuran 200x200 piksel yang di-crop sesuai dengan ROI (Region of Interest). Retrival yang dilakukan berdasarkan dua kelas, yaitu berdasarkan microcalcification dan macrocalcification. Sistem retrival ini menerapkan strategi adaptive dengan adanya relevance feedback dari user. Hasil retrival dengan strategi tersebut menunjukkan bahwa semakin banyak iterasi yang dilakukan, hasil retrival semakin bagus. Dengan teknik Gabor filtering, nilai rata-rata precision tertinggi kurang dari 85% sedangkan dengan teknik gray level cooccurence matrices menghasilkan nilai rata-rata precision tertinggi 65%. Jika tidak menggunakan
relevance feedback, nilai rata-rata precision untuk teknik gabor filtering adalah kira-kira 52% dan kira-kira 35% untuk teknik GLCM. Hasil retrival dapat dilihat pada gambar 4.22.
Gambar 4.22 Perbandingan performa nilai rata-rata precision melalui 10 iterasi relevance feedback.
Sumber : (Wei, Li, & Li, 2007)
Sedangkan penelitian sebelumnya yang menggunakan teknik GLCM (Wei, Li, & Wilson, 2005) dengan meretrif citra berdasarkan 6 kelas abnormalitas (calcification, circumscribed masses, speculated masses, architectural distortion,
asymmetry, ill-defined masses) dari data MIAS menghasilkan nilai precision
tertinggi 51%.
Tabel 4.6 Perbandingan sistem retrival dengan penelitian sebelumnya
NMF & DTCWT GLCM
Nilai rata-rata precision 89%
(dengan 3 kelas)
51% (dengan 6 kelas)
Dengan melihat hasil penelitian sebelumnya, retrival mammogram dengan menggunakan teknik NMF dan DTCWT tidak menghasilkan akurasi yang lebih jelek dibandingkan penelitian sebelumnya walaupun kelas retrival yang dilakukan
Dengan melihat hasil retrival dengan teknik NMF dan DT CWT menghasilkan nilai retrival yang baik, maka penulis melakukan pengujian dengan menggunakan data mammogram dari Rumah Sakit Kanker Dharmais di Jakarta. Data mammogram yang digunakan terdiri dari 2 kelas, yaitu kelas normal (15 citra) dan abnormal (30 citra). Data untuk test diambil dari masing-masing kelas sebanyak 2 citra, sisanya digunakan untuk data training. Retrival dilakukan pada level 4 DT CWT karena data mammogram dari RSK Dharmais lebih besar (760 x 1120 piksel). Hasil retrival ditunjukkan pada gambar 4.23 dan 4.24. Nilai precision tertinggi yang dihasilkan dari 2 test citra adalah 80% untuk kedua kelas tersebut. Nilai precision yang dihasilkan ini menunjukkan hasil yang lebih rendah dibandingkan dengan memakai data MIAS, hal ini dikarenakan proses cropping pada data RSK Dharmais tidak berdasarkan radius dari pusat kanker disebabkan tidak adanya informasi mengenai pusat kanker pada metadatanya.
Gambar 4.23 Hasil Retrival dengan Citra Kuery Normal.
