50
BAB 4
IMPLEMENTASI DAN EVALUASI
4.1 Spesifikasi Sistem
Sistem aplikasi yang kami kembangkan adalah sistem pengklasifikasian jenis kanker payudara apakah tergolong normal atau abnormal (benign atau malignant) berdasarkan query mammogram image yang dimasukkan.
Aplikasi ini kami buat menggunakan Microsoft Visual C# 2010 Express Edition (Version 10.0.30319.1 RTMRel), Microsoft .NET Framework Version 4.0.30319 RTMRel dengan pertimbangan:
1. Banyak framework yang sudah disediakan berbasiskan C#. Contohnya adalah EMGU CV yang kami pakai dalam membuat aplikasi ini
2. C# menggunakan bahasa OOP yang robust sehingga dapat mempermudah programmer dalam pembuatan sistem skala kecil, menengah maupun besar
3. Menurut survey yang dilakukan oleh TIOBE Programming Community, C#
merupakan bahasa pemrograman nomor 3 terpopuler di dunia. Hal ini akan mempermudah kami mencari tutorial maupun snippet. (Sumber:
http://www.tiobe.com/index.php/content/paperinfo/tpci/index.html)
4. C# dicompile ke dalam intermediate language (CIL) sehingga bisa berjalan di semua arsitektur komputer dan sistem operasi
5. Program berjalan lebih cepat dan efisien di dalam Windows karena menggunakan .NET Framework
51
Untuk dapat melalukan implementasi sistem secara optimum, maka dibutuhkan spesifikasi sistem software ataupun hardware yang memadai.
Recommended Requirement:
• Processor : 3.0GHz
• Memory : 2 GB
• Harddisk : 2 GB
• OS : Windows XP / Windows 7
4.2. Prosedur Operasional
Aplikasi ini terdiri dari MDI halaman utama yang berisi dua menu utama, yaitu File dan Forms. Dengan otomatis, saat pertama kali dibuka, program akan mengecek ada atau tidaknya data SVM dan me-loadnya bila ditemukan.
Gambar 4.2 MDI utama
52
4.2.1. Menu File
Di dalam menu file, terdapat 4 macam submenu yaitu Load Image, Load SVM, Save SVM, dan Exit.
Gambar 4.2.1 Menu File
4.2.1.1. Load Image
Di dalam submenu ini, kita dapat membuka file yang kita inginkan. File yang
dapat kita buka, hanya mempunyai 2 tipe extensi file, yaitu .pgm (Portable Gray Map)
dan .mamm (Mammogram Image). Perbedaannya yaitu : file berextensi .pgm merupakan
file image yang masih murni dari data MIAS, sedangkan file berextensi .mamm
merupakan file image dari mammogram yang telah diedit (diflip, dihilangkan labelnya,
dan telah diatur ROI-nya). Jika image berhasil diload, maka akan muncul pesan berhasil.
53
Gambar 4.2.1.1a Load image
Gambar 4.2.1.1b Pesan berhasil
54
4.2.1.2. Load SVM
Program yang kami buat akan otomatis me-load SVM saat dijalankan apabila file SVM tersedia di dalam directory SVM. Dialog box akan muncul apabila user mencoba me-load SVM lain.
Gambar 4.2.1.2 Dialog box warning saat load SVM 4.2.1.3. Save SVM
Fungsi Save SVM akan menyimpan SVM yang sudah ditraining kedalam file.
Apabila file SVM lain sudah tersimpan sebelumnya, maka ada dialog box konfirmasi seperti gambar di bawah ini, gunanya untuk memastikan agar tidak terjadi kesalahan dari user.
Gambar 4.2.1.3 Dialog box warning saat save SVM
4.2.1.4. Exit
Untuk keluar dari program (bisa juga dengan menekan shorcut ALT + F4).
55
4.2.2. Menu Forms
Di dalam menu forms, terdapat 2 macam submenu form, yaitu Classifier dan Training.
Gambar 4.2.2 Menu form
4.2.2.1. Classifier
Gambar 4.2.2.1a Tampilan menu Classifier
56
Di dalam form Classifier ini, kita dapat juga melakukan fungsi meload image seperti fungsi pada menu bar file, Load Image. Setelah gambar diload, maka akan muncul list image yang dipilih di kolom sebelah kiri.
Gambar 4.2.2.1b Tampilan setelah load gambar
Jika kita memilih salah satu image, maka akan muncul keterangan dari image yang kita pilih tersebut (lihat pada bagian MIAS info).
Gambar 4.2.2.1c Tampilan setelah memilih salah satu image
57
Kita dapat menghilangkan label pada gambar mammogram dengan menekan button remove label. Kita juga dapat meningkatkan tingkat erosi maupun dilasi dari proses penghilangan label tersebut dengan menyesuaikan parameter yang disediakan, Selain itu kita juga dapat melakukan flip image yang akan kita training maupun image yang akan kita uji sehingga semuanya menghadap posisi yang sama.
Gambar 4.2.2.1d Tampilan setelah image di-flip dandi-remove label
Jika kita mengklik pada gambar, maka akan muncul sebuah kotak untuk
menentukan ROI serta hasil gambar yang telah di-enhanced.
58
Gambar 4.2.2.1e Tampilan setelah memilih ROI
Setelah kita memilih ROI, maka kita dapat memilih button get features untuk mendapatkan fitur yang terdapat pada ROI tersebut.
Gambar 4.2.2.1f Tampilan setelah memilih button Get Features
Tombol Classify berfungsi untuk mengklasifikasi ROI yang dipilih, hanya dapat
dilakukan apabila SVM sudah ditraining.
59
Gambar 4.2.2.1g Tampilan setelah memilih Button Classify
Tombol save changes untuk menyimpan informasi gambar yang telah diubah oleh user, sedangkan cancel untuk membatalkan perubahan yang dilakukan.
4.2.2.2. Training
Di dalam form training ini, user dapat menentukan image mana saja yang mau
ditraining ke dalam SVM.
60
Gambar 4.2.2.2 Tampilan form Training
Lalu tombol Train berfungsi untuk melakukan training image–image tersebut ke dalam SVM dengan input feature dari GLCM dan output berdasarkan info dari MIAS.
Status training dapat dilihat pada label yang bertuliskan “Status : “.
Tombol Clear SVM digunakan untuk membersihkan data training yang sudah ada pada SVM. Hal ini dilakukan agar user dapat melakukan training dari awal.
4.3 Evaluasi Hasil Percobaan
Data MIAS yang kami uji terdiri dari 60 mammogram image dengan ekstensi
*.mamm terbagi menjadi 37 image normal, 13 image dengan tingkat severitas
malignant, dan 10 image dengan tingkat severitas benign. Dari keseluruhan sample ini,
kami membaginya menjadi 36 training sample dan 24 testing sample.
61
4.3.1 Training
Mammogram MIAS Information SVM Classification
Calcification Severity Calcification Severity
mdb201 negative negative
mdb202 negative negative
mdb203 negative negative
mdb204 negative negative
mdb205 negative negative
mdb206 negative negative
mdb207 negative negative
mdb208 negative negative
mdb209 positive malignant positive malignant
mdb210 negative negative
mdb211 positive malignant positive malignant
mdb212 negative negative
mdb213 positive malignant positive malignant
mdb214 negative negative
mdb215 negative negative
mdb216 positive malignant positive malignant
mdb217 negative negative
mdb218 positive benign positive benign
mdb219 positive benign positive benign
mdb220 negative negative
mdb221 negative negative
mdb222 positive benign positive benign
mdb223 positive benign positive benign
mdb224 negative negative
mdb225 negative negative
mdb226 positive benign positive benign
mdb227 positive benign positive benign
mdb228 negative negative
mdb229 negative negative
mdb230 negative negative
mdb231 positive malignant positive malignant
mdb232 negative negative
mdb233 positive malignant positive malignant
mdb234 negative negative
mdb235 negative negative
mdb238 positive malignant positive malignant
Terdapat calcification (text berwarna merah malignant, berwarna hijau benign) Tidak terdapat calcification
Tabel 4.3.1 Cuplikan data MIAS yang dipakai
62
Detail dari training samplenya yaitu :
• Training sample : 36 images
• Training positive calcification : 13 images
• Training negative calcification : 23 images
• Training calcification malignant : 7 images
• Training calcification benign : 6 images
4.3.2 Testing
Gambar hasil testing ada di bawah ini.
Gambar 4.3.2a Diagnosis normal (calcification: negative)
63
Gambar 4.3.2b Diagnosis abnormal dengan tingkat severitas malignant
Gambar 4.3.2c Diagnosis abnormal dengan tingkat severitas benign
64
Gambar 4.3.2d Salah satu jenis kesalahan diagnosis (Tingkat severitas yang sebenarnya adalah malignant namun hasil diagnosis menyatakan benign)
Gambar 4.3.2e Salah satu jenis kesalahan dalam mendiagnosis abnormalitas.
Seharusnya tingkat calcification adalah negative tapi hasil diagnosis menyatakan
positive dengan tingkat severitas malignant.
65
Gambar 4.3.2f Salah satu jenis kesalahan dalam diagnosis yaitu false negative.
66
Data hasil testing gambar mammogram untuk 24 sample
Mammogram MIAS Information SVM Classification
Calcification Severity Calcification Severity mdb236 positive benign positive benign
mdb237 negative negative
mdb239 positive malignant positive malignant
mdb240 positive benign positive benign mdb241 positive malignant positive benign
mdb242 negative negative
mdb243 negative negative
mdb244 negative positive malignant
mdb245 positive malignant positive malignant
mdb246 negative negative
mdb247 negative negative
mdb248 positive benign positive benign mdb249 positive malignant positive malignant
mdb250 negative negative
mdb251 negative negative
mdb252 positive benign negative
mdb253 positive malignant positive malignant
mdb254 negative negative
mdb255 negative negative
mdb256 positive malignant negative
mdb257 negative negative
mdb258 negative negative
mdb259 negative negative
mdb260 negative negative
Tabel 4.3.2 Hasil Testing Detail dari testing sample:
• Testing sample : 24 images
• True positives : 8 images
• True negatives : 13 images
• False positives : 1 image
• False negatives : 2 images
• True Benign : 3 images
• True Malignant : 4 images
• False Benign : 1 image
• False Malignant : 1 images
67
Dari data testing tersebut maka kami mendapat prosentase keberhasilan untuk mendeteksi kanker ini berdasarkan microcalcification adalah:
• Prosentase keberhasilan pendeteksian keabnormalitasan =
=
= 87.5%
Sedangkan prosentase keberhasilan untuk menentukan tingkat severitas berdasarkan calcificationnya adalah:
• Prosentase keberhasilan penentuan tingkat severitas =
=
= 87.5%
• Sensitivity atau true positive rate (TPR) =
=
= 80%
• False positive rate (FPR) =
=
= 7.14%
68
• Accuracy (ACC) =
=
= 87.5%
• Specificity (SPC) atau true negative rate (TNR) =
=
= 92.86%
• Presisi atau positive predictive value (PPV) =
=
= 88.89%
• Negative predictive value (NPV) =
=
= 86.67%
• False discovery rate (FDR) =
=
= 11.11%
69
