93 BAB 4
PENGUJIAN DAN EVALUASI
4.1 Pengujian
Pengujian tanda tangan dilakukan dengan cara meminta masing – masing user untuk melakukan 60 tanda tangan. Lalu kami akan menyeleksi tanda tangan mereka dengan menggunakan 15 tanda tangan yang berasal dari 1 user yang masing – masing tanda tangan tersebut terdiri dari 10 tanda tangan asli dan 5 tanda tangan palsu lalu kami akan mencoba membuat tiruan tanda tangan mereka sebanyak 5 tanda tangan, sehingga akan terdapat 10 tanda tangan asli, dan 10 tanda tangan palsu (Özgündüz, Emre et al, 2005). Input tanda tangan palsu yang kami gunakan merupakan input tanda tangan yang sulit dibedakan dengan tanda tangan asli jika menggunakan mata manusia, dikarenakan tanda tangan palsu yang kami gunakan memiliki tingkat kemiripan yang cukup tinggi.
Pada bagian input data baru telah tercatat matriks ke 12 data asli dan palsu, yang masing – masing terdiri dari 6 tanda tangan asli dan 6 tanda tangan palsu. Matriks tanda tangan tersebut tersimpan dalam bentuk text file. Lalu kami menggunakan sisanya yaitu 4 tanda tangan asli dan 4 tanda tangan palsu yang berjumlah 8 tanda tangan sebagai data yang akan digunakan untuk diuji, apakah sistem kami berkerja sesuai dengan yang diinginkan.
Setelah menggunakan proses learning yang terdapat pada Input Data Baru maka dimulai pengujian pada bagian pretesting. Pada bagian pretesting ini kami menggunakan cara pengklusteran FCM dengan memasukkan input tanda tangan baru
yang dapat dipanggil dari text file yang telah disimpan sebelumnya.
Kami mencoba menguji tanda tangan dengan menggunakan fitur ekstrak yang berbeda untuk mengecek fitur ekstrak manakah yang terbaik untuk mengekstraksi tanda tangan. Fitur yang pertama menggunakan 26 fitur dengan 24 masking seluas 3 x 3 ditambah dengan width dan height dari tanda tangan, fitur yang kedua menggunakan 34 fitur yang menggunakan masking 24SE seluas 3 x 3 dan 8 arah pixel connection serta width dan height dari tanda tangan fitur, terakhir dengan menggunakan 20 fitur masking dengan 18SE seluas 5 x 5 dan width serta height dari tanda tangan.
Hasil pengujian akan dihitung untuk mendapatkan nilai tingkat kesalahan atau error Rate dan nilai keberhasilan. Berikut rumus menghitung error Rate dan nilai keberhasilan:
Error Rate = (Jumlah tanda tangan yang diuji salah / Jumlah semua tanda tangan)*100%
Nilai Keakuratan = 100% - ((total error Rate data training + total error Rate data uji)/2)
Pengujian ini sendiri menggunakan spesifikasi perangkat keras yang menggunakan proses Intel Core Duo 2.2GHz, Memory DDR2 2GB, Hardisk 160 GB, Kartu Grafis GeForce 8600MGA 256Mb. Sedangkan spesifikasi perangkat lunak yang digunakan adalah Sistem Operasi Microsoft Windows Vista Home Premium dan MATLAB 7.1.0.264 (R14) Service Pack 3.
95
4.1.1 Prosedur Pengujian
Prosedur pengujian yang dilakukan berguna untuk mengetahui bagaimana kinerja sistem yang sebenernya. Untuk memberikan contoh implementasi maka akan diberikan sample beberapa jenis tanda tangan. Langkah – langkah dalam melakukan prosedur pengujian adalah sebagai berikut :
• Pertama kali membuka program ini maka akan tampak menu intro. Hal yang perlu dilakukan adalah dengan mengklik tanda ENTER. Setelah mengklik tanda ENTER.
Gambar 4.1 Menu Intro
terdapat tiga pilihan tombol yaitu, pertama pretesting, tombol input data baru, dan terakhir tombol exit. Karena kita baru menjalan program ini untuk pertama kali, maka untuk memulai learning yang pertama adalah dengan memilih pilihan input data baru.
Gambar 4.2 Menu Index
• Setelah kita masuk ke menu menambah daftar baru akan tampak menu inputan. Pertama – tama kita akan memasukan nama file untuk menyimpan input data yang akan didapat, misalnya nama file tersebut adalah ”input”. Setelah nama file kita masukkan, kita akan dapat memasukkan data tanda tangannya. Di sini kita diharuskan untuk memasukkan 6 ( enam ) tanda tangan asli dan 6 ( enam ) tanda tangan palsu. Yang totalnya 12 ( dua belas
97 ) tanda tangan. Dan menurut ketentuan kami, input pertama harus tanda tangan asli sedang sisanya dimasukkan secara acak. Cara memasukkan image tanda tangannya adalah dengan menekan tombol browse yang akan diterima adalah image tanda tangan yang berbentuk .BMP dan .GIF. Ketika kita telah memasukkan semua image tanda tangan tersebut, maka layar akan tampak seperti contoh.
Gambar 4.3 Menu Input Data Baru
• Setelah kita memasukkan data baru maka selanjutnya dapat menekan process image, setelah itu maka image tanda tangan tersebut akan dilakukan ekstraksi fitur, dimana fitur ekstraksi itu meliputi maksing dan height witdh ratio. Hasil fitur ekstraksi itu merupakan input data untuk fcm. Setelah di proses maka image tersebut akan terlihat seperti gambar.
Gambar 4.4 Setelah Pemoresesan Image
• Setelah image di proses maka selanjutnya kita akan melakukan analis, dengan menekan tombol analyze. Dengan menekan tombol analyze maka kita akan menjalan kan FCM yang pertama. FCM ini berguna untuk validasi, apakah benar ada 6 ( enam ) asli dan 6 ( enam ) tanda tangan palsu.
• Setelah di analyze dan gagal maka kita akan diharuskan untuk kembali mengulang memasukkan data, tetapi jika sukses maka langkah yang selanjutnya maka kita menekan tombol save. Ketika tombol save ditekan maka aplikasi ini akan men – save input data atau hasil ekstraksi fitur tiap image ke dalam file sesuai dengan nama yang kita tentukan diatas.
99
Gambar 4.5 Warning Message Apabila Input Salah
• Sekarang saatnya kita mulai masuk ke bagian pretesting. Pada bagian pretesting ini, dari bagian input data baru setelah data di save, maka kita tekan tombol back to menu. Lalu baru masuk ke bagian pretesting. Bagian pretesting dapat dilihat seperti gambar berikut.
Gambar 4.6 Menu Pretesting
• Pada bagian pretesting ini, kita memasukkan input data yang telah di save, kemudian kita masukkan tanda tangan yang telah di save. Seperti image di bawah ini.
101
Gambar 4.7 Setelah Data Siap
• Lalu tekan proses image. Setelah itu akan tampil image yang akan telah di preprocessing. Kemudian tekan tombol analyze.
Gambar 4.8 Hasil Proses Image Preprocessing
• Setelah tombol analyze ditekan maka aplikasi ini akan mengambil data yang tersimpan pada file. Kemudian data yang tersimpan itu akan dibentuk ke dalam matrix 12 x 26 ( 12 tanda tangan, 26 fitur ). Lalu data tanda tangan yang akan di tes itu akan dimasukkan ke dalam array ke 13. dan dilakukan FCM sekali lagi. Lalu akan terdeteksi apakah tanda tangan itu palsu ataukah asli ketika tanda tangan yang terdapat pada array ke 13 masuk ke bagian kluster yang asli atau palsu. Setelah di tekan analyze maka akan muncul warning dialog seperti pada gambar.
103
Gambar 4.9 Hasil Akhir Pretesting
Setelah program tidak ingin digunakan lagi maka tinggal menekan kembali ke menu, lalu tekan tombol exit.
Evaluasi dilakukan dalam tiga tahapan, yaitu menggunakan tiga rangkain fitur yang berbeda yang dikluster menggunakan FCM dan akan dibandingkan hasilnya mana yang lebih akurat.
4.2.1 Evaluasi pada 20 Fitur
Pada Autentikasi tanda tangan menggunakan 20 fitur kami menggunakan fitur masking 5 x 5 yang berjumlah 18 Structuring elemen, lalu kami juga mencatat fitur height dan witdh-nya. Lalu data tersebut dicatat dan digunakan untuk input ke Fuzzy C – Means. Kami menemukan error sebesar 56.25% atau dengan kata lain tingkat kesuksesan pengenalan tanda tangan sebesar 71.875% dikenali. Angka ini didapat dengan menggunakan rumus nilai keakuratan.
Tabel 4.1 Hasil Pengujian Data Training Pada 20 Fitur User
NIM Tanda Tangan Ke -
Status 20 fitur
1 Palsu Palsu
2 Palsu Palsu
3 Palsu Palsu
4 Palsu Palsu 5 Palsu Palsu
6 Palsu Palsu
8 Asli Asli
0700713152
9 Asli Asli
105
12 Asli Asli
13 Asli Asli
14 Asli Asli
0700713152
17 Asli Asli
Error 0
Error Rate 0 %
User
NIM Tanda Tangan Ke -
Status 20 fitur
1 Asli Asli
2 Asli Asli
3 Asli Asli
4 Asli Asli
7 Asli Asli
13 Asli Asli
8 Palsu Palsu
9 Palsu Palsu
10 Palsu Palsu 15 Palsu Palsu
16 Palsu Palsu .
0800759450
20 Palsu Palsu
Error 0
Error Rate 0 %
NIM Tanda Tangan Ke -
1 Asli Asli
2 Asli Asli
4 Asli Asli
5 Asli Asli
6 Asli Asli
12 Asli Asli
9 Palsu Palsu
13 Palsu Palsu 14 Palsu Palsu 15 Palsu Palsu
16 Palsu Palsu 0800762514
17 Palsu Palsu
Error 0
Error Rate 0 %
User
NIM Tanda Tangan Ke -
Status 20 fitur
1 Asli Asli
2 Asli Asli
3 Asli Asli
0800764122
4 Asli Asli
107
5 Asli Asli
6 Asli Asli
12 Palsu Palsu 13 Palsu Palsu 14 Palsu Palsu 15 Palsu Palsu
16 Palsu Palsu 0800764122
17 Palsu Palsu
Error 0
Error Rate 0 %
Total Error 0 Total Error Rate 0%
Tabel 4.2 Hasil Pengujian Data Uji Dengan 20 Fitur User
NIM Tanda Tangan Ke -
Status 20 fitur
7 Palsu Palsu
10 Palsu Asli 11 Palsu Asli
15 Asli Asli
16 Palsu Asli 18 Asli Palsu 0700713152
0700713152 19 Asli Palsu
Error 6
Error Rate 75%
User
NIM Tanda Tangan Ke -
Status 20 fitur
5 Palsu Asli 6 Asli Palsu 11 Palsu Asli 12 Palsu Asli
14 Asli Asli
17 Asli Asli
18 Asli Asli
0800759450
19 Palsu Asli
Error 5
Error Rate 62,5%
User
NIM Tanda Tangan Ke -
Status 20 fitur
3 Palsu Asli 7 Asli Palsu
8 Asli Asli
10 Asli Palsu 0800762514
11 Palsu Asli
109
18 Palsu Palsu
19 Palsu Palsu
0800762514
20 Asli Palsu
Error 5
Error Rate 62,5%
User
NIM Tanda Tangan Ke -
Status 20 fitur
7 Palsu Asli
8 Asli Asli
9 Asli Asli
10 Asli Asli
11 Asli Asli
18 Palsu Palsu
19 Palsu Palsu
0800764122
20 Palsu Asli
Error 2
Error Rate 25%
Total Error 18 Total Error Rate 56.25%
Nilai Keakuratan 71.875%
Pada Autentikasi tanda tangan menggunakan 26 fitur kami menggunakan fitur masking 3 x 3 yang berjumlah 24 Structuring element, lalu kami juga mencatat fitur height dan witdh-nya. Lalu data tersebut dicatat dan digunakan untuk input ke Fuzzy C – Means. Kami menemukan Error sebesar 28.125% atau dengan kata lain tingkat kesuksesan pengenalan tanda tangan sebesar 85.9375% dikenali. Angka ini didapat dengan menggunakan rumus nilai keakuratan. Keakurasiannya cukup tinggi, dengan menggunakan 24 Structuring Element 3 x 3 dan fitur witdh dan height sehingga menghasilkan hasil yang cukup memuaskan tapi kurang dapat diterima karena belum terlalu aman.
Tabel 4.3 Hasil Pengujian Data Training Pada 26 Fitur User
NIM Tanda Tangan Ke -
Status 26 fitur
1 Palsu Palsu
2 Palsu Palsu
3 Palsu Palsu
4 Palsu Palsu 5 Palsu Palsu
6 Palsu Palsu
8 Asli Asli
9 Asli Asli
12 Asli Asli
0700713152
13 Asli Asli
111
14 Asli Asli
0700713152 17 Asli Asli
Error 0
Error Rate 0 %
User
NIM Tanda Tangan Ke -
Status 26 fitur
1 Asli Asli
2 Asli Asli
3 Asli Asli
4 Asli Asli
7 Asli Asli
13 Asli Asli
8 Palsu Palsu
9 Palsu Palsu
10 Palsu Palsu 15 Palsu Palsu
16 Palsu Palsu .
0800759450
20 Palsu Palsu
Error 0
Error Rate 0 %
NIM Tanda Tangan Ke -
1 Asli Asli
2 Asli Asli
4 Asli Asli
5 Asli Asli
6 Asli Asli
12 Asli Asli
9 Palsu Palsu
13 Palsu Palsu 14 Palsu Palsu 15 Palsu Palsu
16 Palsu Palsu 0800762514
17 Palsu Palsu
Error 0
Error Rate 0 %
User
NIM Tanda Tangan Ke -
Status 26 fitur
1 Asli Asli
2 Asli Asli
3 Asli Asli
0800764122
4 Asli Asli
113
5 Asli Asli
6 Asli Asli
12 Palsu Palsu 13 Palsu Palsu 14 Palsu Palsu 15 Palsu Palsu
16 Palsu Palsu 0800764122
17 Palsu Palsu
Error 0
Error Rate 0 %
Total Error 0
Total Error Rate 0 %
Tabel 4.4 Hasil Pengujian Data Uji Dengan 26 Fitur User
NIM Tanda Tangan Ke -
Status 26 fitur
7 Palsu Palsu
10 Palsu Asli 11 Palsu Asli
15 Asli Asli
16 Palsu Asli
18 Asli Asli
0700713152
19 Asli Palsu
Error 4
Error Rate 50%
User
NIM Tanda Tangan Ke -
Status 26 fitur
5 Palsu Palsu
6 Asli Asli
11 Palsu Asli
12 Palsu Palsu
14 Asli Asli
17 Asli Asli
18 Asli Asli
0800759450
19 Palsu Asli
Error 2
Error Rate 25%
User
NIM Tanda Tangan Ke -
Status 26 fitur
3 Palsu Palsu
7 Asli Asli
8 Asli Palsu
10 Asli Asli
0800762514
11 Palsu Asli
115
18 Palsu Palsu
19 Palsu Palsu
0800762514
20 Asli Asli
Error 2
Error Rate 25%
User
NIM Tanda Tangan Ke -
Status 26 fitur
7 Palsu Asli
8 Asli Asli
9 Asli Asli
10 Asli Asli
11 Asli Asli
18 Palsu Palsu
19 Palsu Palsu
0800764122
20 Palsu Palsu
Error 1
Error Rate 12.5%
Total Error 9 Total Error Rate 28.125%
Nilai Keakuratan 85.9375%
Pada Autentikasi tanda tangan menggunakan 34 fitur kami menggunakan fitur masking 3 x 3 yang berjumlah 24 Structuring element, lalu kami juga mencatat fitur height dan witdh-nya dan ditambah dengan fitur global yaitu pixel connection yang berjumlah 8 buah. Lalu data tersebut dicatat dan digunakan untuk input ke Fuzzy C – Means. Kami menemukan error sebesar 18.75% atau dengan kata lain tingkat kesuksesan pengenalan tanda tangan sebesar 90.625% dikenali. Angka ini didapat dengan menggunakan rumus nilai keakuratan. Pada bagian ini kami mencoba menambahkan fitur Pixel Connection pada 26 fitur diatas untuk meningkatkan keakurasian pengenalan tanda tangan.
Tabel 4.5 Hasil Pengujian Data Training Pada 34 Fitur User
NIM Tanda Tangan Ke -
Status 34 fitur
1 Palsu Palsu
2 Palsu Palsu
3 Palsu Palsu
4 Palsu Palsu 5 Palsu Palsu
6 Palsu Palsu
8 Asli Asli
9 Asli Asli
0700713152
12 Asli Asli
117
13 Asli Asli
14 Asli Asli
0700713152
17 Asli Asli
Error 0
Error Rate 0 %
User
NIM Tanda Tangan Ke -
Status 34 fitur
1 Asli Asli
2 Asli Asli
3 Asli Asli
4 Asli Asli
7 Asli Asli
13 Asli Asli
8 Palsu Palsu
9 Palsu Palsu
10 Palsu Palsu 15 Palsu Palsu
16 Palsu Palsu .
0800759450
20 Palsu Palsu
Error 0
Error Rate 0 %
NIM Tanda Tangan Ke -
1 Asli Asli
2 Asli Asli
4 Asli Asli
5 Asli Asli
6 Asli Asli
12 Asli Asli
9 Palsu Palsu
13 Palsu Palsu 14 Palsu Palsu 15 Palsu Palsu
16 Palsu Palsu 0800762514
17 Palsu Palsu
Error 0
Error Rate 0 %
User
NIM Tanda Tangan Ke -
Status 34 fitur
1 Asli Asli
2 Asli Asli
3 Asli Asli
0800764122
4 Asli Asli
119
5 Asli Asli
6 Asli Asli
12 Palsu Palsu 13 Palsu Palsu 14 Palsu Palsu 15 Palsu Palsu
16 Palsu Palsu 0800764122
17 Palsu Palsu
Error 0
Error Rate 0 %
Total Error 0 Total Error Rate 0%
Tabel 4.6 Hasil Pengujian Data Uji Dengan 34 Fitur User
NIM Tanda Tangan Ke -
Status 34 fitur
7 Palsu Palsu
10 Palsu Palsu 11 Palsu Palsu 15 Asli Palsu
16 Palsu Palsu
18 Asli Asli
0700713152
19 Asli Palsu
Error 2
Error Rate 25%
User
NIM Tanda Tangan Ke -
Status 34 fitur
5 Palsu Palsu
6 Asli Asli
11 Palsu Asli
12 Palsu Palsu
14 Asli Asli
17 Asli Asli
18 Asli Asli
0800759450
19 Palsu Palsu
Error 1
Error Rate 12.5%
User
NIM Tanda Tangan Ke -
Status 34 fitur
3 Palsu Palsu
7 Asli Asli
8 Asli Palsu
10 Asli Asli
0800762514
11 Palsu Asli
121
18 Palsu Palsu
19 Palsu Palsu
0800762514
20 Asli Asli
Error 2
Error Rate 25%
User
NIM Tanda Tangan Ke -
Status 34 fitur
7 Palsu Asli
8 Asli Asli
9 Asli Asli
10 Asli Asli
11 Asli Asli
18 Palsu Palsu
19 Palsu Palsu
0800764122
20 Palsu Palsu
Error 1
Error Rate 12.5%
Total Error 6 Total Error Rate 18.75%
Nilai Keakuratan 90.625%
Dari hasil evaluasi yang telah dilakukan, secara umum FCM dapat mengelompokkan tanda tangan asli dan palsu dengan baik. Hasil kekakurasian yang didapat tergantung dari image, lalu fitur yang digunakan, semakin banyak fitur yang digunakan maka hasil yang diperoleh semakin akurat, disebabkan karena ruang lingkup dipersempit sehingga nilai yang didapat lebih spesifik dan menghasilkan data yang akurat / aman. Tetapi dengan menambahkan fitur maka kemungkinan tanda tangan asli terkenali sebagai palsu akan meningkat cukup tinggi. Diambil dari evaluasi, yang memenuhi tujuan penelitian untuk meningkatkan keamanan dalam bertransaksi maka kami memilih fitur yang memiliki nilai keakuratan paling tinggi, yaitu autentikasi tanda tangan dengan 34 fitur yang memiliki nilai keakuratan 90.625%.
