IMPLEMENTASI DAN EVALUASI
Dalam bab ini dilakukan penelitian yang sebenarnya dengan membuat account baru dan melakukan pelatihan data – data dengan menggunakan jaringan syaraf tiruan pada program Microsoft Visual Basic. Penelitian dilakukan dengan mencatat perubahan dan hasil yang dicapai oleh pelatihan tersebut. Setelah proses pelatihan selesai maka akan dilakukan proses pengujian pengenalan suara.
4.1 Implementasi Pelatihan Jaringan Syaraf Tiruan
Hal yang pertama kali dilakukan dalam pengujian program sistem pengenalan suara adalah membuat data sampel suara yang akan dibandingkan. Program sistem pengenalan suara ini memiliki tombol untuk menjalankan simulator login maupun control panel, seperti yang terlihat pada gambar 4.1.
Gambar 4.1 Tampilan Program Awal
Data sampel dibuat dengan melakukan pendaftaran suara. Proses pendaftaran suara dilakukan untuk memberikan informasi pengguna maupun
template suara yang akan dijadikan acuan pada proses login. Untuk melakukan
proses tersebut, pengguna dapat memasuki control panel dan menkan tombol add pada Account Management untuk memunculkan form add user.
Gambar 4.2 Admin control panel
Gambar 4.3 Tampilan pendaftaran suara
Dengan menekan tombol record maka sistem akan memeriksa validitas ID yang dimasukkan. Pemeriksaan keberadaan ID dalam basis data berkaitan dengan
batasan program untuk menerima maksimum lima pengguna dengan maksimum lima data suara. Penolakan diberikan oleh sistem jika pengguna memasukkan ID baru yang dimana sudah terdapat lima ID yang berbeda dalam basis data atau telah terdapat lima template untuk ID yang dimasukkan. Jika ID yang dinyatakan valid maka sistem akan memberikan konfirmasi berupa kotak dialog untuk mempersiapkan proses perekaman suara.
Gambar 4.4 Kotak Dialog Konfirmasi Persiapan Perekaman
Konfirmasi persiapan proses perekaman ditujukan untuk memberikan kesempatan kepada pengguna agar mempersiapkan proses perekaman dengan baik, sehingga hasil yang diperoleh dapat sesuai dengan harapan. Dengan menekan tombol OK, maka proses perekaman akan dilakukan. Setelah perekaman suara selesai dilakukan, sistem akan memberikan kotak konfirmasi untuk mendegarkan suara yang telah direkam.
Pemutaran perekaman suara dilakukan untuk memberi kesempatan kepada pengguna dalam mengevaluasi rekaman suaranya untuk mengetahui apakah perlu dilakukan perekaman ulang atau tidak. Hasil perekaman yang dinilai kurang baik dapat diabaikan dengan melakukan proses perekaman ulang untuk mendapatkan rekaman yang lebih baik. Pengguna dapat memilih tombol YES untuk perekaman ulang pada kotak konfirmasi pengulangan proses perekaman.
Gambar 4.6 Kotak Konfirmasi Pengulangan Proses Perekaman
Jika pengguna menekan tombol NO pada kotak konfirmasi pengulangan proses perekaman, sistem akan melakukan proses ekstraksi fitur dan menyimpannya dalam basis data. Setelah proses transformasi selesai dilakukan, sistem secara otomatis akan menutup form add user dan kembali ke control panel. Proses perekaman suara untuk pelatihan jaringan backpropagation dilakukan dengan membuat dua ID dengan masing – masing lima data sampel suara. Jumlah epoh dalam pelatihan jaringan syaraf tiruan ini akan dipengaruhi oleh MSE, dimana jumlah epoh akan didapat setelah MSE memenuhi target. Untuk pembuatan account baru, operation mode yang digunakan adalah learning dan bobot yang digunakan adalah bobot yang baru, sedangkan akurasi yang digunakan pada pelatihan dapat diatur dari 70% sampai dengan 99%.
Gambar 4.7 Hasil proses pelatihan
4.2 Implementasi Pengujian Jaringan Syaraf Tiruan
Pengujian akan dilakukan dalam proses login. Proses login digunakan pada saat pengguna hendak memasuki sistem. Dalam proses tersebut, sistem memeriksa keabsahan informasi yang diberikan pengguna. Sebuah ID dan suara pengguna diperlukan dalam pengujian ini. Jika ID dinyatakan valid, maka sistem meminta pengguna untuk memberikan suaranya dalam proses perekaman. Hasil yang didapat dari perekaman suara pengguna akan digunakan sebagai input jaringan syaraf tiruan untuk pengenalan pola. Hasil output JST akan dibandingkan dengan target basis data sesuai dengan ID yang dimasukkan. Pola dianggap sesuai jika seluruh hasil output memiliki perbedaan lebih kecil dari ( 100 – tingkat akurasi )% terhadap target, sedangkan jika perbedaan output terhadap target lebih besar dari ( 100 – tingkat akurasi )%, maka sistem akan menyimpulkan bahwa
suara yang diberikan pada proses login bukan merupakan suara pengguna sebenarnya dari pemilik ID. Secara umum, hasil yang dicapai dari proses login adalah penerimaan atau penolakan terhadap pengguna yang melakukan vrifikasi.
Pengujian terhadap sistem pengenalan suara ini akan dilakukan dengan dua akurasi yang berbeda, yaitu 80% dan 90%. Penggunaan akurasi yang berbeda ditujukan untuk mencari hasil pengenalan suara mana yang akan lebih akurat dan untuk mencari akurasi mana yang lebih baik untuk menghindari pengenalan suara yang tidak sesuai dengan data account.
Gambar 4.8 Sampel Suara pada data account
Gambar 4.9 Entropi Sampel Suara
Hasil pengujian dari 10 kali masukan suara dengan menggunakan akurasi 80% adalah sebagai berikut :
Tabel 4.1 Perbandingan antara input suara yang sesuai dengan data account
No. Tes Desired
Level Hasil Neural Network Difference Hasil 1 0 1 1 0.0066078 0.9998563 0.8207111 0.0066078 0.0001437 0.1792889 Identified 2 0 1 1 0.0064398 0.9997985 0.8551127 0.0064398 0.0002015 0.1448873 Identified 3 0 1 1 0.0002879 0.9141651 0.9967608 0.0002879 0.0858349 0.0032392 Identified 4 0 1 1 0.0006867 0.7850828 0.9976181 0.0006867 0.2149172 0.0023819 Unidentified 5 0 1 1 0.0057213 0.999762 0.8421501 0.0057213 0.000238 0.1578499 Identified
Tabel 4.2 Perbandingan antara input suara yang tidak sesuai dengan data account No.
Tes
Desired
Level Hasil Neural Network Difference Hasil 1 0 1 1 0.0001027 0.0027364 0.999965 0.0001027 0.9972636 0.000035 Unidentified 2 0 1 1 0.0012836 0.9802754 0.998417 0.0012836 0.0197246 0.001583 Identified 3 0 1 1 0.0000307 0.000022 0.9999955 0.0000307 0.999978 0.0000045 Unidentified 4 0 1 1 0.0002024 0.0353013 0.9999138 0.0002024 0.9646987 0.0000862 Unidentified 5 0 1 1 0.0000339 0.0000517 0.9999906 0.0000339 0.9999483 0.0000094 Unidentified
Gambar 4.10 dan gambar 4.11 adalah contoh hasil dari pengujian yang dilakukan pada menu Login, gambar 4.10 adalah hasil pengenalan suara yang sesuai dengan data suara pada account, sedangkan gambar 4.11 adalah hasil pengenalan suara yang tidak dapat dikenali ( unidentified ). Hasil pengenalan suara yang identified dan unidentified dapat disebabkan oleh dua hal,yaitu akurasi yang digunakan pada pelatihan dan input suara yang tidak sesuai atau tidak sesuai dengan data account.
Hasil pengujian dari 5 kali percobaan dengan menggunakan akurasi 80% untuk masukan suara dengan noise adalah sebagai berikut:
Table 4.3 Hasil pengujian input suara dengan noise No.
Tes
Desired
Level Hasil Neural Network Difference Hasil 1 0 1 1 0.0000835 0.9999969 0.0002208 0.0000835 0.0000031 0.9997792 Unidentified 2 0 1 1 0.0000439 0.6681137 0.9008973 0.0000439 0.3318863 0.0991027 Unidentified 3 0 1 1 0.0000296 0.0003353 0.9999594 0.0000296 0.9996647 0.0000406 Unidentified 4 0 1 1 0.0000355 0.5599078 0.9018773 0.0000355 0.4400922 0.0981227 Unidentified 5 0 1 1 0.00009 0.999945 0.0027465 0.00009 0.000055 0.9972535 Unidentified
Hasil pengujian dari 10 kali percobaan dengan menggunakan akurasi 90% dapat dilihat pada tabel berikut :
Tabel 4.4 Perbandingan antara input suara yang sesuai dengan data account No.
Tes
Desired
Level Hasil Neural Network Difference Hasil 1 0 1 0 0.0010736 0.9999789 0.088446 0.0010736 0.0000211 0.088446 Identified 2 0 1 0 0.0006108 0.9999878 0.0171799 0.0006108 0.0000122 0.0171799 Identified 3 0 1 0 0.0004792 0.9999984 0.0015919 0.0004792 0.0000016 0.0015919 Identified 4 0 1 0 0.0005329 0.9999993 0.0006797 0.0005329 0.0000007 0.0006797 Identified 5 0 1 0 0.0005408 0.9999989 0.0010425 0.0005408 0.0000011 0.0010425 Identified
Tabel 4.5 Perbandingan antara input suara yang tidak sesuai dengan data account No.
Tes
Desired
Level Hasil Neural Network Difference Hasil 1 0 1 0 0.0001084 0.000858 0.9999737 0.0001084 0.999142 0.9999737 Unidentified 2 0 1 0 0.0000544 0.0001217 0.9999923 0.0000544 0.9998783 0.9999923 Unidentified 3 0 1 0 0.0006914 0.9991441 0.7159262 0.0006914 0.0008559 0.7159262 Unidentified 4 0 1 0 0.0000059 0 0.9999999 0.0000059 1 0.9999999 Unidentified 5 0 1 0 0.0000247 0.000005 0.9999991 0.0000247 0.999995 0.9999991 Unidentified
Hasil pengujian dari 5 kali percobaan dengan menggunakan akurasi 90% untuk masukan suara dengan noise adalah sebagai berikut :
Tabel 4.6 Hasil pengujian input suara dengan noise No.
Tes
Desired
Level Hasil Neural Network Difference Hasil 1 0 1 0 0.0001502 0.0154309 0.9997936 0.0001502 0.9845691 0.9997936 Unidentified 2 0 1 0 0.0000183 0.0000018 0.9999984 0.0000183 0.9999982 0.9999994 Unidentified 3 0 1 0 0.0005341 0.9994422 0.2788709 0.0005341 0.0005578 0.2788709 Unidentified 4 0 1 0 0.0001878 0.0094145 0.9999322 0.0001878 0.9905855 0.9999322 Unidentified 5 0 1 0 0.0001056 0.9991728 0.0500207 0.0001056 0.0008272 0.0500207 Identified 4.3 Evaluasi Sitem
Dari hasil pengujian yang dilakukan dengan memasukkan suara pada menu login sebanyak 30 kali, dapat disimpulkan pelatihan jaringan dengan akurasi 90% memberikan hasil yang lebih baik daripada pelatihan dengan akurasi 80%. Hal ini dapat dilihat pada tabel 4.2 percobaan kedua, dimana suara pengguna yang tidak sesuai dengan data ID masih dapat dikenali. Dari hasil pengujian 5 kali masukkan suara dengan noise pada akurasi 80%, disimpulkan bahwa masukkan suara 100% tidak dapat dikenali, sedangkan pada akurasi 90%, tingkat keberhasilan pengenalan suara dengan noise hanya 20%.
Sistem pengenalan suara ini masih memiliki kelemahan. Kelemahan pada sistem ini dipengaruhi oleh kondisi lingkungan, pengaturan audio dan hardware ( sound card dan mikrofon ) pada saat perekaman suara. Kondisi lingkungan yang dimaksud adalah lingkungan yang tenang dan lingkungan yang bising, perbedaan
kondisi lingkungan pada saat proses pendaftaran suara dan pada saat login akan menghasilkan fitur yang berbeda. Pengaturan audio yang berubah – ubah pada saat perekaman akan mengubah pola sinyal suara yang direkam. Produk hardware yang digunakan tersedia dalam berbagai merk dan jenis. Penggantian hardware baru dapat mengakibatkan perbedaan spesifikasi dalam kemampuan perekaman. Secara umum, administrator sistem harus menjaga standarisasi dari ketiga faktor tersebut pada saat pendaftaran suara dan pada saat pengenalan suara. Hal ini diperlukan agar suara yang direkam oleh komputer memiliki pola yang stabil pada setiap perekaman.
