IMPLEMENTASI DAN PENGUJIAN SISTEM
4.2. Pengujian Sistem
4.2.1. Proses Pengujian Sistem
Proses pengujian dilakukan untuk melihat tingkat akurasi keberhasilan dan performa metode pengenalan suara yang digunakan pada penelitian ini dalam mendeteksi suara burung pada tingkat noise tertentu dan pada jam berapa suara burung banyak terdeteksi menggunakan metode tersebut. Pengujian dilakukan pada waktu yang berbeda yaitu pada pagi hari, siang hari dan sore hari, seluruh pengujian dilakukan langsung di sawah dan data uji direkam secara real-time.Lokasi pengujian terletak di persawahan yang beralamat di Belakang Kos Pemondokan Nina Gang Famili Padang Bulan Medan (belakang USU). Lokasi pengujian dapat dilihat pada Gambar 4.2.
Gambar 4.2. Lokasi Pengujian
Proses pengujian performa sistem meliputi spesifisitas, sensitivitas dan real-time factor (RTF). Spesifisitas merupakan tolak ukur seberapa handal suatu metode dalam mengklasifikasi suara yang bukan suara burung sebagai suara bukan burung.Sensitifitas merupakan kebalikan dari spesifisitas, yaitu seberapa handal dalam mengklasifikasi suara burung sebagai suara burung. Proses pengujian spesifisitas menggunakan suara yang mirip suara burung pipit tetapi bukan suara burung pipit sebagai data ujinya. Hal ini dilakukan agar hasil pengujian spesifitas lebih akurat.
Real-time factor (RTF) adalah tolak ukur seberapa cepat suatu metode dalam memproses dan mengklasifikasi suara yang masuk. Nilai RTF dihasilkan berdasarkan waktu eksekusi dan durasi sinyal suara yang dieksekusi. Pengujian RTF tidak diuji secara langsung melainkan menggunakan rekaman suara burung karena dibutuhkan
32
durasi waktu yang sama untuk pengujiannya. Kondisi pengujian dilakukan semirip mungkin dengan pengujian asli misalnya intensitas suara rekaman yang samadengan intensitas suara burung di sawah. RTF dapat dihitung melalui Persamaan 4.1.
Spesifisitas dan sensitifitas berdasarkan pada empat nilai yaitu PB,NB, PS danNS.Positif benar (PB) adalah suara burung yang berhasil dideteksi dengan benar sebagai suara burung.Negatif benar (NB) adalah suara bukanburung yang berhasil dideteksi sebagai suara bukan burung.Positif salah (PS) adalah proporsi suara burung yang dideteksi sebagai suara bukan burung.Negatif salah (NS) adalah suara bukan burung yang dideteksi sebagai suara burung.Nilai spesifisitas dihitung melalui Persamaan 4.2, sementara nilai sensitifitas dihitung melalui Persamaan 4.3.
Real-Time Factor (RTF) = Waktu Eksekusi / Durasi Sinyal Suara (4.1)
Spesifisitas = NB / (PS + NB) x 100% (4.2)
Dimana : NB = Negatif Benar PS = Positif Salah
Sensitivitas = PB / (NS + PB) x 100% (4.3)
Dimana : PB = Positif Benar NS = Negatif Salah
Rancangan perangkat keras yang dibutuhkan untuk melakukan proses pengujian dapat dilihat pada Gambar 4.3. Proses perekaman suaranya menggunakan microphone yang ditempatkan di salah satu bagian sawah yang aman dan sesuaikan penempatan microphone dengan sumber suara untuk menguji jangkauan suara yang mampu dideteksi sistem pada penelitian ini. Proses pengujian sudah bisa dimulai dengan menekan tombol start recording pada aplikasi desktop. Tampilan aplikasi desktop berhasil mendeteksi suara burung dapat dilihat pada Gambar 4.4. Tampilan aplikasi desktop mendeteksi suara yang bukan suara Burung dapat dilihat pada Gambar 4.5.
Gambar 4.3. Perangkat Keras Untuk Proses Pengujian
Gambar diatas menunjukkan beberapa perangkat keras yang digunakan untuk menjalankan sistem disawah, antara lain Laptop, Microphone Wireless dan Speaker.
Kegunaan dari masing masing perangkat yaitu, Laptop sebagai perangkat keras untuk menjalankan aplikasi secara real time, Microphone wireless digunakan sebagai perangkat keras untuk menangkap suara burung disawah yang kemudian suara tersebut akan diproses melalui sistem tersebut dan terakhir Speaker sebagai perangkat keras yang berfungsi mengeluarkan hasil pemrosesan pada sistem tersebut. Suara yang keluar pada speaker berupa suara tembakan, tujuannya untuk mengusir keberadaan burung disawah. Laptop diletakkan di pondok-pondok tengah sawah yang biasa digunakan sebagai tempat istirahat petani. Microphone Wireless diletakkan di bagian ujung petak sawah dan ditempatkan dengan aman. Speaker diletakkan di sekeliling sawah.
34
Gambar 4.4. Tampilan Aplikasi Desktop Berhasil Mendeteksi Suara Burung Sistem dijalankan secara terus-menerus dengan menekan tombol Start Recording.
Apabila suara burung terdeteksi maka akan muncul tulisan berwarna biru BIRD SOUND DETECTED pada sistem seperti pada gambar 4.4 diatas. Ketika suara terdeteksi maka sistem akan mengeluarkan suara tembakan dari speaker sebagai tindakan untuk mengusir keberadaan burung disawah.
Gambar 4.5. Tampilan Aplikasi Desktop Mendeteksi Suara Bukan Burung
Tampilan sistem apabila suara burung tidak terdeteksi atau suara lain yang terdeteksi adalah akan muncul tulisan berwarna merah environment pada scrollpane sistem seperti gambar 4.5 diatas.
4.2.2. Hasil Pengujian Sistem
Setelah melakukan proses pengujian sistem, diperoleh hasil uji coba yang ditampilkan dalam Tabel 4.1
Tabel 4.1. Hasil Pengujian Sistem pada Tanggal 22 Januari 2018
Waktu
Pagi
Pukul 09.00 - 10.30
Sore
Pukul 15.30 - 16.30 Terdeteksi
Burung
Terdeteksi Lingkungan
Terdeteksi Burung
Terdeteksi Lingkungan 5 menit 10 suara ≥10 suara 14 suara ≥ 15suara 10 menit 15 suara ≥ 15 suara 25 suara ≥ 20 suara 30 menit 20suara ≥ 15 suara 35 suara ≥ 30 suara
Pada tabel 4.1 pengujian dilakukan pada hari minggu tanggal 22 januari 2018 kemarin sebanyak dua kali yaitu pada pagi dan sore hari. Didapatkan kesimpulan bahwasannya pada sore hari lebih banyak suara yang terdeteksi oleh sistem karena pada saat padi menjelang panen akan banyak burung berdatangan kesawah terutama pada sore hari.
36
Tabel 4.2. Hasil Pengujian Performa pada Pagi 22 januari 2018 (09.00-10.30)
Waktu
Positif Benar Positif Salah Negatif Benar Negatif Salah Spesifisitas (%) Sensitivitas (%)
Rataan
Tabel 4.4. Hasil Pengujian Performa pada Sore 22 januari 2018 (15.30-15.00)
Waktu
Positif Benar Positif Salah Negatif Benar Negatif Salah Spesifisitas (%) Sensitivitas (%)
Rataan
Analisis dari hasil pengujian akurasi mencakup analisis hasil pengujian pada waktu yang berbeda. Hasil pendeteksian berpengaruh terhadap waktu dan jarak microphone dari sumber suara dan intensitas suara yang diproses berdasarkan data yang ditampilkan pada Tabel 4.1. Hal ini dapat dilihat dari Gambar 4.6, grafik akurasi
keberhasilan pendeteksian pengujian cenderung berbeda tergantung dengan banyaknya keberadaan burung setiap waktu tertentu.
Gambar 4.6. Grafik Akurasi Pendeteksian pada Frekuensi tertentu
Burung pipit biasanya mulai menyerang area persawahan pada saat bulir padi mulai menguning sehingga menyebabkan kehilangan hasil secara langsung. Oleh karena itu, serangan burung pipit menjadi salah satu hama yang sangat dihindari oleh para petani, Keberadaan burung disawah tidaklah selalu sama setiap waktunya, adakalanya sawah sunyi dari keberadaan burung, tetapi apabila sudah mulai panen burung pipit akan selalu ada banyak di area persawahan terutama pada sore hari. Dapat dilihat dari grafik gambar 4.6 diatas, grafik tersebut menjelaskan bahwasannya pada sore hari akurasi keberhasilan sistem lebih tinggi dari pagi hari. Hal tersebut terjadi karena pada sore hari banyak burung berdatangan kesawah sehingga sistem ini juga banyak mendeteksi keberadaan burung pada saat sore hari.
4.2.3.2. Analisis Hasil Pengujian Performa
Pengujian performa algoritma dilakukan dalam keadaan normal. Hasil pengujiannya berbanding lurus dengan hasil pengujian akurasi. Pada pengujian spesifisitas, akurasi untuk pengujian di tiap waktunya berbeda. Hal ini menunjukkan bahwa semakin berisik suara yang ditangkap dilingkungan sawah maka semakin tinggi juga nilai spesifikasinya. Dan semakin jauh jarak sumber suara kemampuan algoritma dalam
64% pada Setiap Frekuensi Tertentu
38
menghasilkan hasil yang spesifik semakin berkurang. Akurasi performa pada pengujian sensitivitas tergantung dengan waktu dan banyaknya keberadaan burung disawah. Untuk lebih jelasnya dapat dilihat pada Gambar 4.7.
Gambar 4.7. Grafik Perbandingan Persentase Kemampuan Spesifisitas dan Sensitivitas Algoritma
Spesifisitas merupakan tolak ukur seberapa handal suatu metode dalam mengklasifikasi suara yang bukan suara burung sebagai suara bukan burung.
Sensitifitas merupakan kebalikan dari spesifisitas, yaitu seberapa handal dalam mengklasifikasi suara burung sebagai suara burung. Pada gambat 4.7 diatas dapat diketahui bahwasannya pada pagi hari nilai spesifisitas (nilai suara bukan burung terdeteksi) sebanyak 80% dan sensitivitas (nilai suara burung terdeteksi) sebanyak 65%. sedangkan pada sore hari nilai spesifisitas (nilai suara bukan burung terdeteksi) sebanyak 89% dan sensitivitas (nilai suara burung terdeteksi) sebanyak 75%. jadi dapat disimpulkan bahwasannya kemampuan spesifisitas dan sensitivitas akan sangat terlihat pada keadaan di sore hari.
0%
Grafik Perbandingan Akurasi Kemampuan Spesifisitas dan Sensitivitas Algoritma
Real-time factor (RTF) adalah tolak ukur seberapa cepat suatu metode dalam memproses dan mengklasifikasi suara yang masuk.
Gambar 4.8. Grafik Hasil Pengujian Real Time Factor (RTF)
Hasil pengujian Real Time Factor (RTF) juga dipengaruhi oleh jarak tetapi pengurangan performanya tidak terlalu signifikan. Semakin jauh jarak dari sumber suara semakin bertambah nilai RTF yang artinya semakin lama kecepatan algoritma dalam melakukan pemrosesan tiap detiknya. Hal ini dapat dilihat dari grafik pada Gambar 4.8. Hasil ini menunjukkan bahwa kecepatan pemrosesan algoritma MFF-VQ berpengaruh terhadap waktu tetapi karena penambahan nilai RTF tiap menit tidak terlalu signifikan maka dapat disimpulkan MFCC-VQ masih tetap handal dalam uji kecepatan pemrosesan walaupun jarak dari sumber sedikit jauh.
0.07 0.075 0.08 0.085 0.09
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
Real Time Factor
waktu (menit)