Fakultas Ilmu Komputer
Universitas Brawijaya
6315
Sistem Deteksi Perhatian Operator Kamera Pengawas Terhadap Monitor
Menggunakan Haar Cascade Classifier
Devi Ayu Ratnasari1, Hurriyatul Fitriah2, Mochammad Hannats Hanafi Ichsan3
Program Studi Teknik Komputer, Fakultas Ilmu Komputer, Universitas Brawijaya Email: 1devi8ayu8ratnasari95@gmail.com, 2hfitriyah@ub.ac.id, 3hanas.hanafi@ub.ac.id
Abstrak
Penerapan sistem keamanan untuk mengawasi keamanan suatu tempat menggunakan kamera pengawas adalah alternatif yang sering dipilih. Daripada menyewa jasa banyak petugas keamanan, menempatkan kamera pengawas di berbagai sudut tempat dengan seorang operator pengawas kamera lebih dipilih. Durasi kinerja operator kamera pengawas rata-rata selama 6 jam sampai 8 jam, selama periode itu operator diwajibkan mengawasi monitor dalam ruangan. Dengan periode kerja yang panjang, maka perhatian operator semakin menurun dan mengakibatkan tugas pengawasannya tidak maksimal. Karena tidak ada pengawas untuk kinerja operator, maka teknologi pengawas operator secara real-time dibuat. Dengan mendeteksi posisi duduk atau berdiri dan deteksi wajah beserta mata, maka arah perhatian operator dapat diketahui. Deteksi posisi duduk atau berdiri sistem ini menggunakan konversi warna HSV untuk menyeleksi piksel yang mengandung warna kulit sebagai nilai ambang. Setelah mendapat nilai ambang, dilakukan Thresholding citra, dan perhitungan jumlah piksel putih pada gambar bagian bawah dan atas. Untuk deteksi wajah dan mata digunakan Haar Cascade Classifier. Algoritma ini dapat mendeteksi wajah dan mata hingga sudut paling 15ᵒ. Hasil keluaran sistem yaitu bunyi buzzer yang menandakan bahwa operator dalam kondisi sedang tidak perhatian. Sistem dapat mendeteksi duduk atau berdiri dengan akurasi 100%, sedangkan deteksi wajah dan mata untuk menentukan kondisi tidak memperhatikan sebesar 98.33%.
Kata kunci: Deteksi perhatian,Operator Pengawas Kamera, Haar Cascade Classifier, Raspberry Pi
Abstract
Application of security systems to oversee the security of a location using cameras is an alternative that is often chosen. Rather than hiring the services of many security officers, put the cameras in various corners of the place are more economical with less security officer and a camera operator. Job duration of camera operators on average for 6 hours to 8 hours, during this period the operators are required to oversee the monitors in the room. With the long work duration, operator attention is decreased so that the supervision task insufficient. There is no a supervisor for camera operator performance, so operator supervisor technology in real-time is made. By detecting the position of sitting or standing and face detection, then the attention of operators can be detected. Position detection of sitting or standing on this system using HSV color conversion to selecting pixels containing skin color as a value threshold, image Thresholding, and white pixel calculations from the top image and the bottom image. For human face and eyes detection used Haar Cascade Classifier Algorithm. This algorithm can detect the tilt angle of each face up to 15ᵒ. The output of the system is the sound of the buzzer, indicates that the operator under the conditions of being out of attention. The system can detect the sit or stand condition with 100% accuracy, for face and eyes detection to determine the condition of attention of 98.33% accuracy.
Keywords: Attention Detection, Camera supervisor, Haar Cascade Classifier, Raspberry Pi
1. PENDAHULUAN
Pengawasan sebuah tempat dengan menerapkan sistem keamanan mengenakan kamera pengawas dan operator pengawas saat
diwajibkan melakukan deteksi video dalam waktu 90 menit dengan beragam insiden dan tingkat kesulitan. Para peserta tidak diberi istirahat dalam periode ini. Pengujian efektifitas disaat subjek melihat monitor, dimana subjek harus melihat kamera pengawas secara terus-menerus hingga 90 menit. Dr. Donald
menemukan bahwa subjek melakukan
pengawasan dengan baik pada 30 menit awal percobaan selama 90 menit, sedangakan setengah dari seluruh responden bertahan pada 15 menit awal (Donald, 2015). Dengan durasi kinerja operator pengawas yang cukup lama, banyak operator pengawas mengalami penurunan perhatian terhadap monitor sehingga tugas pengawasannya kurang maksimal. Karena tidak ada pengawas perhatian operator terhadap monitor, maka teknologi real-time untuk mengawasi perhatian operator dibutuhkan.
Sebuah penelitian mengembangkan teknologi real-time dengan perilaku manusia sebagai input untuk monitoring. Di saat operator mulai stress, cara berpikir, pandangan dan pengambilan keputusan mereka melemah, yang membuat kesempatan kesalahpahaman peristiwa yang terjadi meningkat dan menambah kemungkinan kesalahan yang disebabkan operator. Algoritma yang digunakan adalah Bidirectional Long Short Term Memory network (BiD-LSTM) untuk memproses audio dan Deep Convolutional Neural Network (DCNN) untuk data wajah, penelitian ini menghasilkan pengenalan pola emosi dari operator (Rybak, et al., 2017).
Sistem deteksi perhatian operator kamera pengawas mendapat input dari kamera, piranti pemrosesan sistem menggunakan Raspberry Pi, dan output sistem berupa buzzer. Sistem deteksi perhatian operator terhadap monitor mengawasi operator dengan mendeteksi posisi duduk atau berdiri dan deteksi wajah. Hasil dari deteksi duduk atau berdiri dan deteksi wajah akan menentukan operator pengawas kamera dalam keadaan memperhatikan monitor atau tidak.
Deteksi duduk dan berdiri, penelitian ini menggunakan konversi ruang warna RGB ke HSV dan thresholding citra. Ruang warna HSV lebih intuitif dalam menyiratkan warna menurut mata manusia dibandingkan ruang warna RGB (Kolkur, et al., 2016 ). Dengan konversi warna RGB ke HSV, maka akan dilakukan seleksi piksel yang mengendung warna kulit sebagai nilai ambang proses thresholding. Setelah melakukan Threshold, gambar akan dibagi menjadi 2 bagian yaitu atas dan bawah. Setiap
gambar dihitung piksel putihnya untuk menentukan posisi duduk dan berdiri.
Metode pendeteksian objek menggunakan Haar Cascade merupakan salah satu metode yang terkenal di kalangan pendekatan deteksi wajah dengan metode statistik. Metode ini diusulkan pada tahun 2001 oleh Paul Viola dan Michael Jones. Dimana metode ini memiliki hasil dengan tingkat keakuratan dan kecepatan yang cukup tinggi. Walaupun deteksi wajah secara real-time menggunakan komputer kecepatan tinggi, sumber daya sistem cenderung didominasi oleh proses deteksi wajah (Krishna & Srinivasulu, 2012).
Deteksi wajah operator pada sistem ini memanfaatkan kelemahan algoritma Haar Cascade Classifier untuk mengklasifikasikan keadaan tidak memperhatikan monitor. Algoritma ini dapat mendeteksi posisi wajah
selain menghadap lurus ke depan kamera
juga dapat mendeteksi posisi wajah hingga
rotasi wajah sebesar 15
ᵒ
(Santoso &
Harjoko, 2013).
2. METODOLOGI PENELITIAN
Tahapan yang dilakukan untuk penelitian ini berupa perancangan, implementasi, dan pengujian. Perancangan dan implementasi sistem dilakukan pada perangkat keras dan program. Perancangan program dibagi menjadi deteksi duduk atau berdiri dan deteksi wajah manusia. Perancangan program deteksi duduk atau berdiri menjelaskan proses sistem mendeteksi duduk atau berdiri menggunakan konversi ruang warna HSV dan binerisasi citra. Perancangan deteksi wajah dan mata manusia menjelaskan proses sistem dalam mengenali wajah dan mata manusia.
2.1 Perancangan Perangkat Keras
Gambar 1. Diagram blok desain sistem
Berdasarkan Gambar 1, citra digital yang diolah sebagai masukan sistem didapat dari kamera. Pemroses citra yang digunakan adalah Raspberry Pi, keluaran sistem berupa bunyi buzzer.
Gambar 2. Skematik perancangan perangkat keras
Perancangan perangkat keras sistem pada Gambar 2 berupa kamera, Raspberry Pi, dan rangkaian buzzer.
2.2 Perancangan Deteksi Posisi Duduk dan Berdiri
Diagram alir pada Gambar 3 akan menjelaskan mengenai cara kerja sistem untuk mendeteksi duduk dan berdiri manusia. Berdasarkan Gambar 3, deteksi duduk dan berdiri mausia pada penelitian ini dilakukan dengan konversi warna dan binerisasi. Konversi warna yang dilakukan yaitu merubah gambar dengan format warna RGB menjadi format warna HSV untuk mendapatkan warna sesungguhnya dari gambar. Gambar dengan format warna HSV diseleksi setiap pikselnya untuk memilih piksel dengan warna kulit manusia. Piksel dengan warna kulit manusia dibinerisasi dengan metode Threshold menjadi piksel putih, sedangkan piksel yang tidak termasuk rentang warna kulit manusia akan diubah menjadi hitam. Jika piksel gambar hanya berwarna hitam dan putih (biner) maka akan mudah dilakukan perhitungan salah satu piksel.
Sebelum menghitung piksel putih untuk menentukan duduk atau berdiri manusia, gambar citra dibagi menjadi dua yaitu atas dan bawah. Manusia diklasifikasikan duduk bila jumlah piksel putih pada gambar bawah lebih banyak daripada gambar atas, dan sebaliknya untuk klasifikasi berdiri manusia.
Gambar 3. Diagram alir proses deteksi duduk dan berdiri
Hasil keluaran dari proses deteksi duduk atau berdiri berupa bunyi buzzer. Buzzer akan berbunyi jika hasil deteksinya adalah berdiri.
menentukan kondisi perhatian atau tidak perhatian seseorang. Proses deteksi wajah dan mata akan dijelaskan pada Gambar 4.
Gambar 4. Diagram alir proses deteksi wajah
Proses deteksi wajah dan mata manusia pada sistem ini dimulai dari konversi ruang warna RGB ke Grayscale. Setelah mendapatkan gambar grayscale dilakukan klasifikasi berdasarkan fitur Haar like. Fitur yang digunakan berdasarkan penelitian Viola dan Jones berada pada Gambar 5.
Gambar 5. Fitur Haar like
Fitur yang ada dihitung jumlah nilainya dengan mengurangkan nilai piksel pada area putih dengan nilai piksel pada area hitam. Proses perhitungan nilai fitur dilakukan dengan metode Integral Image. Pada Persamaan 1 adalah
persamaan integral image.
𝑖𝑖(𝑥, 𝑦) = ∑
𝑖(𝑥
′, 𝑦
′)
𝑥′≤𝑥,𝑦′≤𝑦 (1)
Gambar 6. Contoh perhitungan integral image
Cara menghitung integral image pada Gambar 6 yaitu dengan melakukan penjumlahan nilai piksel dari kiri atas hingga ke kanan bawah. Setelah menghitung integral image, selanjutnya
adalah membuat cascade classifier
menggunakan metode Adaboost. Metode adaboost melakukan penggabungan classifier lemah untuk menciptakan classifier kuat. Dengan melakukan proses Haar-like masal maka dapat tercipta cascade classifier (Viola & Jones, 2001). Pada gambar 7 adalah contoh pembuatan cascade classifier dengan metode adaboost.
Gambar 7. Proses pembuatan cascade classifier
Berdasarkan Gambar 7 klasifikasi di tingkat pertama setiap subgambar digolongkan memakai satu fitur, lalu menghasilkan nilai True jika gambar memenuhi fitur Haar dan False jika tidak. Klasifikasi pertama dapat mengurangi setengah beban klasifikasi di tahap dua. Hasil klasifikasi di tahap dua bernilai True jika gambar memenuhi proses integral image dan False jika tidak. Dengan bertambahnya tingkatan klasifikasi, maka diperlukan syarat yang semakin terperinci dari sebelumnya dan fitur yang digunakan semakin banyak dan bervariasi. Jumlah subgambar yang lulus dari klasifikasi akan berkurang. Hasil klasifikasi di tingkat akhir adalah True jika gambar memenuhi proses Adaboost dan False jika tidak (Putro, et al., 2012).
2.4 Perancangan Klasifikasi Perhatian dan Keluaran Sistem
wajah dan mata. Data tersebut digunakan untuk mengklasifikasikan subjek kedalam kondisi memperhatikan monitor atau tidak. Subjek dinyatakan memperhatikan monitor jika subjek terdeteksi duduk, terdeteksi wajahnya, dan terdeteksi matanya. Sedangkan kondisi tidak memperhatikan monitor dinyatakan jika subjek terdeteksi berdiri atau wajah menghadap kearah lain dan atau mata subjek terpejam. Pada Tabel 1 akan dijelaskan klasifikasi kondisi memperhatikan monitor subjek.
Tabel 1.Ketentuan Kondisi Memperhatikan
Hasil keluaran yang didapat dari sistem ini berdasarkan perancangan pada Tabel 1 adalah kondisi memperhatikan monitor atau tidak yang ditunjukkan dengan bunyi dari buzzer. Jika subjek terdeteksi memperhatikan monitor, maka buzzer akan diam. Sebaliknya, jika subjek terdeteksi tidak memperhatikan monitor maka buzzer akan berbunyi.
3. PENGUJIAN DAN HASIL
Pengujian sistem deteksi perhatian operator pada monitor dibagi menjadi tiga, yaitu pengujian akurasi deteksi posisi duduk atau berdiri, akurasi deteksi wajah, dan kinerja sistem secara keseluruhan.
3.1 Pengujian akurasi deteksi posisi duduk atau berdiri
Tujuan dari pengujian ini yaitu mengetahui akurasi sistem untuk mendeteksi posisi duduk dan berdiri subjek dan mengetahui kesesuaian deteksi berdasarkan perancangan sistem.
Gambar 8. Pengujian deteksi duduk
Pada Gambar 8 adalah salah satu contoh deteksi duduk subjek. Sistem ini dapat mendeteksi posisi duduk sesuai dengan perancangan yang telah dilakukan.
Gambar 9.Pengujian deteksi berdiri
Pada Gambar 9 terlihat bahwa sistem dapat mendeteksi dan menggolongkan posisi berdiri subjek. Pengujian deteksi duduk dan berdiri dilakukan pada 10 subjek yang berbeda. Berikut pada Tabel 2 adalah hasil pengujian deteksi duduk dan berdiri.
Tabel 2. Hasil Pengujian Kesesuaian Deteksi Duduk Dan Berdiri
Pengujian Duduk Berdiri
Subjek Kesatu √ √
Subjek Kedelapan √ √
Subjek Kesembilan √ √
Subjek Kesepuluh √ √
Keterangan: √: Sesuai
Pada Tabel 2 menjelaskan bahwa akurasi deteksi duduk dan berdiri yang diujikan pada 10 subjek mencapai 100%. Deteksi posisi duduk dan berdiri menggunakan konversi warna dan binerisasi citra. Cara ini cukup akurat jika kamera sistem diletakkan pada posisi yang tepat. Pengaturan posisi kamera diperlukan sistem untuk mengenali posisi duduk dan berdiri karena sistem menggunakan perhitungan piksel putih yang terdapat pada gambar.
3.2 Pengujian akurasi deteksi wajah dan mata
Tujuan dari pengujian ini untuk mengetahui ketepatan sistem dalam mendeteksi wajah dan mata. Selain itu pengujian ini dilakukan untuk mengetahui kesesuaian deteksi berdasarkan perancangan sistem yang dilakukan. Pengujian ini meliputi pengujian akurasi deteksi wajah dan mata berdasarkan kondisi memperhatikan monitor atau tidak. Pengujian deteksi wajah dan mata berdasarkan kondisi perhatian dan tidak perhatian dilakukan pada sepuluh subjek berbeda.
Tabel 3 Contoh Hasil Pengujian Deteksi Perhatian
Pengujian Hasil
Berdasarkan Tabel 3 terlihat bahwa sistem dapat mendeteksi wajah dengan baik jika wajah menghadap depan dan mata tidak terpejam. Dari pengujian ini sistem bekerja sesuai perancangan, dimana sistem tidak boleh mendeteksi wajah jika wajah menghadap kanan, kiri, atas, dan bawah ataupun mata terpejam. Hasil pengujian kesesuaian deteksi wajah dan mata untuk klasifikasi perhatian terhadap monitor yang dilakukan pada 10 subjek ditunjukkan pada Tabel 4.
Tabel 4. Hasil pengujian kesesuaian klasifikasi tidak memperhatikan monitor
15ᵒ.
4. KESIMPULAN
Berdasarkan proses penelitian dan hasil yang diperoleh dari pengujian sistem, didapat bahwa untuk mendeteksi posisi duduk dan berdiri subjek dengan baik, maka penempatan kamera cukup berpengaruh. Deteksi wajah menggunakan algoritma Haar Cascade Classifier cukup akurat dan cepat jika wajah menghadap depan. Algoritma ini memiliki kelemahan deteksi jika wajah menghadap ke lain arah
sebesar ±15ᵒ. Kelemahan algoritma ini dapat
digunakan sistem deteksi perhatian untuk melakukan klasifikasi tidak memperhatikan.
Pada pengujian deteksi duduk dan berdiri menggunakan konversi warna, thresholding citra dan perhitungan piksel putih menghasilkan persentase ketepatan sebesar 100% dengan pengaturan posisi kamera pada setiap subjek yang diuji. Dalam pengujian kesesuaian deteksi wajah dan mata untuk klasifikasi perhatian operator terhadap monitor didapat hasil akurasi sebesar 98.33%. Untuk hasil deteksi wajah dan
mata kurang akurat jika subjek tidak memalingkan wajah lebih dari ±15ᵒ.
5. DAFTAR PUSTAKA
Donald, D. C., 2015. How long can CCTV operators concentrate for?. [Online]
Tersedia di:
http://www.securitysa.com/8289a [Diakses 8 Januari 2018].
Kolkur, S. et al., 2016 . Human Skin Detection Using RGB, HSV and YCbCr Color Models. ICCASP/ICMMD Advances in Intelligent Systems Research.
Krishna, M. & Srinivasulu, A., 2012. Face Detection System On AdaBoost Algorithm Using Haar Classifiers. International Journal of Modern Engineering Research (IJMER).
Putro, M. D., Adji, T. B. & Winduratna, B., 2012. Sistem Deteksi Wajah dengan Menggunakan Metode Viola-Jones. SciETec Science, Engineering and Technology.
Rybak, N., Hassall, M., Parsa, K. & Angus, D. J., 2017. New real-time methods for operator situational awareness retrieval and higher process safety in the control room. IEEE.
Santoso, H. & Harjoko, A., 2013. HAAR
CASCADE CLASSIFIER DAN
ALGORITMA ADABOOST UNTUK
DETEKSI BANYAK WAJAH
DALAM RUANG KELAS. JURNAL
TEKNOLOGI.
