SISTEM PENGENALAN AKTIVITAS MANUSIA REALTIME MENGGUNAKAN IMAGE PROCESSING BERBASIS MACHINE LEARNING

289

SISTEM PENGENALAN AKTIVITAS MANUSIA REALTIME MENGGUNAKAN IMAGE PROCESSING BERBASIS MACHINE LEARNING

Putri Adelia Rahma Sari¹, Nyayu Latifah Husni², Ade Silvia Handayani³, Devi Sartika⁴, dan Akhmad Mirza⁵.

Politeknik Negeri Sriwijaya Email : Putdelia123@gmail.com

ABSTRACT

Human activity is a big factor in protecting the environment, especially littering. One of the consequences of littering is flooding. As well as the environment, humans also play an important role in maintaining the construction of public facilities. However, this development did not last long due to bad activities carried out by humans. This results in spending a lot of money and energy on both the government and the environment. To protect the environment and construction of existing public facilities and be inspired by this research. The author implements a real-time human activity recognition system using machine learning-based image processing using the CNN (Convolutional Neural Network) method so that this system can reduce the occurrence of environmental damage to the surrounding environment. The author aims to create a real-time human activity recognition system using image processing as a process of processing images into digital form and then processing them based on machine learning with the CNN (Convolutional Neural Network) method as the accuracy level of recognition of activities carried out by humans.

Keywords: Human Activities, Image Processing, Machine Learning, CNN Methods, littering.

ABSTRAK

Aktivitas manusia menjadi salah satu factor besar dalam menjaga lingkungan terutama membuang sampah sembarangan. Salah satu akibat dari membuang sampah sembarangan adalah terjadinya banjir. Selain lingkungan, manusia juga berperan penting dalam menjaga pembangunan fasilitas umum. Akan tetapi pembangunan tersebut tidak bertahan lama dikarenakan aktivitas-aktivitas buruk yang dilakukan oleh manusia. Hal ini berakibatkan menghabiskan banyak biaya dan tenaga bagi pemerintah maupun lingkungan. Untuk menjaga lingkungan dan pembangunan fasilitas umum yang telah ada dan terinspirasi dari penelitian tersebut. Penulis menerapkan sistem pengenalan aktivitas manusia realtime menggunakan image processing berbasis machine learning dengan menggunakan metode CNN (Convolutional Neural Network) sehingga dengan adanya sistem ini dapat mengurangi terjadinya tindakan kerusakan lingkungan di sekitar. Tujuan dari penulis untuk membuat sistem pengealan aktivitas manusia realtime menggunakan image processing sebagai proses mengolah gambar ke dalam bentuk digital lalu diproses berbasis machine learning dengan metode CNN (Convolutional Neural Network) sebagai tingkat akurasi pengolahan aktivitas yang dilakukan oleh manusia.

Kata Kunci : Aktivitas Manusia, Image Processing, Machine Learning, Metode CNN, Buang Sampah Sembarangan.

290 PENDAHULUAN

Aktivitas kecil manusia dapat berdampak pada hal yang besar jika dilakukan secara terus-menerus baik itu aktivitas yang menghasilkan dampak positif ataupun dampak negatif terutama dalam lingkungan sekitar. Dalam menjaga lingkungan harus mempunyai etika lingkungan, etika ini merupakan perbuatan yang dinilai baik bagi lingkungan dan apa yang tidak baik bagi lingkungan. Lingkungan yang baik dihasilkan makhluk hidup itu sendiri.

Manusia memiliki peranan yang sangat besar atas terjadinya kerusakan Lingkungan.

Bentuk kerusakan lingkungan yang diakibatkan oleh manusia diantaranya adalah terjadinya banjir akibat buang sampah sembarangan, kebanyakan masyarakat menyepelekan hal tersebut, dari kebiasaan buruk seperti inilal yang kemudian akan berdampak buruk terhadap lingkungan[1]. Selain dari itu, aktivitas manusia juga berperan penting dalam menjaga infrastruktur yang telah dibangun oleh pemerintah untuk mengembangkan proses pembangunan kota maupun daerah dengan tujuan untuk mewujudkan pembangunan yang inklusif dan berkelanjutan dan untuk memberikan kesejahteraan yang berkeadilan bagi seluruh rakyat Indonesia. Dalam hal ini tentu menjadi salah satu peranan aktivitas manusia dalam membantu pemerintah menciptakan tujuan yang menjadi visi dan misi utama pemerintah dalam mengembangkan pembanguan yang ada di Indonesia.

Untuk menjaga lingkungan yang ada pada fasilitas – fasilitas umum yang telah dibangun oleh pemerintah. Maka diperlukan teknolofi AI (Artificial Intelligence) yang memiliki pengetahuan-pengetahuan khusus yang menambahkan kecerdasan buatan di dalam teknologi komputer yang berbasis Machine Learning berupa Metode CNN[2]

Dengan adanya teknologi AI ini dapat membantu pekerjaan manusia menjadi lebih mudah [3]. Penulis menghadirkan sebuah konsep mengenali

aktivitas manusia dengan bantuan webcam dan teknologi Machine Learning yang dapat melihat aktivitas-aktivitas manusia terutama yang melakukan pembuangan sampah sembarangan sehingga dengan adanya konsep ini diharapkan dapat mengurangi aktivitas ataupun tindakan manusia yang merugikan lingkungan. Maka dari itu penulis bermaksud membuat penelitian dengan judul “ Sistem Pengenalan Aktivitas Manusia Realtime menggunakan Image Processing berbasis Machine Learning”.

TINJAUN PUSTAKA

Penelitian ini mendeteksi pengenalan aktivitas manusia realtime menggunakanan Image Processing berbasis machine learning. Penelitian ini menggunakan berbagai metode seperti yaitu, Artificial Neural Network, k- Nearest Neighbor, Support Vector Machine, Naïve Bayes, Classsification and Regression Tree, C4.5 Decision Tree, REPTree, LADTree Algorithm, dan Random Forest. Berdasarkan penelitian sebelumya metode CNN (Convolutional Neural Network) yang diusulkan dapat menghasilkan tingkat akurasi sebesar 81%. Namun dengan menggunakan metode Convolutional Neural Network sulit memungkinkan untuk dapat menghasilkan tingkat akurasi yang besar.[4]

Pada sistem ini juga menggunakan beberapa komponen, komponen yang digunakan berupa sensor yang berfungsi sebagai pendeteksi lingkungan dan sistem pengenalan aktivitas manusia yang dihubungkna melalui mini pc sebagai berikut:

1. Mini PC 2. Webcam 3. Arduno Uno

4. DHT11 atau DHT22 5. Sensor MQ7

6. Ultrasonik Waterproof

7. LCD I2C (liquid crystal display) 8. Powersuply

9. Ubec 10. Router

291

Penelitian dilakukan dengan image processing untuk mengolah gambar(image) ke dalam bentuk digital dan diproses dengan analisis citra agar medapatkan informasi untuk pengenalan pola dalam machine learning. Berikut table metode yang telah dipakai pada penelitian sebelumnya Table 2.1

Tabel 2. 1 Metode pada penelitian sebelumnya

Metode Tahun Judul Hasil CNN 2020 Pengen

alan Aktivita s Manusi a pada Area Tamba k Udang dengan Convol utional Neural Networ k

 Dapat mende teksi aktivit as tindak an yang mencu rigaka n seperti mencu ri

 Dapat diakse s melalu i handp hone atau PC

 Dapat mende teksi pada mode kamer a malam dan kamer a siang Backgr

ound Subtra ction

2016 Deteksi Obyek Manusi a pada Basis Data Video Mengg unakan Metode Backgr

 Untuk memis ahkan obyek dan backgr ound sehing ga geraka n dari

ound Subtra ction dan operasi morfolo gi

sebua h obyek terdet eksi

 Mamp u melak ukan deteks i dan penghi tunga n jumlah obyek pejala n kaki secara otoma tis.

Algorit ma K- Means

2016 Pengen alan Perger akan Aktivita s Manusi a Berbasi s Sensor Acceler ometer dan Gyrosc ope Berbasi s Algorit ma K- Means

Menamp ilkan gerakan manusia dalam keadaan posisi duduk saat manusia melakuk an pergera kan aktivitas duduk dan aplikasi akan berubah menam pilkan posisi berdiri saat manusia melakuk an perubah an gerakan dari posisi duduk menjadi berdiri

292 begitu

juga pada posisi berjalan , naik dan turun tangga.

Thinnin

g 2020 Deteksi

objek Manusi a pada image dengan metode thinnin g berdas arkan local maxim a

 Melak ukan pengel ompok kan gamba r (imag e) menja di dua daerah , yaitu daerah lurus dan daerah kurva.

.

 Pengol ahan citra mengg unaka n dasar local maxim a agar dapat mema ksimu mkan pencar ian objek citra pada gamba r denga n cepat dan tepat.

Perbed aan Citra

2019 Pendet eksi Posisi

Metode perbeda an

kebera daan manusi a dalam ruanga n mengg unakan metode perbed aan citra dengan sensor- webca m

frame dengan penentu an batas ambang secara otomati s berdasa rkan informa si statistik untuk mendap atkan piksel- piksel yang berubah dari frame- frame video.

Untuk mendap atkan areaare a yang berubah atau bergera k digunak an operasi morfolo gi Improv

ed traject ories

2013 Action Recogn ition with Improv ed Traject ories

 M

endetek si

aktivitas dengan bantuan gerakan kamera

 M

emiliki banyak dataset untuk pengena lan aktivitas .

293 3D

CNNs 2020 Action Recogn ition using deep 3D CNNs with Sequen tial feature aggreg ation and attenti on

Percoba an menggu nakan eksperi men baru dalam pendeka tan pengena lan aktivitas manusia dan Mengan alisa proses pengena lan aktivitas manusia menggu nkan metode CNN Templa

te Macthi ng dan Algorit ma Klasifik asi

2016 Identifi kasi Aktivita s Manusi a di Dalam Ruanga n Mengg unakan IP Camer a Identifi kasi Aktivita s Manusi a di Dalam Ruanga n Mengg unakan IP Camer a dengan Metode

Mengan alisis aktivitas dari segi cahaya dan jarak pada IP camera sebagai factor penduk ung dalam prose indentifi kasi aktivitas manusia

Templa te Matchi ng dan Algorit ma Klasifik asi

Selain menggunakan metode seperti pada Table 2.1 terdapat beberapa sensor yang telah digunakan pada penelitian sebelumnya. Berikut tabel sensor yang digunakan.

Tabel 2. 2 Sensor pada penelitian sebelumnya

Sens

or Tahu

n Judul Hasil Accel

erom eter

2018 Deteksi langkah kaki pada aktivitas berjalan menggu nakan sensor accelero meter pada smartph one

Keluaran sensor accelerom eter yang digunakan untuk menentuk an apakah terjadi suatu langkah atau tidak.

Sensor accelerom eter ini digunakan karena langkah yang dideteksi hanya langkah maju adanya langkah kaki atau tidak.

Accel erom eter dan Gyro scop e

2018 Pengend alian Kamera berdasar kan Deteksi Posisi Manusia Bergerak Jatuh berbasis

Deteksi jatuh manusia dan menangka p gambar.

Hasil evaluasi mendetek si gerakan jatuh

294 Multi

Sensor Accelero meter dan Gyroscop e

adalah accuracy sebesar 88%.

Selain itu, hasil evaluasi pengambil an

gambar adalah accuracy 86%.

Node

mcu 2019 Perancan gan Sistem Pengama nan Rumah Berbasis Human Detectio n

Menggun akan Foto Dan Suara

Nodemcu (pengend ali utama) yang menerima input dari sensor PIR, mengenai keberadaa n

manusia, dan memberi instruksi kepada kamera untuk memfoto jika manusia terdeteksi .

NodeMCU juga akan memberi instruksi kepada modul suara untuk mengelua rkan suara alarm untuk menakuti penyusup Sens

or Webc am

2019 Pendetek si Posisi Keberad aan Manusia dalam

Untuk mendetek si adanya pergeraka n objek menggun

Ruangan Menggun akan Metode Perbedaa n Citra dengan Sensor Webcam

akan sensor kamera adalah dengan membandi ngkan citra-citra yang ditangkap kamera secara berurutan . Deteksi gerak dengan teknik ini dikenal sebagai metode perbedaa n

temporal atau metode perbedaa n frame Sistem dilengkapi dengan sensor tambahan yang berfungsi untuk mendeteksi keadaan lingkungan disekitar.

Tabel 2. 3 Sensor pada sistem

Sensor Karakterist

ik Fungsi DHT22

(Suhu dan Kelembap an )

Temperature Measuremen t Range: -40 - 80 ℃ / resolution 0.1 ℃ / error <± 0.5

℃

Humidity Measuremen t Range: 0- 100% RH / resolution 0.1% RH / error ± 2%

RH

Mendete ksi suhu dan kelemba pan pada lingkung an disekitar pada sistem yang telah diletakka ns

MQ7 (Gas

CO ) Temperature 20℃±2℃

Kelembapan 65%±5% ,

Mendete ksi gas karbon monoksi

295

20ppm- 2000ppm carbon monoxide

da (CO) dalam kehidupa n sehari- hari, industri, atau mobil pada lingkung an yang terpasan g sistem tersebut.

Ultrasonik Waterproo f

Gelombang ultrasonik dengan frekuensi 40 KHz dan kecepatan suara adalah 340 m/s,

Mendete ksi ketinggia n air pada sungai di lingkung an pada sistem yang diletakka n.

METODE PENELITIAN

Gambar 3. 3 Diagram Alir Kerangka Penelitian

Perancangan Perangkat Keras (Hadware)

Perangkat Mekanik

Perangkat keras yang digunakan pada penelitian ini terdiri dari 2 bagian, yaitu perangkat keras untuk memantau sungai dan perangkat untuk memantau taman. Gambar lokasi pemasangan dan perangkat pemantau dapat dilihat pada Gambar 3.2 berikut ini.

(a) pemantau sungai

(b) pemantau taman (c) perangkat pemantau Gambar 3. 4 Lokasi Pemantauan Dan Bentuk Fisik Alat

Pemantau

Perangkat Elektronik Blok Diagram

Blok diagram pada perancangan sistem pengenalan aktivitas manusia menggunakan Image Processing berbasis Machine Laerning ini terdapat 2 macam yang diletakan pada dekat perariran dan pada taman dapat dijelaskan pada Gambar 3.3.

Gambar 3. 5 Diagram Blok Monitoring pada daerah Sungai Sekanak

Pada Gambar 3.3 sensor masukan dari sistem berupa sensor ultrasonic, sensor DHT11, sensor MQ-7, lalu diteruskan ke Mini PC yang terhubung kamera berupa webcam untuk memdeteksi aktivitas manusia sebagai pengenalan melakukan aktivitas dan juga Mini PC terhubung pada Power Supply yang menjadi catu daya pada sistem. Sedangkan keluaran dari sistem ini yaitu tampilan LCD 20x4, Seluruh komponen sensor diatur oleh Arduino, Software yang menampilkan aktivitas kegiatan manusia secara realtime dan web.

296

Gambar 3. 6 Diagram Blok Monitoring pada Taman

Pada Gambar 3.4 perangkat monitoring taman tidak menggunakan sensor jarak, karena pada alat ini sensor jarak digunakan untuk monitoring ketinggian air pada sensor masukan dari sistem berupa sensor DHT11, sensor MQ-7, lalu diteruskan ke Mini PC yang terhubung kamera berupa webcam untuk memdeteksi aktivitas manusia sebagai pengenalan melakukan aktivitas dan juga Mini PC terhubung pada Power Supply yang menjadi catu daya pada sistem. Sedangkan keluaran dari sistem ini yaitu tampilan LCD 20x4, Seluruh komponen sensor diatur oleh Arduino, Software yang menampilkan aktivitas kegiatan manusia secara realtime dan web.

Perancangan Perangkat Lunak (software)

Perancangan Interface Perangkat Lunak Pada Web

Beberapa software yang digunakan membantu penulis dalam proses penyempurnaan alat mulai dari pembuatan program untuk monitoring melalui beberapa aplikasi yang menggunakan bahasa Python.dan terdapat web yang digunakan untuk mengetahui tingkat aktivitas buang sampah dan keadaan lingkungan.

Gambar 3. 7 Tampilan Grafik Aktivitas Buang Sampah

Gambar 3. 8 Tampilan Keadaan Lingkungan yang dimonitoring

KESIMPULAN DAN HARAPAN KERJA Pada Penelitian ini menjelaskan tentang sistem pengenalan aktivitas manusia Realtime menggunakan Image Processing berbasis Machine Learning.

Sistem ini akan mendeteksi aktivitas manusia (Membuang Sampah Sembarangan) yang ditangkap oleh webcam dan diproses dalam image processing untuk mengubah gambar ke bentuk digital dan proses gambar akan diklaisfikasikan menggunakan metode CNN (Convolutional Neural Netwrok) pada Machine Learning selain dari itu sistem ini dapat mendeteksi suhu dan kelembapan, mendeteksi gas karbon monoksida dan ketinggian air.

Untuk kedepannya, sistem dapat mendeteksi aktivitas manusia dengan tindakan membuang sampah sembarangan secara realtime dan dapat diakses melalui server sehingga dapat mengetahui grafik kenaikan ataupun penurunan yang terjadi pada lingkungan yang telah diletakkan sistem ini sehingga dapat membuat lingkungan menjadi lebih bersih bebas dari sampah bahkan dapat menjadi teguran untuk masyarakat agar dapat menjaga lingkungan dan menyadari bahwa tindakan membuang sampah merupakan salah satu aktivitas kecil yang berdampak buruk pada lingkungan.

REFERENSI

N. aslinnoroniyah, sajarotun & dewi,

“KEBIASAAN KECIL MANUSIA YANG BERDAMPAK BESAR TERHADAP LINGKUNGAN,” J.

Chem. Inf. Model., vol. 53, no. 9, pp. 1689–1699, 1981.

Andy and qwords.com, “Apa Itu Machine Learning? Inilah Fungsi dan Cara

297

Kerjanya,” qwords.com, 2020.

https://qwords.com/blog/apa-itu- machine-learning/ (accessed Mar.

20, 2021).

K. O‟Shea and R. Nash, “An Introduction to Convolutional Neural Networks,”

pp. 1–11, 2015, [Online].

Available:

http://arxiv.org/abs/1511.08458.

M. Arfan, Ahmad Nurjalal, Maman Somantri, and Sudjadi,

“Pengenalan Aktivitas Manusia pada Area Tambak Udang dengan Convolutional Neural Network,” J.

RESTI (Rekayasa Sist. dan Teknol.

Informasi), vol. 5, no. 1, pp. 174–

179, 2021, doi:

10.29207/resti.v5i1.2888.

D. Subroto, P. S. Informatika, F. T.

Industri, U. K. Petra, and J. S.

Surabaya, “Deteksi Aktivitas Manusia Berdasarkan Data Skeleton dengan Menggunakan Modifikasi VGG16.”

P. E. Kresnha, E. Susilowati, R.

Mujiastuti, and S. T. Saputra,

“Perancangan Sistem Pengamanan Rumah Berbasis Human Detection Menggunakan Foto Dan Suara,” J.

Sains, Teknol. dan Ind., vol. 16, no. 2, p. 116, 2019, doi:

10.24014/sitekin.v16i2.6159.

K. Umam and B. S. Negara, “Deteksi Obyek Manusia Pada Basis Data Video Menggunakan Metode Background Subtraction Dan Operasi Morfologi,” J. CoreIT J.

Has. Penelit. Ilmu Komput. dan Teknol. Inf., vol. 2, no. 2, p. 31,

2016, doi:

10.24014/coreit.v2i2.2391.

H. Prasetio, “Sistem Informasi Suhu, Cuaca, Dan Polusi Udara Menggunakan Metode Neural Network di Taman Rekreasi Sengkaling Universitas Muhammadiyah Malang,” Malang, pp. 5–18, 2018.

M. Harahap, “Deteksi objek manusia pada image dengan metode

Thinning nerdasarkan local maxima,” JATISI (Jurnal Tek.

Inform. dan Sist. Informasi), vol.

7, no. 3, pp. 617–627, 2020, doi:

10.35957/jatisi.v7i3.370.

A. Karpathy, G. Toderici, S. Shetty, T.

Leung, R. Sukthankar, and F. F. Li,

“Large-scale video classification with convolutional neural networks,” Proc. IEEE Comput.

Soc. Conf. Comput. Vis. Pattern Recognit., pp. 1725–1732, 2014, doi: 10.1109/CVPR.2014.223.

W. Swastika, A. W. Nur, and O. H.

Kelana, “Monitoring Ruangan Untuk Deteksi Manusia Berbasis CNN Dengan Fitur Push Notification,” Teknika, vol. 8, no. 2, pp. 92–96, 2019, doi:

10.34148/teknika.v8i2.166.

Y. A. Mulyono, D. Setiadikarunia, J. T.

Elektro, and U. K. Maranatha,

“Pendeteksi Posisi Keberadaan Manusia dalam Ruangan Menggunakan Metode Perbedaan Citra dengan Sensor Webcam Human Position Detection in the Room Based on Image Difference Method Using Webcam Sensor,”

vol. 5, no. 1.

F. Anvarov, D. H. Kim, and B. C. Song,

“Action recognition using deep 3D CNNs with sequential feature aggregation and attention,”

Electron., vol. 9, no. 1, 2020, doi:

10.3390/electronics9010147.

H. Wang and C. Schmid, “Action recognition with improved trajectories,” Proc. IEEE Int. Conf.

Comput. Vis., pp. 3551–3558,

2013, doi:

10.1109/ICCV.2013.441.

T. Matching, S. Putra, I. Muslim, and I.

Zul, “Identifikasi Aktivitas Manusia di Dalam Ruangan Menggunakan IP Camera Identifikasi Aktivitas Manusia di Dalam Ruangan Menggunakan IP Camera dengan Metode Template Matching dan Algoritma Klasifikasi,” no.

February, pp. 1–5, 2016.

298 A. Setiyandi, “Pengenalan Pergerakan

Aktivitas Manusia Berbasis Sensor Accelerometer Dan Gyroscope Menggunakan Algoritma K-Means,”

2016.

A. Diba et al., “Temporal 3D ConvNets:

New Architecture and Transfer Learning for Video Classification,”

arXiv, 2017.

M. Liandana, “Deteksi langkah kaki pada aktivitas berjalan menggunakan sensor accelerometer pada smartphone,” pp. 61–66, 2018.

P. Wang, W. Li, Z. Gao, J. Zhang, C.

Tang, and P. Ogunbona, “Deep Convolutional Neural Networks for Action Recognition Using Depth Map Sequences,” 2015, [Online].

Available:

http://arxiv.org/abs/1501.04686.

Z. Liu and H. Hu, “Spatiotemporal Relation Networks for Video Action Recognition,” IEEE Access, vol. 7, pp. 14969–14976, 2019, doi:

10.1109/ACCESS.2019.2894025.

L. Gan and F. Chen, “Human action recognition using APJ3D and random forests,” J. Softw., vol. 8, no. 9, pp. 2238–2245, 2013, doi:

10.4304/jsw.8.9.2238-2245.

A. Kar, N. Rai, K. Sikka, and G. Sharma,

“AdaScan: Adaptive scan pooling in deep convolutional neural networks for human action recognition in videos,” Proc. - 30th IEEE Conf.

Comput. Vis. Pattern Recognition, CVPR 2017, vol. 2017-January, pp.

5699–5708, 2017, doi:

10.1109/CVPR.2017.604.

A. Shahroudy, J. Liu, T. T. Ng, and G.

Wang, “NTU RGB+D: A large scale dataset for 3D human activity analysis,” Proc. IEEE Comput. Soc.

Conf. Comput. Vis. Pattern Recognit., vol. 2016-December, pp. 1010–1019, 2016, doi:

10.1109/CVPR.2016.115.

L. Tao and R. Vidal, “Moving Poselets: A

Discriminative and Interpretable Skeletal Motion Representation for Action Recognition,” Proc. IEEE Int.

Conf. Comput. Vis., vol. 2016- February, pp. 303–311, 2016, doi:

10.1109/ICCVW.2015.48.

V. Veeriah, N. Zhuang, and G. J. Qi,

“Differential recurrent neural networks for action recognition,”

Proc. IEEE Int. Conf. Comput. Vis., vol. 2015 International Conference on Computer Vision, ICCV 2015, pp. 4041–4049, 2015, doi:

10.1109/ICCV.2015.460.