PENGENALAN POSISI OBJEK DARI SISTEM KAMERA OMNI-VISION MENGGUNAKAN PSO-NN DAN SCAN LINES PADA ROBOT SEPAK BOLA

PENGENALAN POSISI OBJEK DARI SISTEM KAMERA

OMNI-VISION MENGGUNAKAN PSO-NN DAN SCAN LINES

PADA ROBOT SEPAK BOLA

N. Setyawan*1_{, K. Hidayat}2_{, N. Mardiyah}3

Teknik Elektro/Universitas Muhammadiyah Malang Kontak Person:

Novendra Setyawan

Jl. Raya Tlogomas 246 Malang, Telp/Fax 0341-464318 ext 129 E-mail: novendra@umm.ac.id

Abstrak

Sistem visi dalam robot sepakbola diperlukan untuk mengenali objek di sekitar lingkungan robot. Sistem visi Omnidirectional telah dikembangkan secara luas untuk menemukan objek seperti bola, gawang, dan garis putih di lapangan dan mengenali jarak dan sudut antara objek dan robot. Yang paling menantang dalam pengembangan sistem omni-vision adalah distorsi gambar yang dihasilkan dari spherical mirror atau lensa. Makalah ini menyajikan sistem omni-vision yang efisien menggunakan lensa fish eye untuk deteksi objek real-time. Bertujuan untuk mengatasi distorsi gambar dan kompleksitas komputasi, perhitungan jarak antara objek dan robot dari citra bola dimodelkan menggunakan jaringan syaraf tiruan yang dioptimalkan oleh optimasi partikel swarm. Kemudian untuk menyajikan kondisi objek dalam lingkungan dilakukan dengan menggunakan radial scan line. Hasil eksperimen menunjukkan efektivitas pengembangan kami dalam hal akurasi dan waktu komputasi.

Kata kunci: Mobile Robot, Omni-Vision, Particle Swarm Optimization; Neural Network; Radial Scan Lines

1. Pendahuluan

Pada bidang robotik, berbagai penelitian telah dikembangkan untuk meningkatkan kemampuan robot. Kompetisi Robot sepakbola adalah salah satu kegiatan nyata yang bisa digunakan untuk pengujian sistem kontrol, perencanaan jalur, sensor navigasi, dan subjek penelitian lain seperti sistem visi. Dalam dekade terakhir, system visi omnidirectional atau sistem Omni-vision telah menjadi salah satu hal terpenting dalam sistem robot sepakbola. Omni-vision menyediakan tampilan 360 derajat dari lingkungan robot sekitar dalam satu gambar yang dapat digunakan untuk deteksi objek [1], pelacakan [2], dan lokalisasi [3]. Secara umum, sistem Omni-visi dapat dibangun dengan berbagai cara, seperti kamera servo mekanis, lensa spherical (fisheye panorama), dan cermin hiperbolik. Lensa spherical adalah salah satu cara yang lebih mudah untuk membuat Omni-vision, karena strukturnya stabil dan rigid daripada menggunakan cermin refleksi yang terdiri dari dua bagian dan rapuh [4].

Meskipun memiliki kelebihan tampilan penuh dari gambar yang dihasilkan Omni-vision, distorsi membuat deteksi objek atau pelacakan lebih rumit. Berbagai metode telah dikembangkan untuk memperbaiki dan mengembalikan menggunakan beberapa teknik pengolah gambar [3], yang membuat perhitungan menjadi lebih rumit. Selain itu, beberapa teknik kalibrasi telah diusulkan untuk memperkirakan parameter model yang benar dari gambar spherical [2]. Salah satu teknik pemodelan adalah dengan menggunakan algoritma cerdas untuk mengkalibrasi gambar spherical yaitu menggunakan Neural Network [5]. Karena metode heuristik telah banyak digunakan untuk menyelesaikan banyak masalah [6]. Dalam makalah ini, kami menggabungkan PSO untuk mengoptimalkan model jaringan syaraf ke kalibrasi dan pemodelan jarak antara objek dan robot dari gambar bulat dengan beberapa data eksperimental belajar dalam mengembangkan Omni-vision yang efisien untuk dikenali dan melacak objek.

2. Metode Penelitian

Secara umum pengenalan posisi objek dilakukan melalui beberapa tahapan diantaranya, akuisisi gambar, filter noise gambar, segmentasi gambar, radial scanline, dan yang terakhir adalah kalibrasi jarak pada gambar terhadap jarak real. Akuisisi gambar dilakukan dengan mempertimbangkan aspek rasio dalam pixel dan kecepatan pemrosesan. Kemudian radial scanline diimplementasikan untuk mencari multi objek yang memiliki warna serupa. Proses terakhir dilakukan

untuk mengkalibrasi jarak yang didapatkan dari proses radial scanline dalam pixel ke jarak dalam satuan centimeter. Proses tahapan dalam pengenalan posisi objek digambarkan pada Gambar 1.

Akusisi Citra kamera ukuran 680 x 480 pixel Noise Filter (Gausian Blur) Color Segmentation Radial Scan Lines RGB to YUV RGB to HSV

Distance (pixel) & Angle Calculation

Distance Calibration & Convertion

Real Distance (cm)

Gambar 1 Tahapan proses pengenalan posisi objek 2.1 Spherical Lens Omni-vision

Penggunaan Omni-Vision pada robot sepakbola adalah robot dapat mendapatkan gambar penglihatan 360 derajat di sekelilingnya. Cara yang efektif dan efisien untuk membangun sebuah

system omni-vision adalah dengan meletakan lensa spherical pada sebuah kamera yang berada pada

sisi atas robot. Melalui system ini robot dapat mengetahui objek di sekeliling robot dalam lapangan tanpa harus menggerakkan dirinya secara berputar. Persepsi objek yang dihasilkan dari sistem tersebut terintegrasi satu sama lain dalam satu area yang berada di sekeliling robot yang memberikan kemudahan robot bermanuver tanpa harus memperhatikan persepsi dari kamera. Secara keseluruhan

system Omni-vision digambarkan pada Gambar 2.

Camera with spherical lens

Object

Gambar 2 Sistem omni-vision 2.2 HSV Color Space

Pada penelitian ini, gambar yang diambil dari kamera dengan lensa sferis berada di ruang warna RGB. Komponen warna dari gambar berkorelasi dengan jumlah cahaya yang dipantulkan oleh objek. Segmentasi citra dari komponen-komponen warna akan lebih sulit dalam situasi ini [7]. Mengubah ruang warna gambar dari RGB ke ruang warna HSV dipilih karena ruang warna HSV

mendeskripsikan warna dengan cara yang lebih alami dan mirip. Menurut [8-9], semua objek di lapangan sepak bola memiliki jarak yang cukup jauh dalam ruang warna HSV.

2.3 Gaussian Blur

Gaussian blur adalah proses gambar kabur menggunakan fungsi Gaussian. Metode ini digunakan secara luas untuk mengurangi noise dan detail yang tidak jelas pada gambar. Gaussian blur umumnya digunakan pada tahap awal pemrosesan gambar digital untuk memperbaiki struktur gambar pada skala tertentu.

2.4 Segmentasi Objek Berwarna

Pemisahan objek berwarna (Segmentasi warna) dilakukan dengan proses Thresholding. Dengan menggunakan proses thresholding, warna yang diinginkan akan dipisahkan dengan warna lain. Piksel dengan nilai antara nilai ambang minimum dan maksimum dari bunga objek akan diberi label dan diwarnai dengan nilai tertentu.

Di lapangan sepak bola, ada tiga objek utama yang memiliki warna berbeda, seperti bola, lapangan, dan garis. Benda-benda itu memiliki jarak yang cukup jauh dalam ruang warna HSV. Dengan demikian, proses thresholding dalam ruang warna HSV mungkin dapat diterapkan untuk deteksi objek di lapangan sepak bola yang dijelaskan Persamaan 1.

𝐷𝑠𝑡(𝑥, 𝑦) = { 𝑏𝑎𝑙𝑙 𝑙𝑖𝑛𝑒 𝑓𝑖𝑒𝑙𝑑 𝑏𝑎𝑙𝑙𝑚𝑖𝑛 < 𝑌𝑈𝑉 < 𝑏𝑎𝑙𝑙𝑚𝑎𝑥 𝑙𝑖𝑛𝑒𝑚𝑖𝑛 < 𝐻𝑆𝑉 < 𝑙𝑖𝑛𝑒𝑚𝑎𝑥 𝑓𝑖𝑒𝑙𝑑𝑚𝑖𝑛 < 𝐻𝑆𝑉 < 𝑓𝑖𝑒𝑙𝑑𝑚𝑎𝑥 (1)

2.5 Radial Scan Line

Untuk mengekstrak informasi warna dari gambar dibuat tiga jenis garis pencarian, yang disebut scanlines: radial, linear (horizontal atau vertikal) dan melingkar. Mereka dibangun sekali, saat aplikasi dijalankan, dan disimpan dalam struktur untuk meningkatkan akses piksel-piksel ini dalam warna modul ekstraksi Pendekatan ini sangat penting untuk mengurangi waktu pemrosesan. Pada Gambar 2, empat tipe scanlines yang berbeda diilustrasikan. Proses pencarian dengan radial scan line dijabarkan dengan membangkitkan garis pencarian dengan Persamaan 2.

𝑖𝑚𝑔(𝑥) = 𝑐𝑒𝑛𝑡𝑒𝑟(𝑥) − 𝑖 ∗ cos(𝜃)

𝑖𝑚𝑔(𝑦) = 𝑐𝑒𝑛𝑡𝑒𝑟(𝑦) + 𝑖 ∗ sin(𝜃) (2)

2.6 Model of Spherical Lens

Pada langkah sebelumnya, jarak dan sudut antara objek dan pusat layar telah diperoleh. Namun, satuan jarak masih dalam pixel. Oleh karena itu, jarak nyata dari gambar bulat dapat diperkirakan menggunakan model jaringan syaraf tiruan. Model NN terdiri dari satu lapisan masukan, satu lapisan tersembunyi, dan satu lapisan keluaran. Model matematis dari lapisan input ke lapisan tersembunyi yang dijelaskan dalam Persamaan 3 dan Persamaan 4.

𝛼𝑗 = ∑ 𝑊𝐼𝑖,𝑗𝑋𝑖 𝑁

𝑖=1

+ 𝑊𝐼_𝑗𝑏𝑏𝑖𝑎𝑠𝑗 (3)

𝑦ℎ𝑗= tanh⁡(𝛼𝑗) (4)

Kemudian, korelasi antara lapisan tersembunyi ke lapisan keluaran yang dijelaskan dalam Persamaan 5 dan Persamaan 6.

𝛽𝑘 = ∑ 𝑊𝑂𝑖,𝑗 𝑁

𝑖=1

𝑦𝑜𝑘 = tanh⁡(𝛽𝑘) (6) Berat model NN 𝑊𝐼𝑖,𝑗; 𝑊𝐼𝑗𝑏; 𝑊𝑂𝑖,𝑗; 𝑎𝑛𝑑⁡𝑊𝑂𝑘𝑏 dipelajari dengan menggunakan pasangan data antara data input seperti jarak dalam piksel dan data output seperti jarak nyata.

2.6 Adaptive Particle Swarm Optimization

PSO adalah algoritma pencarian optimasi berbasis populasi yang terinspirasi oleh perilaku berkelompok burung [10]. Burung-burung diasumsikan partikel dalam algoritma PSO, setiap partikel diwakili sebagai solusi, kualitas solusi ditentukan oleh nilai kebugaran yang sesuai. Partikel memiliki nilai kebugaran terbaik adalah pemimpin dalam kelompok. Algoritma PSO dimulai dengan menghasilkan partikel acak dan kemudian setiap partikel "terbang" di ruang pencarian untuk mencari beberapa solusi yang layak. Di setiap generasi, kecepatan 𝑉𝑖𝑑(𝑡) dan posisi 𝑋𝑖𝑑(𝑡) diperbarui dengan mekanisme setiap partikel dijelaskan dalam Persamaan 7 dan Persamaan 8.

𝑉𝑖𝑑(𝑡 + 1) = 𝜔. 𝑉𝑖𝑑(𝑡) + 𝑐1. 𝑟1(𝑃𝑖𝑑(𝑡) − 𝑋𝑖𝑑(𝑡)) + 𝑐1. 𝑟1(𝐺𝑑(𝑡) − 𝑋𝑖𝑑(𝑡)) (7)

𝑋𝑖𝑑(𝑡 + 1) = 𝑋𝑖𝑑(𝑡) + 𝑉𝑖𝑑(𝑡 + 1) (8)

Dimana 𝑃𝑖𝑑(𝑡) disebut posisi terbaik pribadi, mewakili nilai kebugaran terbaik yang ditemukan oleh partikel i pada iterasi t dan 𝐺𝑑(𝑡)disebut global terbaik, mewakili nilai kebugaran global yang ditemukan oleh segerombolan partikel. Konstanta nomor 𝑐1⁡and 𝑐2 disebut parameter akselerasi, r1 dan r2 adalah bilangan acak independen terdistribusi dalam rentang [0,1], dan ω adalah bilangan konstan yang disebut parameter inertia. Fungsi utama parameter inersia di PSO adalah mempertahankan proporsi eksplorasi dan eksploitasi dalam setiap proses iterasi. Sebuah pendekatan parameter inersia adaptif di [11] diadopsi dalam makalah ini. Parameter inersia diperbarui berdasarkan Persentase Keberhasilan (PS) dalam setiap iterasi. Nilai PS yang tinggi menunjukkan partikel bergerak menuju solusi optimal, sebaliknya nilai yang lebih kecil menunjukkan bahwa partikel bergerak di sekitar nilai optimum tanpa banyak perbaikan. Nilai PS dapat dihitung menggunakan Persamaan 9.

𝑃𝑆 =∑ 𝑆𝐶𝑖 𝑛 𝑖=0

𝑛 (9)

dimana n adalah jumlah partikel dan SC adalah jumlah partikel yang didefinisikan pada Persamaan 10.

𝑆𝐶 = {1 𝐽(𝑋𝑖𝑑(𝑡)) < 𝐽(𝑃𝑖𝑑(𝑡 − 1)) 0 𝐽(𝑋𝑖𝑑(𝑡)) ≥ 𝐽(𝑃𝑖𝑑(𝑡 − 1))

(10)

Menggunakan PS, aturan pembaruan parameter inertia seperti Persamaan 11.

𝜔 = (𝜔𝑚𝑎𝑥− 𝜔𝑚𝑖𝑛)𝑃𝑆 + 𝜔𝑚𝑖𝑛 (11)

2.7 Encoding the Particle

Pada bagian sebelumnya, model lensa bulat NN telah dijelaskan, model lensa sferis yang tepat dapat diperoleh dengan mempelajari bobot NN ⁡𝑊𝐼𝑖,𝑗; 𝑊𝐼𝑗𝑏; 𝑊𝑂𝑖,𝑗; 𝑎𝑛𝑑⁡𝑊𝑂𝑘𝑏. Oleh karena itu, untuk

mendapatkan model yang optimal, bobot NN

(𝑊𝐼1,1… 𝑊𝐼𝑖,𝑗, 𝑊𝐼1𝑏… 𝑊𝐼𝑗𝑏, 𝑊𝑂1,1… 𝑊𝑂𝑖,𝑗, 𝑊𝑂1𝑏… 𝑊𝑂𝑘𝑏) menjadi particle 𝑋⃗ = (𝑊𝐼1,1… 𝑊𝐼𝑖,𝑗, 𝑊𝐼1𝑏… 𝑊𝐼𝑗𝑏, 𝑊𝑂1,1… 𝑊𝑂𝑖,𝑗, 𝑊𝑂1𝑏… 𝑊𝑂𝑘𝑏) = (𝑥1, 𝑥2, … , 𝑥𝑑).

2.8 Objective Function

Fungsi objektif mewakili kesalahan antara output model NN dan pelatihan data yang diinginkan. Menggunakan persentase rata-rata kesalahan persegi (PMSE), partikel individu terbaik adalah yang menghasilkan PMSE minimum yang dijelaskan dalam Persamaan 12.

𝐽 = 𝑃𝑀𝑆𝐸 = 1 𝑀. 𝐾∑ ∑(𝑦𝑡𝑛,𝑘− 𝑦𝑜𝑛,𝑘) 2 𝐾 𝑘=1 𝑀 𝑛=1 (12)

2.9 Update of the Personal Best and Global Best Position

Personal best position (𝑃𝑖𝑑(𝑡)) adalah posisi terbaik yang diarsipkan oleh partikel sejauh ini dan posisi global terbaik (𝐺𝑖𝑑(𝑡)) adalah posisi terbaik yang diarsipkan oleh segerombolan partikel sejauh ini pada generasi. Dalam makalah ini, metode standar digunakan untuk memperbarui (𝑃𝑖𝑑(𝑡)) dan (𝐺𝑖𝑑(𝑡)). Karena masalah model NN berubah menjadi minimalisasi fungsi objektif dalam (11), mekanisme pembaruan Persamaan 13.

𝑃𝑖𝑑(𝑡) = {

𝑋𝑖𝑑(𝑡) 𝐽(𝑋𝑖𝑑(𝑡)) < 𝐽(𝑃𝑖𝑑(𝑡 − 1)) 𝑃𝑖𝑑(𝑡 − 1) 𝐽(𝑋𝑖𝑑(𝑡)) ≥ 𝐽(𝑃𝑖𝑑(𝑡 − 1))

(13)

Sehingga Persamaan 14 (𝐺𝑖𝑑(𝑡)) dapat diperoleh.

𝐺𝑑(𝑡) = min (𝐽(𝑃1(𝑡)), 𝐽(𝑃2(𝑡)), … , 𝐽(𝑃𝑑(𝑡))) (14) Secara umum algoritma kalibrasi dengan PSO-NN dijabarkan dengan pseudocode seperti pada Gambar 3.

Start

Initialize particle as 𝑊𝐼𝑖,𝑗; 𝑊𝐼𝑗𝑏; 𝑊𝑂𝑖,𝑗; 𝑎𝑛𝑑⁡𝑊𝑂𝑘𝑏 ;

𝑃𝑖= 𝑥𝑖 ;

End

While (termination condition is false) SC=0;

For i=1 to number of particle For d=1 to n

Update velocity of particle using Eq. Error! Reference

source not found.

Update position of particle using Eq. Error! Reference

source not found.

Evaluate particle with objective function using Eq.

Error! Reference source not found.;

End End

Update 𝑃𝑖𝑑 and 𝐺𝑑using Eq. Error! Reference source not

found. and Eq. Error! Reference source not found.;

Update Acceleration parameter using Eq.;

Update Inertia parameter using Eq. Error! Reference

source not found.;

Check re-initialization of particle described in Eq. End

(𝑦′

1, 𝑦′2, … , 𝑦′𝑛) = 𝐺𝑑 ;

End

Gambar 3 Pseudocode of proposed algorithm 3. Hasil dan Pembahasan

Sistem diuji dalam komputer dengan prosesor Intel core i5 3.2 GHz dan RAM 4 GB. Pertama, kami bereksperimen dengan deteksi objek seperti mendeteksi dan melacak bola dan menguji seberapa jauh bola itu dapat dideteksi. Kemudian setelah itu, data pelatihan diambil dari jarak nyata antara pusat robot yang berkorelasi dengan pusat gambar dan bola. Dalam deteksi objek, proses perhitungan memakan waktu sekitar 50 milidetik hingga bola terdeteksi. Dengan langkah 23 cm kami bereksperimen jangkauan deteksi kamera yang dapat dideteksi bola antara 23 cm hingga 483 cm. Gambar 4 menunjukkan proses eksperimental yang bola dapat dideteksi setidaknya sekitar 22 cm. Dari percobaan ini juga diperoleh data korelasi antara jarak nyata dan dalam satu piksel. Pada Gambar 5 menunjukkan bahwa korelasi meningkat secara eksponensial. Dari gambar itu kami menyimpulkan bahwa jarak objek dapat diukur secara akurat antara 23 cm hingga 400 cm.

Gambar 4 Deteksi bola dalam 22 cm dan 128 cm dari pusat robot

Gambar 5 Korelasi jarak objek dalam cm dan piksel serta hasil kalibrasi model PSO-NN

Gambar 6 (a) Nilai fungsi objektif dalam setiap iterasi (b) hasil pendeteksian multi objek dengan

radial scan lines

0 20 40 60 80 100 120 140 160 180 200 220 240 260 0 46 92 138 184 230 276 322 368 414 460 506 552 575 pixel cm 0 50 100 150 200 250 300 0 100 200 300 400 500 600 Distance in Pixel R e a l D is ta n c e I n c m

Experimental Distance Data PSO-NN 0 0.2 0.4 0.6 0.8 1 1.2 1.4 1.6 1.8 2 x 104 10-1 100 101 102 103 Iterations P M S E ( % )

Selanjutnya, data jarak objek eksperimental yang dilatih oleh PSO untuk mendapatkan model NN forward. Dalam percobaan ini, PSO menggunakan 30 nomor partikel, dan parameter percepatan adalah c1 = c2 = 2. PSO dapat menemukan global optimum dengan 0,11% dari PMSE. Dalam Gambar 6 menunjukkan bahwa data yang dihasilkan dari PSO-NN secara akurat dekat dengan data eksperimen. Di bawah 14000 iterasi PSO dapat menemukan global optimal. Gambar. 5 menunjukkan kecepatan konvergensi dalam iterasi.

4. Kesimpulan

Dari data eksperimen, objek di lapangan sepak bola dapat dideteksi dan dilacak. Jarak nyata dalam cm objek dapat dimodelkan secara akurat. Dengan metode yang kami usulkan, pendeteksian objek dan perhitungan jarak dengan penglihatan omnidirectional efektif dan efisien dalam akurasi dan waktu.

Referensi

[1] D. B. Kusumawardhana and K. Mutijarsa, “Object recognition using multidirectional vision system on soccer robot,” 2017, pp. 183–187.

[2] W. Feng, Y. Liu, and Z. Cao, “Omnidirectional Vision Tracking and Positioning for Vehicles,” 2008, pp. 183–187.

[3] H. Lu, S. Yang, H. Zhang, and Z. Zheng, “A robust omnidirectional vision sensor for soccer robots,” Mechatronics, vol. 21, no. 2, pp. 373–389, Mar. 2011.

[4] Z. Cao, S. Liu, and J. Roning, “Omni-directional Vision Localization Based on Particle Filter,” 2007, pp. 478–483.

[5] B. A. Garro and R. A. Vázquez, “Designing Artificial Neural Networks Using Particle Swarm Optimization Algorithms,” Comput. Intell. Neurosci., vol. 2015, pp. 1–20, 2015.

[6] N. Setyawan, R. E. A. Kadir, and A. Jazidie, “Adaptive Gaussian parameter particle swarm optimization and its implementation in mobile robot path planning,” 2017, pp. 238–243.

[7] A. N. Fitriana, K. Mutijarsa, and W. Adiprawita, “Color-based segmentation and feature detection for ball and goal post on mobile soccer robot game field,” Pp. 1–4, 2016.

[8] A. K. Mulya, F. Ardilla, and D. Pramadihanto, “Ball tracking and goal detection for middle size soccer robot using omnidirectional camera,” Pp. 432–437, 2016.

[9] Setiawardhana, R. Dikairono, T. A. Sardjono, and D. Purwanto, “Visual ball tracking and prediction with unique segmented area on soccer robot,” Pp. 362–367, 2017.

[10] J. Kennedy and R. Eberhart, “Particle Swarm Optimization,” IEEE Int. Conf. Neural Netw., pp. 1942–1948, 1995.

[11] A. Nickabadi, M. M. Ebadzadeh, and R. Safabakhsh, “A novel particle swarm optimization algorithm with adaptive inertia weight,” Appl. Soft Comput., vol. 11, No. 4, Pp. 3658–3670, Jun. 2011.