DAFTAR PUSTAKA
Annadurai, S. & Shanmugalakshmi, R. 2007.Fundamental of Digital Image Processing. New Delhi : Pearson Education.
Ajy, M, K. 2013.Membuat Aplikasi Pengolahan Citra dengan OpenCV.
Chairunnisa, T. 2015.Pengenalan Gerakan Tangan Manusia Untuk Interaksi Manusia-Komputer.Skripsi.Universitas Sumatera Utara.
Dhawan, A. & Honrao, V. 2013.Implementation of Hand Detection based Techniques for Human Computer Interaction.International Journal of Computer Applications (0975 – 8887) Volume 72– No.17. pp. 6-13.
Gary Bradski & Adrian Kaehler, Learning OpenCV Computer Vision with OpenCV Library, O’REILLY.
Hartanto, R. & Nurtiantoro, M.A. 2012.Perancangan Awal Antarmuka Gesture Tangan Berbasis Visual. JNTETI, Vol. 1, No. 1. pp. 36-43.
Jawas, N. & Suciati, N. 2013.Image Inpainting using Erosion and Dilation Operation.International Journal of Advanced Science and Technology Vol. 51.pp123-134.
Martinez, H. & Bandyopadhyay, P. 2014.Analysis of Four Usability Evaluation Methods Applied to Augmented Reality Applications. Elsevier.Helsinki:Finlandia.
Mritunjayrai, VijendraBhootna & Yadav, R.K. 2015.Performance based algorithm for the detection and extraction of human skin. First International Conference on Futuristic Trend in Computational Analysis and Knowledge Management (ABLAZE), pp 127-131.
Muqtadir, A., Pramono, B. & Purwanti, I, N. 2016. Pengendali Fungsi Pointer Berbasis Hand Gesture Menggunakan Algoritma Convex Hull. semanTIK, Vol.2, No.1. pp. 141-154.
Nayana, P.B. & Kubakaddi, S. 2014. Implementation of hand gesture recognition technique for HCI using OpenCV.International Journal of Recent Development in Engineering and Technology2(5) : 17-21.
Rahman, S, U., Afroze, Z. & Tareq, M. 2014.Hand Gesture Recognition Techniques For Human Computer Interaction Using OpenCV.International Journal of Scientific and Research Publications, Volume 4, Issue 12, ISSN 2250-3153. pp 1-6.
Setiawardhana., Ramadijanti, N. & Nugraha, R. 2012. Sistem Pendeteksian Jari Telunjuk pada Game “TicTacToe” Menggunakan Metode Viola dan Jones. Tesis.Universitas Politeknik Elektronika Negeri Surabaya.
Shapiro, L.G. & Stockman G.C. 2001.Computer Vision.Prentice-Hall : Upper Saddle River.
BAB 3
ANALISIS DAN PERANCANGAN
Bab ini akan membahas tentang implementasi metode yang digunakan untuk mengenali gerakan tangan manusia. Adapun 2 (dua) tahap yang akan dibahas pada bab ini, yaitu tahap analisis dan tahap perancangan system.
3.1 Data yang Digunakan
Data yang digunakan dalam penelitian ini berupa citra yang diambil secara real-time melalui kamera web. Dalam pengambilan citra, ada beberapa aspek yang yang perlu diperhatikan yaitu kualitas kamera web, pencahayaan(lighting) dan jarak pengambilan gambar.
3.2 Analisis Sistem
Gambar 3.1 Arsitektur Umum
3.2.1 Skin Detection
Proses segmentasi digunakan untuk mendapatkan objek yang akan diidentifikasi yang dalam hal ini adalah citra tangan.Agar citra tangan dari pengguna yang diambil dari kamera dapat diidentifikasi sebagai suatu perintah.
Pendeteksian objek tangan berdasarkan warna kulit ini sangat dipengaruhi oleh intensitas cahaya pada citra dan juga kualitas dari kamera web itu sendiri dan juga latar pengambilan objek itu sendiri.Pada penelitian ini digunakan metode warna HSV Citra ditangkap Konversi RGB ke HSV
sebagai segmentasi gambar berdasarkan warna.Adapun langkah-langkah mendeteksi warna kulit manusia sebagai berikut.
3.2.1.1Konversi RGB ke HSV
Setelah citra tertangkap oleh kamera web, kemudian akan dikonversi ke ruang warna HSV. Format HSV lebih cocok untuk melakukan pengolahan berdasarkan warna daripada menggunakan RGB, karena kita mendapatkan saluran tunggal (H) yang memegang nilai warna pixel dan dua saluran lainnya (S dan V) yang memegang tingkat saturasi dan kecerahan tingkat pixel. Pada penelitian ini menggunakan fungsi cvtColor() yang tersedia pada OpenCV. Berikut adalah penjelasan fungsi tersebut.
cvtColor (Mat src, Mat dst, Imgproc, int code); Parameter:
• Src : citra masukan yaitu rgbaMat
• Dst : citra keluaran yaitu hsvMat
• Code : kode konversi ruang warna yaitu COLOR_BGR2HSV
3.2.1.2Atur Range HSV
Setelah dilakukan konversi ke format HSV, selanjutnya dilakukan perubahan citra ke dalam bentuk citra biner menggunakan proses thresholding. Deteksi warna kulit dilakukan dengan cara menentukan rentang nilai dari H, S, dan V, Sehingga untuk setiap piksel dalam citra, jika berada dalam range tersebut, maka akan dianggap sebagai warna kulit, sedangkan untuk yang berada di luar range tersebut akan dianggap sebagai background. Untuk mengecek apakah element tersebut berada di range pada penelitian ini digunakan fungsi Core.inRange() yang tersedia pada OpenCV. Berikut ini adalah penjelasan tentang fungsi tersebut.
inRange (Mat src, Scalar lowerb, Scalar upperb, Mat dst); Parameter :
• src : citra masukan yaitu hsvMat
• dst : citra keluaran yaitu hsvMat
• Lowerb : batas bawah array
3.2.1.3Tresholding
Untuk setiap piksel dalam citra, jika nilai H, S, V berada dalam rentang tersebut, maka akan dianggap sebagai warna kulit dan nilainya akan diubah menjadi 255 (warna putih). Sedangkan untuk yang berada di luar rentang itu, akan dianggap sebagai latar belakang dan akan diubah nilainya menjadi 0 (warna hitam). Dengan metode ini, didapatkan citra biner hasil skin detection dengan warna putih merepresentasikan tangan pengguna dan warna hitam merepresentasikan background.
3.2.2 Perbaikan Citra
Hasil dari proses segmentasi yang berupa gambar hitam putih (binary image) yang menunjukkan bagian kulit dari gambar masukan. Akan tetapi citra hasil segmentasi tersebut masih terdapat noise& potongan dari beberapa benda lainnya pada citra, seperti latar belakang gambar. Oleh karena itu, perlu dilakukan beberapa tahapan proses morfologi untuk membersihkan gambar dari noise& potongan tersebut. Adapun beberapa proses morfologi tersebut yaitu. Erosion, dilation dan median blur.
3.2.2.1Erosion
Proses erosi membuang piksel dari gambar atau ekivalen dengan membuat piksel ON menjadi OFF, yaitu piksel putih yang melekat pada daerah background, sehingga akan menyebabkan piksel putih berkurang luasnya (shrinking) dengan tujuan untuk menghilangkan piksel yang memiliki noise pada citra. Adapun fungsi yang digunakan peneliti untuk proses erosi yaitu.
Mat element = getStructuringElement(erosion_type,Size (2*erosion_size+1),Point(erosion_size,erosion_size));
Imgproc.erode(src, dst, element); Parameter:
• Src : citra masukan
• Dst : citra keluaran
bentuknya. Untuk ini, kita perlu menggunakan fungsi getStructuringElement:
• Erosi_type : bentuk dari kernel, bentuk yang digunakan yaitu MORPH_ELLIPSE yang berbentuk Ellipse
• Erosion_size : ukuran celah linear, ukuran yang digunakan pada penelitian ini adalah 5
3.2.2.2Dilation
Proses dilasi adalah kebalikan dari proses erosi, membuat piksel off menjadi on, sehingga akan menyebabkan piksel putih bertambah luasnya. Tujuan dilakukan proses dilasi adalah karena saat proses erosi dilakukan pada citra masukan, daerah yang diproses termasuk juga kulit ikut mengalami shrinking sehingga perlu dilakukan suatu proses yang mengembalikan daerah tersebut agar bagian tangan nantinya akan terdeteksi dengan benar.
Mat element = getStructuringElement(dilation_type,Size (2*dilation_size+1),Point(dilation_size,dilation_size));
Imgproc.dilate(src, dst, element); Parameter:
• Src : citra masukan
• Dst : citra keluaran
• Element : Ini adalah kernel yang akan di gunakan untuk melakukan operasi. Jika tidak ditentukan dahuly, maka defaultnya adalah matriks 3x3 sederhana.Akan tetapi, kita dapat menentukan bentuknya. Untuk ini, kita perlu menggunakan fungsi getStructuringElement:
• Dilation_type : bentuk dari kernel, bentuk yang digunakan yaitu MORPH_ELLIPSE yang berbentuk Ellipse
3.2.2.3Median Blur
Median blur dilakukan untuk menghilangkan noise yang masih terdapat pada citra setelah proses dilasi, agar tidak terdefinisi sebagai titik objek.berikut adalah fungsi yang tersedia pada library OpenCV.
medianBlur(InputArray src, OutputArray dst, int ksize); Parameter:
• src : citra masukan
• dst : Citra keluaran
• ksize : ukuran celah linear, biasanya lebih dari 1, contohnya: 3, 5, 7.
3.2.3 Ekstraksi Fitur
Setelah gambar melalui tahap perbaikan citra untuk membersihkan gambar dari noise , maka selanjutnya citra akan dilakukan proses ekstraksi fitur yang meliputi contour,convex-hull dan convexity defects pada citra. Proses ini dilakukan untuk mendapatkan informasi yang diinginkan untuk proses analisis ataupun pengklasifikasian data citra. Berikut ini adalah penjelasan dari masing-masing proses yang disebutkan diatas.
3.2.3.1Contour
kontur ditarik sekitar titik-titik putih dari tangan yang ditemukan dari hasil thresholding citra masukan. Hasil tresholding tersebut akan terbentuk lebih dari satu titik pada gambar karena noise dari latar belakang citra. pada penelitian ini digunakan fungsi findcontours() yang telah tersedia oleh OpenCV untuk mendeteksi titik-titik kontur pada citra hasil perbaikan noise sebelumnya.Berikut adalah penjelasan dari fungsi tersebut.
findContours (src image, contours, hierarcy, mode, method, Point()); Parameter :
• Image : citra masukan, yaitu citra hasil proses perbaikan citra
• hierarchy : keluaran berupa titik vektor yang bersifat opsional. Dalam parameter ini disimpan berbagai informasi dari setiap titik kontur, misalnya titik kontur sebelumnya, titik kontur selanjutnya, titik kontur utama, dsb.
• Mode : cara pendeteksian titik kontur. Pada penelitian ini dilakukan dengan cara CV_RETR_EXTERNAL, yang mengambil semua titik kontur dan merekontruksi penuh hirarki titik-titik kontur yang terhubung
• Method : metode pendekatan titik kontur. Pada penelitian ini dilakukan dengan cara CV_CHAIN_APPROX_SIMPLE, yang menekankan pada segmen horizontal, vertikal, dan diagonal dan menentukan titik akhir pada kontur.
Setelah contour didapatkan pada citra masukan, maka titik-titik yang didapatkan akan digambar membentuk sebuah gambar tangan. Fungsi yang digunakan pada penelitian ini yaitu drawContours() yang telah tersedia pada library OpenCV.Berikut ini adalah gambar dari proses pendeteksian contour pada penelitian ini yang dapat dilihat dari gambar 3.2.
Gambar 3.2 Hasil dari Contour
3.2.3.2Convex-hull
pada citra). Setelah kontur-kontur didapatkan, dari kontur-kontur tersebut akan dicari kontur yang paling besarnya (objek tangan harus yang paling besar) sebelum dilakukan pencarian convex hullnya .Fungsi yang digunakan pada penelitian ini yaitu convexHull(). Adapun penjelasan fungsi tersebut yaitu.
convexHull(InputArray points, OutputArray hull); Parameter:
• Points : titik kontur yang terdeteksi dan telah disaring.
• Hull : hasil keluaran Convex-hull.
Berikut ini adalah gambar dari proses pendeteksian convex-hull pada penelitian ini yang dapat dilihat dari gambar 3.3
Gambar 3.3 Hasil dari Convex-hull
3.2.3.3 Convexity defects
Setelah kontur terbesar dan Convex-hull terdeteksi, maka proses selanjutnya yaitu Convexity defects.yang merupakan titik temu antara titik kontur dan garis Convex-hull. Pada penelitian ini, digunakan fungsi convexityDefects() yang telah tersedia di OpenCV untuk mendeteksi Convexity defects. Berikut ini adalah penjelasan tentang fungsi tersebut.
convexityDefects(contour, convexHull, convexityDefects); Parameter :
• contour : Titik-tik kontur terbesar yang terdeteksi
• convexityDefects : hasil keluaran Convexity Defects.
Berikut ini adalah gambar dari proses pendeteksian convex-hull pada penelitian ini yang dapat dilihat dari gambar 3.4
Gambar 3.4 Hasil dari Convexity defects
3.3 Use Case Diagram
Use Case Diagram adalah gambaran graphical dari beberapa atau semua actor, use case, dan interaksi diantaranya yang memperkenalkan suatu sistem.Use case dari aplikasi Augmented Reality Bangunan Heritage Kota Medan dapat dilihat pada Gambar 3.5
Gambar 3.5Use case diagram Element - elemen pada Use Case Diagram :
• User :Mempresentasikan seseorang atau sesuatu(seperti perangkat,system lain) yang berinteraksi dengan sistem. Actor hanya berinteraksi dengan use case tetapi tidak memiliki kontrol atas use case. Pada penelitian ini, tugas-tugas actor
Start
System USER
Capture Video
Capture Gesture
Gesture Recognition
yaitu membuka aplikasi, scan gestur jari tangan pada saat pemilihan scene.
• System : Pada aplikasi ini, system bertugas untuk penangkapan kamera, penangkapan gesture jari user menggunakan OpenCV dan mengenali gesture tersebut menggunakan metode yang telah dijelaskan diatas, juga mendeteksi marker yang ada menggunakan library Vuforia serta menampilkan hasil yang ada.
3.4 Diagram Aktivitas
Diagram aktivitas atau activity diagram adalah diagram yang menggambarkan aktivitas yang terjadi selama sistem dijalankan. Diagram aktivitas mendeskripsikan bagaimana awal proses dimulai, keputusan tindakan yang dilakukan dan bagaimana akhir atau hasil dari proses tersebut. Diagram aktivitas pada aplikasi ini dapat dilihat dari gambar 3.6 berikut
USER SISTEM
Gambar 3.6 Activity diagram
Buka Aplikasi
Menampilkan Halaman Video pengenalan
Menampilkan Halaman Pemilihan Scene
3.5 Perancangan Antarmuka
Pada tahap ini akan dilakukan perancangan antar muka dari sistem pengenalan gerakan tangan yang digunakan untuk pemilihan scene pada Unity. Rancangan antar muka ini diharapkan agar dapat membuat pengguna lebih tetarik dan kemudahan dalam pengaplikasiannya. Pada penelitian ini ada terdapat 3 halaman rancangan antar muka,yaitu halamn utama, halaman pemilihan scene, halaman tampilan scene.
3.5.1 Rancangan Tampilan Halaman Splash
Halaman utama merupakan halam pertama yang muncul saat aplikasi dijalankan. Rancangan halaman utama dapat dilihat pada gambar 3.7 dibawah ini
Gambar 3.7 Rancangan Halaman Splash
Keteragan :
1. Frame ini berisi
• Judul frame
• Tombol Close, yang berfungsi untuk mengakhiri aplikasi tersebut,
• Tombol Maximized Untuk memperbesar jendela Excel XP sehingga terlihat dalam satu layar penuh. Setelah jendela Excel terlihat satu layar penuh
• Tombol Minimize Untuk memperkecil jendela aplikasi sehingga membentuk icon aktif pada Taskbar.
2. Animated loader yang berisi video animasi yang menjelaskan detil isi scene yang ada.
3.5.2 Rancangan Tampilan Pemilihan Scene
Setelah rancangan halaman utama terbuka selama beberapa waktu, maka akan berpindah secara otomatis ke halaman pemilihan scene, halaman ini berisi frame OpenCV untuk pemilihan sceneyang diinginkan pengguna.berikut adalah penjelasan dari rancangan halaman pemilihan sceneyang dapat dilihat pada gambar 3.8 berikut.
Gambar 3.8 Rancangan Halaman Pemilihan Scene
Keterangan :
1. Frame ini berisi
• Judul frame
• Tombol Close, yang berfungsi untuk mengakhiri aplikasi tersebut,
• Tombol Maximized Untuk memperbesar jendela sehingga terlihat dalam satu layar penuh. Setelah jendela Excel terlihat satu layar penuh
2. Slider yang digunakan untuk mengatur range dari HSV yang berfungsi untuk segmentasi citra pada OpenCV
3. Panel yang menampilkan hasil proses OpenCV yang berfungsi untuk pemilihan scene dengan mengarahkan jari ke kamera web.
4. Panel yang menampilkan keseluruhan objek 3D yang ada agar pengguna dapat memilih objek mana yang diinginkan secara terpisah selanjutnya.
3.5.3 Rancangan Halaman Scene
Setelah pengguna memilih scene mana yang akan dilihat secara terpisah pada hlaman pemilihan sceneyang sebelumnya, maka akan mucul halaman scene yang telah dipilih oleh pengguna. Rancangan halamanscene dapat dilihat pada gambar 3.9 berikut.
Gambar 3.9 Rancangan Halaman Scene
Keterangan :
1. Frame ini berisi
• Judul frame
• Tombol Close, yang berfungsi untuk mengakhiri aplikasi tersebut,
• Tombol Maximized Untuk memperbesar jendela sehingga terlihat dalam satu layar penuh. Setelah jendela Excel terlihat satu layar penuh
• Tombol Minimize Untuk memperkecil jendela aplikasi sehingga membentuk ikon aktif pada Taskbar.
BAB 4
IMPLEMENTASI DAN PENGUJIAN SISTEM
4.1 Konfigurasi Sistem
implementasi metode-metode yang digunakan untuk pengenalan jumlah jari tangan manusia yang digunakan untuk pemilihan scene augmented reality yang menggunakan aplikasi Unity 3D.
4.1.1 Konfigurasi Perangkat Keras
Spesifikasi perangkat keras yang digunakan pada penelitian ini dapat dilihat dari table 4.1 berikut:
Tabel 4.1 Konfigurasi perangkat keras yang digunakan
No Jenis Komponen Komponen yang digunakan
1. Processor Intel ® CoreTM i3-4005U CPU 1.70GHz
2. Memory 2048MB
3. Storage 500GB
4. Resolusi Layar 1366 x 768 pixel (14” Monitor) 5. Kamera 1 Logitech PTZ Pro HD1080P 60fps
6. Kamera 2 Logitech CZT HD 1080P
4.1.2 Konfigurasi Perangkat Lunak
Spesifikasi perangkat keras yang digunakan pada penelitian ini dapat dilihat dari table 4.2 berikut:
Tabel 4.2 Konfigurasi perangkat lunak yang digunakan
No Jenis software Software yang digunakan
1. Sistem Operasi Windows 8.1 Pro 64bit
4.2 Tampilan Aplikasi
Pada tahap ini, dilakukan implementasi tampilan aplikasi sesuai dengan perancangan antarmuka pengguna pada bab 3. Setiap tampilan pada aplikasi akan dibahas bagaimana proses tampilan dan penggunaannya.
4.2.1 Tampilan Halaman splash
Halaman utama ini merupakan halaman yang akan muncul pertama kali saat usermembuka aplikasi. Halaman utama berisi video animasi yang telah dibuat yang berisi konten scene yang ada. Tampilan halaman utama dapat dilihat pada gambar 4.1 berikut.
Gambar 4.1 Tampilan halaman splash
4.2.2 Tampilan halaman pemilihan scene menggunakan OpenCV
Gambar 4.2 Tampilan Halaman Pemilihan Scene
4.2.3 TampilanHalaman Scene
Halaman ini berisi scene yang telah dipilih oleh user pada halaman pemilihan scene sebelumnya, pada penelitian ini terdapat 2 halaman scene yang dapat dipilih oleh user yaitu scene Kota Matsum dan scene Kesawan. Berikut adalah gambar masing-masing dari scene yang ada yang dapat dilihat pada gambar 4.3 dan 4.4
Gambar 4.4 Halaman Scene Kota Matsum
4.3 Pengujian Hasil Pengenalan Jari Tangan
Pada pengujian Aplikasi pengenalan tangan ini, Uji coba dilakukan untuk mengetahui apakah jumlah jari tangan dari userakanterbaca dan melakukan instruksi yang sesuai dengan yang telah dirancang seperti pemilihan 2 scene animasi objek 3D.Pada pengujian ini peneliti membuat 8 skenario yang mana masing-masing skenario memiliki kondisi yang berbeda misalnya saat pencahayaan terang atau gelap dan juga jarak jari tangan ke kamera yang mana variabel tersebut sangat mempengaruhi dari pengenalan jari tangan.Hasil pengujian ditampilkan dalam tabel yang memperlihatkan data hasil uji coba.
Skenario 1: Uji coba dilakukan pada backgroundwarna yang polos dan kondisi pencahayaan yang baik dengan pengaturan range HSV diatas. Hasil pengujian ditunjukkan oleh Tabel 4.3,
Tabel 4.3 Pengujian scenario 1
Gambar 4.5 Skenario 1 dengan Jumlah Jari 1
Setelah dilakukan beberapa kali pengujian, didapatkan nilai rentang HSV yang stabil dalam pendeteksian yaitu H = 70 – 210, S = 10 – 190, dan V = 25 – 200. Nilai rentang tersebut dijadikan nilai rentang default untuk aplikasi. Gambar 4.5 menunjukkan hasil pengenalan jari tangan 1 pada ruangan yang cukup terang sesuai dengan skenario 1 untuk menjalankan perintah pindah ke scene Kota Matsum, jumlah jari tangan ini dapat dikenali oleh system dengan tingkat akurasi yang tinggi, yaitu sebar 97.22% dari 72 kali percobaan, kesalahan yang mungkin terjadi pada proses ini ketika ada perubahan intensitas cahaya yang menjadi redup menyebabkan warna daerah kulit tangan menjadi gelap, sehingga tidak dapat dikenali sistem sebagai warna kulit dan juga jari yang terlipat terdefenisi sebagai jari.
Gambar 4.6 skenario 1 dengan jumlah jari 2
Gambar 4.6 menunjukkan hasil pengenalan jumlah jari tangan dengan jumlah jari 2 dengan skenario 1 untuk menjalankan perintah pindah ke scene kesawan. Dari hasil pengujian didapatkan hasil pengenalan jumlah jari oleh system sebesar 100% dari 60 percobaan.Dari pengujian yang dilakukan dalam skenario 1 untuk 2 perintah tersebut, maka diperoleh hasil rata-rata akurasi sebagai berikut.
A =
97.22+100
2
Skenario 2: Uji coba dilakukan pada background yang polos tetapi pencahayaan yang kurang baik dengan pengaturan range HSV diatas. Hasil pengujian ditunjukan oleh Tabel 4.4.
Tabel 4.4 Pengujian scenario 2
No. Jumlah
Gambar 4.7 Skenario 2 dengan Jumlah Jari 1
Gambar 4.8 diatas adalah pengujian pengenalan jumlah jari tangan dengan jumlah jari 1 dengan skenario 2 dimana kondisi cahaya yang redup.Hasil pengujian pengenalan jari tangan oleh sistem dengan instruksi pindah scene kesawan didapatkan sebesar 96% dari 75 percobaan.Kesalahan yang mungkin terjadi dikarenakan pendeteksian warna kulit yang gelap sehingga sistem sulit untuk mengenali objek tangan.
Gambar 4.9 diatas hasil pengujian jumlah jari tangan 2 pada skenario 2 dimana cahaya pada ruangan tidak terang atau redup.Hasil jumlah jari yang dapat dikenali oleh sistem yaitu 97.64% dari 85 percobaan.
B = 96+97.64 2
= 96.82%
Dari seluruh pengujian yang dilakukan untuk pengenalan jumlah jari tangan manusia, efek pencahayaan cukup berpengaruh oleh sistem dalam pengenalan jari tangan. Pada cahaya yang terang maka seluruh warna objek yang tertangkap oleh webcam akan terdefinisi dengan baik, sebaliknya jika pencahayaan pada ruangan pengujian tersebut redup, maka sistem akan sulit mendeteksi warna kulit dikarenakan warna objek yang terlalu gelap sehingga tidak dapat didefinisikan sebagai warna kulit. Berikut adalah perhitungan rata-rata akurasi pengenalan jari tangan berdasarkan cahaya.
Rata-rata Akurasi
=
�Skenario 3: Uji coba dilakukan pada jarak lebih dari 65 cm yaitu 80 cm dari depan webcam, dengan pencahayaan yang baik dan background warna polos dengan pengaturan range HSV diatas. Hasil pengujian ditunjukkan oleh Tabel 4.5.
Tabel 4.5 Pengujian scenario 3
Gambar 4.9 Skenario 3
Gambar 4.9 menunjukkan hasil pengujian pengenalan jumlah jari tangan dengan jumlah jari lima dan satu dengan jarak dari kamera sejauh 80 dengan instruksi sesuai dengan tabel 4.5. didapat hasil pengenalan sebesar 0% dengan 50 percobaan. Kesalahan yang terjadi dikarenakan jarak yang terlalu jauh sehingga jarak antara jari terlihat terlalu rapat sehingga area kontur yang terdeteksi menghasilkan nilai depth point yang terlalu kecil.
C = 0+0 2
= 0%
Skenario 4: Uji coba dilakukan pada jarak kurang dari 50 cm yaitu 30 cm dari depan webcam,dengan pencahayaan yang baik dan background warna polos dengan pengaturan range HSV diatas. Hasil pengujian ditunjukkan oleh Tabel 4.10.
Tabel 4.6 Pengujian scenario 4
Gambar 4.10 Skenario 4
Gambar 4.10 menunjukkan hasil pengujian pengenalan jumlah jari tangan dengan jumlah jari tangan 1 dengan jarak dari kamera sebesar 30 cm sesuai dengan skenario 1 dengan instruksi sesuai dengan table 4.6. setelah dilakukan pengujian didapat hasil pengenalan jumlah jari tangan oleh sistem sebesar 100% dari 75 percobaan.
D = 98.66+100 2
= 99.33%
Dari seluruh pengujian yang dilakukan untuk pengenalan jumlah jari tangan manusia, jarak ke kamera juga cukup berpengaruh oleh sistem dalam pengenalan jari tangan. Pada jarak yang jauh maka kontur tangan yang terdeteksi akan rapat dan menghasilkan nilai depth point yang terlalu kecil sehingga tidak dapat dilakukan perhitungan defects.Berikut adalah perhitungan rata-rata akurasi pengenalan jari tangan berdasarkan cahaya.
Rata-rata Akurasi
=
� +�2
=
0+99.32
4.4 Pengujian Marker Augmented Reality
Pengujian Marker dilakukan untuk membuktikan bahwa marker dapat dideteksi oleh AR Camera dengan baik sehingga dapat menampilkan objek 3D maupun animasi yang telah dibuat sebelumnya. Pengujian dilakukan dengan cara membuka aplikasi , setelah aplikasi terbuka maka AR kamera akan otomatis menyala dan akan mendeteksi markeryang ada dengan mengarahkan kamera pada marker. Apabila marker yang dideteksi cocok dengan marker yang telah didaftarkan pada vuforia maka akan muncul objek 3D maupun animasi yang telah dibuat. Berikut adalah pengujian marker berdasarkan jarak pengambilan kamera dan sudut kemiringan kamera.
4.4.1 Pengujian jarak pendeteksian
Pengujian jarak dilakukan untuk mengetahui seberapa jauh jarak marker dapat dideteksi oleh kamera dan jarak berapa marker dideteksi lebih efektif. Hasil pengujian dapat dilihat pada table 4.7
Tabel 4.7 Pengujian jarak deteksi
No. Jarak Keterangan
1. 2.5 meter Terdeksi dan
stabil
2. 3meter Terdeteksi dan
stabil
3. 5 meter Terdeteksi dan
stabil
3. 7 meter Tidak terdeteksi
4.4.2 Pengujian sudut kemiringan pendeteksian
Pengujian sudut kemiringan kamera dilakukan untuk mengetahui sudut berapa kamera dapat mendeteksi marker dan sudut berapa kamera tidak dapat mendeteksi marker. Hasil pengujian dapat dilihat pada table 4.8
Table 4.8 Pengujian sudut kemiringan kamera
1. 10o Tidak terdeteksi
2. 40o Terdeksi stabil
BAB 5
KESIMPULAN DAN SARAN
Bab ini membahas tentang kesimpulan dari Pengenalan Jari tangan sebagai interaksi augmented reality heritage kota medan .Selain itu juga memberikan saran untuk pengembangan penelitian selanjutnya.
5.1 Kesimpulan
Setelah melakukan tahap implementasi dan menguji sistem, maka diperoleh beberapa
kesimpulan yang ditemukan pada penelitian ini, yaitu :
1. Aplikasi dapat berjalan dengan baik saat mendeteksi marker dan menampilkan objek 3D.
2. Situasi yang baik dalam melakukan pendeteksian jumlah jari tangan yaitu pada jarak 30 – 50 cm dan dengan pencahayaan yang cukup terang.
3. Jarak maksimal untuk pendeteksian jumlah jari tangan yaitu 65 cm
4. Pada saat pendeteksian disarankan, warna latar belakang pendeteksian haruslah polos dan tidak bercorak serta berwarna kulit.
5. Jarak optimal pendeteksian marker didapat yaitu 2.5 – 5 meter
5.2 Saran
Saran yang dapat diberikan untuk penelitian selanjutnya adalah :
• Penelitian selanjutnya diharapkan dapat mendeteksi objek tangan dengan latar belakang (background) warna yang bervariasi / tidak polos.
BAB 2
LANDASAN TEORI
Bab kedua dari penelitian ini akan membahas tentang teori-teori pendukung dan penelitian sebelumnya yang berhubungan dengan OpenCVdan penerapannya.
2.1 Computer Vision
Computer Vision adalah ilmu dan teknologi mesin yang melihat, dimana “lihat” dalam hal ini berarti bahwa mesin mampu mengekstrak informasi dari gambar yang diperlukan untuk menyelesaikan tugas tertentu. Sebagai suatu disiplin ilmu, visi komputer berkaitan dengan teori di balik sistem buatan yangmengekstrak informasi dari gambar. Data gambar dapat mengambil banyak bentuk, seperti urutan video, pandangan dari beberapa kamera, atau data multi-dimensi dari scanner medis.
Menurut Sockman dan Saphiro (2000) ,Computer Vision adalah “To make useful decisions about real physical objects and scenes based on sensed images”. sedangkan menurut Forsyth and Ponce: “Extracting descriptions of the world from pictures or sequences of pictures”.
Computer Vision adalah kombinasi antara Pengolahan Citra dan Pengenalan Pola. Pengolahan Citra (Image Processing) merupan bidang yang berhubungan dengan proses transformasi citra/gambar (image). Proses ini bertujuan untuk mendapatkan kualitas citra yang lebih baik. Sedangkan Pengenalan Pola (Pattern Recognition), bidang ini berhungan dengan proses indenfikasi obyek pada citra atau interpretasi citra. Proses ini bertujuan untuk mengekstrak informasi/pesan yang disampain oleh gambar citra.
2.1.1 Proses penangkapan citra (Image Acquisition)
Image Acqusition pada manusia dimulai pada mata, kemudian informasi visual diterjemahkan de dalam suatu format yang kemudian dapat dimanipulasi oleh otak.Senada dengan proses diatas, computer vision membutuhkan sebuah mata untuk menangkap sebuah sinyal visual.Umumnya mata pada computer vision adalah sebuah kamera video.Kamera menerjemahkan sebuah scane atau image.Keluaran dari kamera ini adalah berupa sinyal analog, dimana frekuensi dan amplitudonya (frekuensi berhubungan dengan jumlah sinyal dalam satu detik, sedangkan amplitudo berkaitan dengan tingginya sinyal listrik yang dihasilkan) merepresentasikan detail ketajaman (brightness) pada scene.
Kamera mengamati sebuah kejadian pada satu jalur dalam satu waktu, memindainya dan membaginya menjadi ratusan garis horizontal yang sama.Tiap-tiap garis membuat sebuah sinyal analog yang amplitudonya menjelaskan perubahan brightness sepanjang garis sinyal tersebut.
Kemudian sinyal listrik ini diubah menjadi bilangan biner yang akan digunakan oleh komputer untuk pemprosesan.Karena komputer tidak bekerja dengan sinyal analog, maka sebuah analog-to-digital converter (ADC), dibutuhkan untuk memproses semua sinyal tersebut oleh komputer.ADC ini akan mengubah sinyal analog yang direpresentasikan dalam bentuk informasi sinyal tunggal kedalam sebuah aliran (stream) sejumlah bilang biner.Bilangan biner ini kemuudian disimpan didalam memori dan akan menjadi data raw yang akan diproses.
2.1.2 Proses pengolahan citra (Image Processing)
2.1.3 Analisa data citra (Image Analysis)
Image analysisakan mengeksplorasi scane ke dalam bentuk karateristik utama dari objek melalui suatu proses intvestigasi.Sebuah program komputer akan mulai melihat melalui bilangan biner yang merepresentasikan informasi visual untuk mengidentifikasi fitur-fitur spesifikasi dan karekteristiknya.Lebih khusus lagi program image analysis digunakan untuk mencari tepi dan batas-batasan objek dalam image.Sebuah tepian (edge) berbentuk antara objek dan latar belakangnya atau antara dua objek yang spesifik.Tepi ini akan terdeteksi sebagai akibat dari perbedaan level brightness pada sisi yang berbeda dengan salah satu batasnya.
2.1.4 Proses pemahaman data citra (Image Recoginition)
Ini adalah langkah terakhir dalam proses computer vision, yang mana spesifik objek dan hubungannya diidentifikasi.Pada bagian ini akan melibatkan kajian tentang teknik-teknik artificial interlligent.Recognition berkaitan dengan tamplate matching yang ada dalam sebuah tulisan scene.Metode ini menggunakan program pencarian (search program) dan teknik penyesuaian pola (pattern matching techniques).
2.2 Augmented Reality
Teknologi AR ini dapat menyisipkan suatu informasi tertentu ke dalam dunia maya dan menampilkannya di dunia nyata dengan bantuan perlengkapan seperti webcam, komputer, HP Android, maupun kacamata khusus.User ataupun pengguna didalam dunia nyata tidak dapat melihat objek maya dengan mata telanjang, untuk mengidentifikasi objek dibutuhkanperantara berupa komputer dan kamera yang nantinya akan menyisipkan objek maya ke dalam dunia nyata.Ada terdapat 2 metode yang dikembangkan pada Augmented Reality saat ini yaitu ,Marker Based Tracking dan Markless Augmented Reality.:
• Marker Augmented Reality (Marker Based Tracking)
Marker biasanya merupakan ilustrasi hitam dan putih persegi dengan batas hitam tebal dan latar belakang putih. Komputer akan mengenali posisi dan orientasi marker dan menciptakan dunia virtual 3D yaitu titik (0,0,0) dan tiga sumbu yaitu X, Y, dan Z. Marker Based Tracking ini sudah lama dikembangkan sejak 1980-an dan pada awal 1990-an mulai dikembangkan untuk penggunaan Augmented Reality.
• Markerless Augmented Reality
Salah satu metode Augmented Reality yang saat ini sedang berkembang adalah metode Markerless Augmented Reality, dengan metode ini pengguna tidak perlu lagi menggunakan sebuah marker untuk menampilkan elemen-elemen digital, dengan tool yang disediakan Qualcomm untuk pengembangan Augmented Reality berbasis mobile device, mempermudah pengembang untuk membuat aplikasi yang markerless (Qualcomm, 2012).
Seperti yang saat ini dikembangkan oleh perusahaan Augmented Reality terbesar di dunia Total Immersion dan Qualcomm, mereka telah membuat berbagai macam teknik Markerless Tracking sebagai teknologi andalan mereka, seperti Face Tracking, 3D Object Tracking, dan Motion Tracking.
2.3 Citra Digital
dalam array dua dimensi.Citra jenis ini disebut citra bitmap atau citra raster.Jenis citra yang kedua adalah citrayang dibentuk oleh fungsi-fungsi geometri dan matematika.Jenis citra ini disebutgrafik vektor.Citra digital (diskrit) dihasilkan dari citra analog (kontinu) melalui digitalisasi.Digitalisasi citra analog terdiri sampling danquantitazion.Sampling adalah pembagian citra ke dalam elemen-elemen diskrit (pixel), sedangkan quantitazion adalah pemberian nilai intensitaswarna pada setiap pixel dengan nilai yang berupa bilangan bulat (Awcock,1996).
2.4 Pengolahan Citra Digital
Pengolahan citra merupakan teknik manipulasi citra secara digital yang khususnya menggunakan komputer, menjadi citra lain yang sesuai untuk digunakan dalam aplikasi tertentu. Agar mudah diinterpretasi oleh manusia atau komputer, pengolahan citra harus dilakukan dengan berbagai macam metode untuk mencapai citra sesuai yang diinginkan.Operasi pengolahan citra digital umumnya dilakukan dengan tujuan memperbaiki kualitas suatu gambar sehingga dapat dengan mudah diinterpretasikan oleh mata manusia dan untuk mengolah informasi yang ada pada suatu gambar untuk kebutuhan identifikasi objek secara otomatis.
2.4.1 Gray-Scaling
Proses awal yang banyak dilakukan dalam image processing adalah mengubah citra berwarna menjadi citra gray-scale, hal ini digunakan untukmenyederhanakan model citra. Seperti telah dijelaskan di depan, citra berwarna terdiri dari 3 layer matrik yaitu R- layer, G-layer dan B-layer. Sehingga untuk melakukan proses-proses selanjutnya tetap diperhatikan tiga layer di atas. Bila setiap proses perhitungan dilakukan menggunakan tiga layer, berarti dilakukan tiga perhitungan yang sama. Sehingga konsep itu diubah dengan mengubah 3 layer di atas menjadi 1 layer matrik gray-scale dan hasilnya adalah citra gray-scale.Dalam citra ini tidak ada lagi warna, yang ada adalah derajat keabuan.
Untuk mengubah citra berwarna yang mempunyai nilai matrik masing-masing r, g dan b menjadi citra gray-scale dengan nilai s, maka konversi dapat dilakukan dengan mengambil rata-rata dari nilai r, g dan b sehingga dapat dituliskan menjadi:
Keterangan:
I (x,y) = nilai intensitas citra grayscale
R (x,y) = nilai intensitas warna merah dari citra asal G (x,y) = nilai intensitas warna hijau dari citra asal B (x,y) = nilai intensitas warna biru dari citra asal Atau dapat menggunakan persamaan:
I = ( 0,299 x R(x,y)) + ( 0,587 x G(x,y)) + (0,144 x B(x,y)) ……… (2.2) (Taylor dan Francis Group, 2007)
2.4.2 Thresholding
Thresholding merupakan konversi citra berwarna ke citra biner yang dilakukan dengan cara mengelompokkan nilai derajat keabuan setiap pixel kedalam 2 kelas, hitam dan putih. Pada citra hitam putih terdapat 256 level, artinya mempunyai skala “0” sampai “255” atau [0,255], dalam hal ini nilai intensitas 0 menyatakan hitam, dan nilai intensitas 255 menyatakan putih, dan nilai antara 0 sampai 255 menyatakan warna keabuan yang terletak antara hitam dan putih (Munir, 2004).
Pada operasi pengambangan, nilai intensitas pixel dipetakan ke salah satu dari
dua nilai, α₁atau α₂, berdasarkan nilai ambang (threshold) T dapat ditunjukkan seperti pada persamaan 2.3
��, ′= α₁,f x,y <�α₂,f x,y ≥T ……….………....(2.3)
Gambar 2.1. Citra hasil segementasi (Rahman ,S U et al.2014)
2.4.3 Erosion
Operasi erosi adalah operasi morfologi untuk mengurangi area foreground.Efek dari operasi ini adalah menyusutkan foreground.Foreground berkurang dari tepi luar ke dalam wilayahnya. Jika ada lubang di dalam area foreground, maka lubang akan membesar. Proses ini menggunakan penataan elemen (structuring element) dan hal itu dilakukan dengan operasi konvolusi antara gambar dan structuring element. Operasi ini adalah untuk gambar biner. Proses erosi akan mengatur pixelforeground menjadi background jika ada bagian dari structuring element yang mencapai latar belakang saat tengah structuring element mencapai tepi foreground. Gambar 2.2 memberikan ilustrasi dari proses erosi dengan contoh structuring element 3 x 3.
Gambar 2.2 (a) penataan element dan gambar sebelum operasi; (b) hasiloperasi erosi (Naser dan Nanik, 2013)
2.4.4 Dilation
luarnya. Jika ada lubang di dalam foreground, maka lubang menyusut. Sama seperti erosi, operasi dilasi menggunakan elemen struktural.Elemen struktural digunakan dalam konvolusi dengan gambar.Proses dilasi akan mengatur pixel background untuk menjadi latar depan jika ada bagian dari elemen penataan yang mencapai foreground ketika pusat dari elemen penataan masih di daerah background. Gambar 2.3 memberikan gambaran tentang proses dilasi dengan contoh elemen 3 x 3 penataan.
Gambar 2.3 (a) penataan element dan gambar sebelum operasi; (b) hasil operasi dilasi (Naser dan Nanik , 2013)
2.4.5 Contour
Gambar 2.4 Contour(Amiraj dan Vipul, 2013)
2.4.6 Convex-hull
Convex hull digambarkan secara sederhana dalam sebuah bidang sebagai pencarian subset dari himpunan titik pada bidang tersebut, sehingga jika titik-titik tersebut dijadikan poligon maka akan membentuk poligon yang konveks. Suatu poligon dikatakan konveks jika garis yang menghubungkan antar kedua titik dalam poligon tersebut tidak memotong garis batas dari poligon.Convex hull suatu obyek P didefinisikan sebagai area poligon convex terkecil yang melingkupi P. Oleh karena itu, untuk suatu himpunan titik N {p0, p1, p2, . . . , pN}ϵ P, maka dapat dinyatakan bahwa hull H dapat disusun dengan M titik dari himpunan N untuk membuat suatu area konveks poligon minimum.Dari Gambar.2.3 dapat dinyatakan bahwa Convex hull dibuat dengan mengambil sudut interior θ, dari tiga titik yang bersebelahan {p1, p0,
p9}. Jika θ > π maka p0 dianggap sebagai titik refleks dan p0 bukan anggota M. Himpunan akhir H adalah {p1, p9, p7, p5, p3}.(Alif Muqtadiret al, 2013).
2.4.7 Convexity Defects
Convex hull dari kontur lengan bawah dihitung untuk mendapatkan convexity defects dari kontur. Convexity defects menyediakan informasi yang sangat berguna untuk memahami bentuk kontur. Banyak karakteristik dari kontur yang rumit dapat digambarkan dengan convexity defects.Pada pembahasan sebelumnya, dijelaskan bahwa titik-titik yang membentuk convex hull harus merupakan bagian dari kontur. Langkah pertama dalam mencari convexity defects adalah menemukan titik awal (starting point) dari convexity defects pada kontur. Titik awal convexity defects adalah sebuah titik pada kontur yang juga termasuk dalam titik-titik convex hull, tapi titik selanjutnya pada kontur tidak termasuk dalam titik-titik convex hull. Gambar 2.6 menjelaskan titik awal dari convexity defects.Kontur dicari dengan jalur searah jarum jam.Titik merah adalah titik pertama yang termasuk dalam convex hull, tapi titik selanjutnya tidak termasuk dalam convex hull.Setelah definisi titik awal diketahui, titik akhir pun juga demikian.Titik akhir didefinisikan sebagai titik dari kontur yang termasuk dalam titik-titik convex hull, tapi titik sebelumnya tidak termasuk dalam titik-titik convex hull.Sebagaimana yang ditunjukkan oleh Gambar 2.6, titik ungu adalah titik akhir dari convexity defects. Dengan menghubungkan titik awal, titik akhir, dan titik di antara keduanya, area dari convexity defects dapat diketahui sebagaimana ditunjukkan oleh sebagaimana ditunjukkan oleh Gambar 2.7.(Rudy dan Marcus, 2012).
Gambar 2.7 Area convexity defects(Aliq dan bambang, 2016)
2.5 OpenCV
OpenCV (Open Source Computer Vision) adalah open source library yang berisi lebih dari 500 algoritma teroptimasi untuk analisa citra atau video.Sejak diperkenalkan pada tahun 1999, OpenCV sebagian besar telah diadopsi sebagai alat pengembangan utama oleh komunitas peneliti dan pengembang dalam bidang komputer visi.OpenCV pada awalnya dikembangkan di Intel oleh tim yang dipimpin oleh Gary Bradski sebagai inisiatif untuk memajukan penelitian dalam visi dan mempromosikan pengembangan aplikasi yang kaya dan berbasis visi-CPU-intensif. Setelah OpenCV versi Beta diluncurkan, versi 1.0 diluncurkan pada tahun 2006.Rilis besar kedua terjadi pada tahun 2009 dengan diluncurkannya OpenCV 2 yang menawarkan banyak perubahan penting.OpenCV didesain untuk digunakan bersama dengan Intel Image Processing Library (IPL) dan memperluas fungsionalitas terhadap citra dan pola analisis. Oleh karena itu, OpenCV berbagi format (iplImage) citra yang sama dengan IPL.
2.6 Unity 3D
Unity3D merupakan sebuah tools yang terintegrasi untuk membuat bentuk obyek 3 dimensi pada video games atau untuk konteks interaktif lain seperti visualisasi arsitektur atau animasi 3D real-time. Lingkungan dari pengembangan unity3D berjalan pada Microsoft Windows dan Mac Os X. Serta aplikasi yang dibuat oleh unity3D dapat berjalan pada Windows, Mac, Xbox 360, Playstation 3, Wii, Ipad, Iphone dan tidak ketinggalan pada platform Android. Unity juga dapat membuat game berbasis browser yang menggunakan Unityweb player plugin, yang dapat bekerja pada Mac dan Windows, tapi tidak pada Linux.
Adapan fitur–fitur yang dimiliki Unity 3D (Rizki et al. 2012) antara lain sebagai berikut :
1. Integrated Development Environment (IDE) atau lingkungan pengembangan terpadu.
2. Penyebaran hasil aplikasi pada banyak platform. Seperti Android, Flash, iOS, Blackberry, Wii, Xbox dan lain – lain.
3. Engine Grafis menggunakan Direct3D (Windows), OpenGL (Mac, Windows), OpenGL ES (iOS) dan proprietary (Wii).
4. Game Scripting melalui Mono, Scripting yang dibangun pada Mono, implementasi Open Source dari NET Framework. Selain itu pemrograman dapat menggunakan Unity Script (Bahasa Kustom dengan sintaks Java Script-Inspired, bahasa C# atau Boo (yang memiliki sintaks-Python-inspired).
2.7 C#
memori.Akan tetapi, berlawanan dengan Java, C# mempertahankan operasi berguna yang unik pada C++ seperti operator overloading, enumeration, pre-processor directive, pointer (pada unmanaged/unsafe code), danfunction pointer (pada pengutusan form).
2.8 Penelitian Terdahulu
Penelitian yang dilakukan Nayana P B dan Sanjev Kubakaddi mengimplementasikan teknik pengenalan gestur tangan untuk Human Computer Interaction (HCI) menggunakan OpenCV. Pada penelitian ini, gambar gerakan tangan yang diambil oleh kamera dijadikan sebagai input untuk algoritma. Algoritma yang digunakan mampu mengenali jumlah jari yang hadir dalam gerakan tangan
Pada tahun 2015,penelitian yang dilakukan oleh Hu Peng yang berjudul Application Research on Face Detection Technology based on OpenCV in Mobile Augmented Reality membahastentang pengembangan dan tipe teknologi dari teknologi deteksi wajah dan augmented realitymobile. Perangkat lunak yaang mendukung penelitian ini antara lain yaitu,Unity3D,3Ds Max dan lainnya. Hasil dari penelitian ini yaitu ketika kamera mendeteksi wajah,maka akan muncul wajah 3D pada posisi yang sesuai dan dapat bergerak mengikuti wajah yang dideteksi .pengguna dapat berinteraksi dengan wajah 3D dengan menekan layar.
Pada tahun tahun 2014 ,Sajjad Ur Rahman, Zeenat Afroze dan Mohammed Tareq, Melakukan penelitian yang meneliti teknik untuk interaksi manusia-mesin berdasarkan pengenalan gestur menggunakan teknologi OpenCV yang mana menyediakan struktur data untuk image processing denganefisiensi terbaik. Pada penelitian ini, seluruh gambar gestur tangan ditangkap oleh web camera. Algoritma yang digunakan yaitu convexity defects membantu untuk menentukan lokasi telapak tangan dan ujung jari.
didapat akan digunakan sebagai instruksi perintah mouse seperti move, klik kiri, klik kanan, klik ganda , dan drag.
Pada tahun 2013, Amiraj Dhawan dan Vipul Honrao, melakukan penelitian yaitu Implementation of Hand Detection based Techniques for Human Computer Interaction. Pada penelitian ini didapat berbagai teknik untuk interaksi manusia-komputer secara efisien. Adapun teknik segmentasi yang digunakan pada penelitian ini yaitu, Thresholding menggunakan metode Otsu, Incremental Thresholding Value, dan Color based Thresholding. Untuk ekstraksi fitur ,penelitian ini menggunakan contour, convex-hull dan convexity defects.
Pada tahun 2012, penelitian yang dilakukan oleh Hasup lee et al yaitu Hand Gesture Recognition using Blob Detection for Immersive Projection Display System.Pada penelitian ini pendeteksian warna kulit berdasarkan warna menggunakan ruang warna HSV.Untuk pengolahan morfologi citra menggunakan metode dilasi dan erosi.Disini peneliti menggunakan dua tangan dimana masing-masing gestur tangan memiliki instruksi yang berbeda.Untuk pengenalan gestur, penelitian ini menggunakan blob detection.
Perbedaan penelitian ini dari penelitian sebelumnya adalah dimana pada penelitian sebelumnya para peneliti hanya sekedar melakukan pelacakan untuk mendapatkan lokasi tangan,mengenali pola dan menghitung jumlah jari saja. namun penelitian yang akan dibuat bersamaan dengan teknologi Augmented Reality dimana gestur yang akan dikenali sistem akan menjadi sebuah perintah pada aplikasi Augmented Reality yang dibangun seperti pemilihan sceneobjek Warisan budayaKota Medan pada aplikasi.
Tabel 2.1. Penelitian Terdahulu
NO. Peneliti Judul Tahun
1. Nayana P B dan SanjevKubakaddi
Implementation of Hand Gesture Recognition Technique for HCI using OpenCV
2014
2. Hu Peng Application research on face detection technology based on OpenCV in mobile augmented reality
3. Rudy Hartanto dan Marcus Nurtiantono Aji
Perancangan Awal Antarmuka Gesture Tangan Berbasis Visual
Hand Gesture Recognition Techniques For Human Computer Interaction Using OpenCV
2014
5. Amiraj Dhawan
dan Vipul Honrao
Implementation of Hand Detection based Techniques for Human Computer Interaction
2013
6. Hasup Lee, Yoshisuke Tateyama, dan Tetsuro Ogi
Hand Gesture Recognition using Blob Detection for Immersive Projection Display System
BAB 1
PENDAHULUAN
Bab pertama dari penelitian ini akan membahas perihal latar belakang penelitian, rumusan masalah, tujuan penelitian, batasan masalah, manfaat penelitian dan sistematika penulisan.
1.1. Latar Belakang
Kota Medan adalah kota ketiga terbesar di Indonesia setelah Jakarta dan Surabaya dan sebagai pintu gerbang utama untuk Indonesia bagian barat. Medan telah berkembang menjadi kota metropolitan sejak zaman kolonial Belanda melalui berbagai produk potensial perkebunan yang diekspor ke mancanegara.
Peninggalan belanda yang masih berdiri di Kota Medan dapat dilihat dari bangunan bersejarah yang sampai saat ini masih dilestarikan di Kota Medan. Bangunan bersejarah merupakan bagian dari objek wisata yang menarik di Kota Medan(Busral, 2016).
Beberapa bangunan tua yang sangat melekat dengan kota Medan maupun kebudayaan kota Medan adalah Masjid Raya, Istana Maimun, Tugu Air Tirtanadi yang berada di kawasan matsum dan Rumah Tjong A Fie, Kantor Pos, dan Kantor Lonsum yang berada di kawasan kesawan. Namun banyak dari masyarakat yang tidak terlalu mengetahui tentang bangunan yang telah menjadi warisan budaya kota mereka. Media promosi yuang menarik adalah salah satu upaya yang dapat digunakan untuk mengatasi masalah itu agar masyarakat lebih tertarik untuk mengetahui atau mempelajari warisan budaya mereka.
Augmented Reality (AR) menawarkan kita sebuah cara baru untuk berinteraksi dengan dunia fisik (atau nyata). Ini menciptakan sebuah versi modifikasi dari realitas kita, yang diperkaya dengan informasi digital (atau virtual), pada layar komputer atau alat mobile Anda (Gruber, J dan Grasset, R.2013). Teknologi ini sering digunakan untuk media edukasi seperti memperkenalkan objek baru kepada anak usia dini, media informasi seperti saat kita menyorotkan kamera pada papan nama restaurant maka akan muncul informasi dari restauran tersebut. Dan juga Pengolahan Citra Computer Vision.Computer Vision itu sendiri adalah salah satu cabang dari Bidang Ilmu Pengolahan Citra (Image Processing) yang memungkinkan komputer dapat melihat seperti manusia.Dengan vision tersebut komputer dapat mengambil keputusan, melakukan aksi, dan mengenali terhadap suatu objek.
Penelitian lain yang sebelumnya dilakukan yaitu mengimplementasikan teknikpengenalan gestur tangan untuk HCI menggunakan OpenCV.penelitian ini mampu menghitung berapa jumlah jari tangan yang dibaca sistem.pada penelitian lainnya pada tahun tahun 2014 ,Sajjad Ur Rahman, Zeenat Afroze dan Mohammed Tareq, Melakukan penelitian yang meneliti teknik untuk interaksi manusia-mesin berdasarkan pengenalan gestur menggunakan teknologi OpenCV. Lalu Pada tahun 2015,penelitian yang dilakukan oleh Hu Peng yang berjudul Application Research on Face Detection Technology based on OpenCV in Mobile Augmented Realitymembahastentang pengembangan dari teknologi deteksi wajah dan augmented reality mobile.
Pada kesempatan ini penulis akan menambahkan fitur dukungan yaitu fitur interaksi dimana pengguna dapat memilih sendiri secara langsungscene objek Warisan budayayang ingin dilihat secara spesifik dengan mengarahkan tangan pada webcam dengan jumlah jari tangan menggunakan libraryOpenCV. Berdasarkan latar belakang diatas, penulis mengajukan penelitian dengan judul “Pengenalan Jari Tangan Sebagai Interaksi Pada Augmented Reality Bangunan Heritage Kota Medan Kawasan Matsum Dan Kesawan”.
1.2. Rumusan Masalah
pengguna lebih tertarik dalam mempelajari heritage Kota Medan.Oleh karena itu penulis ingin membuat sebuah aplikasi yang dapat menampilkan objek 3D Warisan budaya kota Medan secara nyatadengan dukungan fitur interaksi menggunakan OpenCV dalam pemilihan scene heritage agar pengguna lebih interaktif terhadap aplikasi.
1.3. Tujuan Penelitian
Mengenali jumlah jari tangan lalu menampilkanscene mengenai animasi dan objek 3Dbangunanheritage kota Medan.
1.4. Batasan Penelitian
Untuk membatasi cakupan permasalahan yang akan dibahas dalam studi ini, penulis membuat batasan :
1. Interaksiscene dilakukan dengan jumlah jari tangan. 2. Interaksi hanya untuk memilih2 scene saja
3. Pendeteksian jumlah jari tangan menggunakan webcam. 4. Waktu pembacaan jumlah jari tangan minimal 5 detik.
1.5. Manfaat Penelitian
Manfaat yang diperoleh dari penelitian ini adalah : 1. Sebagai media hiburan.
2. Sebagai media pengenalan warisan budaya kota Medan.
3. Membuat pengguna lebih interaktif pada aplikasi dengan pendeteksian tangan 4. Sebagai referensi untuk penelitian selanjutnya.
1.6. Metodologi Penelitian
Tahapan yang akan dilakukan pada pelaksanaan penelitian adalah sebagai berikut: 1. Studi Literatur
atau sumber- sumber yang berkaitan dengan augmented reality baik dari text book maupun internet .
2. Analisis
Pada tahap ini akan dilakukan analisis dari studi literatur terhadap yang dibutuhkan dalam pembangunan aplikasi pengenalan citra dari segihardware, software, teknik dan data yang dibutuhkan.
3. Perancangan
Pada tahap ini dilakukan perancangan arsitektur, pengumpulan data, dan perancangan antarmuka. Proses perancangan dilakukan berdasarkan hasil analisis studi literatur yang telah didapatkan.
4. Implementasi
Pada tahap ini dilakukan pengkodean untuk membangun aplikasi berdasarkan
analisis dan perancangan yang telah dilakukan sebelumnya.
5. Pengujian
Pada tahap ini dilakukan pengujian terhadap aplikasi yang telah dibangun dengan
mengarahkan tangan dengan jumlah jari tertentu ke webcam dan diproses oleh
aplikasi untuk memunculkan objek 3D yang telah dibuat.
6. Dokumentasi dan Penyusunan Laporan
Pada tahap ini dilakukan dokumentasi dan penyusunan laporan hasil analisis dan
implementasi teknologi augmented reality dalam menampilkan video informasi
satwa.
1.7. Sistematika Penulisan
Sistematika penulisan pada skripsi ini terdiri dari lima bagian yaitu sebagai berikut : Bab 1: Pendahuluan
Bab 2: Landasan Teori
Bab ini berisi teori-teori yang diperlukan untuk memahami permasalahanyang ada kaitannya dengan penelitian ini, baik itu dari bukumaupun referensi yang berasal dari internet.
Bab 3: Analisis dan Perancangan Sistem
Bab ini menjabarkan arsitektur umum, tiap langkah pre-processing yang dilakukan serta analisis dan penerapan teknologi OpenCVdalam mengenali jumlah jari tangan pengguna.
Bab 4: Implementasi dan Pengujian Sistem
Bab ini membahas tentang implementasi dari analisis dan perancangan yang telah disusun pada Bab 3 dan pengujian yang dilakukan untuk mengetahui apakah sistem yang telah dibangun sesuai dengan apa yang diinginkan.
Bab 5 : Kesimpulan dan Saran
ABSTRAK
Warisan budaya adalah benda atau atribut tidak berbenda yang merupakan jati diri suatu masyarakat atau kaum yang diwariskan dari generasi-generasi sebelumnya, yang dilestarikan untuk generasi-generasi yang akan datang. Warisan budaya dapat berupa benda seperti, monumen, artefak, dan kawasan, atau tak benda seperti, tradisi, bahasa, dan ritual.Berkembangannya teknologi yaitu salah satunya Augmented Realitydan juga teknologi yang dapat mengenali jumlah jari tangan dengan media webcam, maka teknologi seperti inidapat dimanfaatkandalam membangun aplikasi untuk menampilkan beberapa objek 3D yang telah dibuat dan dapat memilih beberapa objek tersebut dengan deteksi jari tangan yang diproses menggunakan OpenCV.Dalam penerapannya, objek yang berupa tangan akan dideteksi melalui webcam. tahap awal yang dilakukan adalah pemisahan objek yang diinginkan dari backgrounddengan bantuan metode warna Hsv dan metode contouruntukmendeteksi konturnya. Untuk penghitungan jari menggunakan metode convex hull dan convexity defects. Hasil dari pengenalan jumlah jari ini akandigunakan sebagai acuan dalam pemilihan scenepada animasi objek 3D. Hasil yang didapat dari penelitian ini menunjukkan bahwa jarak terbaik untuk mendapatkan hasil yang stabil yaitu pada jarak 30-50 cm dengan pencahayaan yang cukup terang dan jarak untuk pendeteksian marker pada Augmented Realityyaitu 2.5-5 meter dengan pengambilan sudut kemiringan kamera sebesar 40o.
FINGER RECOGNITION AS INTERACTION IN AUGMENTED REALITYOF MEDAN CULTURAL HERITAGE MATSUM AND KESAWAN REGION
ABSTRACT
The cultural heritage is object or non object’s attribute that is the identity of a community or people that inherited from previous generations, which is preserved for generations to come. Can be objects of cultural heritage, such as monuments, artifacts, and the region, or does not object, such as tradition, language, and ritual. technology Augmented Reality is one of them and also technology that can identify the number of fingers with media web-cam, then technology -technology like this can be used in building applications to display some 3D objects that have been created and can select multiple objects with finger detection is processed using OpenCV. In its application, the object in the form of hands will be detected through a web-cam. An initial step is the separation of the desired object from the background with the help of Hsv to detect contoursFor the calculation of the finger using the convex hull and convexity defects. The results of the calculation of fingers will be used as a reference in the election scene in the animated 3D objects. The results of this study indicate that the best distance to obtain stable results is at a distance of 30-50 cm by the lighting is bright enough and the distance to the detection marker on Augmented Reality is 2.5-5 meters by taking the angle of the camera by 400.
PENGENALAN JARI TANGAN SEBAGAI INTERAKSI PADA AUGMENTED REALITY BANGUNAN HERITAGE KOTA MEDAN
KAWASAN MATSUM DAN KESAWAN
SKRIPSI
RIDHO KURNIAWAN S
111402115
PROGRAM STUDI S1 TEKNOLOGI INFORMASI
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI
UNIVERSITAS SUMATERA UTARA
MEDAN
PENGENALAN JARI TANGAN SEBAGAI INTERAKSI PADA AUGMENTED REALITY BANGUNAN HERITAGE KOTA MEDAN
KAWASAN MATSUM DAN KESAWAN
SKRIPSI
Diajukan untuk melengkapi tugas dan memenuhi syarat memperoleh ijazah Sarjana Teknologi Informasi
RIDHO KURNIAWAN S 111402115
PROGRAM STUDI S1 TEKNOLOGI INFORMASI
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA
PERSETUJUAN
Judul :PENGENALAN JARI TANGAN SEBAGAI
INTERAKSI PADA AUGMENTED REALITY BANGUNAN HERITAGE KOTA MEDAN KAWASAN MATSUM DAN KESAWAN
Kategori : SKRIPSI
Nama : RIDHO KURNIAWAN S
Nomor Induk Mahasiswa : 111402115
Program Studi : SARJANA (S1) TEKNOLOGI INFORMASI
Fakultas : ILMU KOMPUTER DAN TEKNOLOGI
INFORMASI UNIVERSITAS SUMATERA UTARA Komisi Pembimbing :
Pembimbing 2 Pembimbing 1
Romi Fadillah Rahmat, B.Comp.Sc., Mohammad Fadly Syahputra, B.Sc.,
M.Sc M.Sc.IT
NIP. 19860303 200212 1 002 NIP. 198301292009121003
Diketahui/Disetujui oleh
Program Studi S1 Teknologi Informasi Ketua,
PERNYATAAN
PENGENALAN JARI TANGAN SEBAGAI INTERAKSI PADA AUGMENTED REALITY BANGUNAN HERITAGE KOTA MEDAN
KAWASAN MATSUM DAN KESAWAN
SKRIPSI
Saya mengakui bahwa skripsi ini adalah hasil karya saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing telah disebutkan sumbernya.
Medan, Februari 2017
Ridho Kurniawan S
UCAPAN TERIMA KASIH
Puji dan syukur penulis sampaikan kepada Allah SWT yang telah memberikan rahmat serta hidayah-Nya sehingga penulis dapat menyelesaikan skripsi ini sebagai syarat untuk memperoleh gelar Sarjana Teknologi Informasi.
Pertama, penulis ingin mengucapkan terima kasih kepada keluarga penulis, Ayahanda Bakhri Siregar, Ibunda Nurhaida, Abangda Yahdi Wanda Syahputra Siregar, Kakanda Gischa Rianda , Abangda Rizky Kurniawan Siregar, dan Adik penulis Fakhirah Munawwarah Zalfa Siregar, beserta seluruh keluarga besar yang selalu memberikan dukungan, motivasi, serta doa kepada penulis sehingga dapat menyelesaikan skripsi ini.
Penulis juga mengucapkan terima kasih kepada Bapak Mohammad Fadly Syahputra ,Bsc., M.Sc.IT selaku Dosen Pembimbing I dan Bapak Romi Fadillah Rahmat, B.Comp.Sc., M.Sc selaku Dosen Pembimbing II yang telah meluangkan waktunya untuk membimbing penulis dalam penelitian serta penulisan skripsi ini. Terima kasih penulis ucapkan kepada Ketua dan Sekretaris Program Studi S1 Teknologi Informasi, Dekan dan Wakil Dekan Fakultas Ilmu Komputer dan Teknologi Informasi, dan seluruh dosen serta staff pegawai di lingkungan Program Studi S1 Teknologi Informasi, yang telah membantu dan membimbing penulis selama masa perkuliahan.
ABSTRAK
Warisan budaya adalah benda atau atribut tidak berbenda yang merupakan jati diri suatu masyarakat atau kaum yang diwariskan dari generasi-generasi sebelumnya, yang dilestarikan untuk generasi-generasi yang akan datang. Warisan budaya dapat berupa benda seperti, monumen, artefak, dan kawasan, atau tak benda seperti, tradisi, bahasa, dan ritual.Berkembangannya teknologi yaitu salah satunya Augmented Realitydan juga teknologi yang dapat mengenali jumlah jari tangan dengan media webcam, maka teknologi seperti inidapat dimanfaatkandalam membangun aplikasi untuk menampilkan beberapa objek 3D yang telah dibuat dan dapat memilih beberapa objek tersebut dengan deteksi jari tangan yang diproses menggunakan OpenCV.Dalam penerapannya, objek yang berupa tangan akan dideteksi melalui webcam. tahap awal yang dilakukan adalah pemisahan objek yang diinginkan dari backgrounddengan bantuan metode warna Hsv dan metode contouruntukmendeteksi konturnya. Untuk penghitungan jari menggunakan metode convex hull dan convexity defects. Hasil dari pengenalan jumlah jari ini akandigunakan sebagai acuan dalam pemilihan scenepada animasi objek 3D. Hasil yang didapat dari penelitian ini menunjukkan bahwa jarak terbaik untuk mendapatkan hasil yang stabil yaitu pada jarak 30-50 cm dengan pencahayaan yang cukup terang dan jarak untuk pendeteksian marker pada Augmented Realityyaitu 2.5-5 meter dengan pengambilan sudut kemiringan kamera sebesar 40o.
FINGER RECOGNITION AS INTERACTION IN AUGMENTED REALITYOF MEDAN CULTURAL HERITAGE MATSUM AND KESAWAN REGION
ABSTRACT
The cultural heritage is object or non object’s attribute that is the identity of a community or people that inherited from previous generations, which is preserved for generations to come. Can be objects of cultural heritage, such as monuments, artifacts, and the region, or does not object, such as tradition, language, and ritual. technology Augmented Reality is one of them and also technology that can identify the number of fingers with media web-cam, then technology -technology like this can be used in building applications to display some 3D objects that have been created and can select multiple objects with finger detection is processed using OpenCV. In its application, the object in the form of hands will be detected through a web-cam. An initial step is the separation of the desired object from the background with the help of Hsv to detect contoursFor the calculation of the finger using the convex hull and convexity defects. The results of the calculation of fingers will be used as a reference in the election scene in the animated 3D objects. The results of this study indicate that the best distance to obtain stable results is at a distance of 30-50 cm by the lighting is bright enough and the distance to the detection marker on Augmented Reality is 2.5-5 meters by taking the angle of the camera by 400.
DAFTAR ISI
Abstract ii
Daftar Isi iii
Daftar Tabel vi
Daftar Gambar vii
Bab 1 Pendahuluan 1
1.6 Metodologi Penelitian 3
1.7 Sistematika Penulisan 4
Bab 2 Landasan Teori 6
2.1Computer Vision 6
2.1.1 Image Acquisition 7
2.1.2 Image Processing 7
2.1.3 Image Analysis 8
2.1.4 Image Recognition 8
2.2 Augmented Reality 8
2.3Citra Digital 9
2.4Pengolahan Citra Digital 10
2.4.1 Grayscalling 10
2.4.2 Tresholding 11
2.4.3 Erosion 12
2.4.4 Dilation 12
2.4.5 Contour 13
2.4.6 Convex-Hull 14
2.4.7 Convexity Defects 15
2.6Unity 3D 17
2.7 C# 17
2.8Penelitian Terdahulu 18
BAB 3 Analisis Dan Perancangan Sistem 21
3.1Data Yang Digunakan 21
3.2Analisis Sistem 21
3.2.1Skin Detection 22
3.2.1.1 Konversi Rgb Ke HSV 23
3.2.1.2 Atur Range HSV 23
3.2.1.3 Tresholding 24
3.2.2 Perbaikan Citra 24
3.2.2.1 Erosion 24
3.2.2.2 Dilation 25
3.2.2.3 Median Blur 26
3.2.3 Ekstraksi Fitur 26
3.2.3.1 Contour 26
3.2.3.2 Convex-Hull 27
3.2.3.3 Convexity Defects 28
3.3Use Case Diagram 29
3.4Diagram Aktivitas 30
3.5Perancangan Antarmuka 31
3.5.1 Rancangan Halaman Splash 32
3.5.2 Rancangan Pemilihan Scene 32
3.5.3 Rancangan Halaman Scene 33
BAB 4 IMPLEMENTASI DAN PENGUJIAN SISTEM 35
4.1Konfigurasi Sistem 35
4.1.1 Konfigurasi Perangkat Keras 35
4.1.2 Konfigurasi Perangkat Lunak 35
4.2Tampilan Aplikasi 36
4.2.1 Tampilan Halaman Splash 36
4.2.3 Tampilan Halaman Scene 37
4.3Pengujian Pengenalan Tangan OpenCV 38
4.4Pengujian Marker Augmented Reality 44
4.4.1 Pengujian Jarak Pendeteksian 44 4.4.2 Pengujian Sudut Kemiringan Pendeteksian 44
BAB 5 Kesimpulan Dan Saran 46
5.1 Kesimpulan 46
5.2 Saran 46
DAFTAR TABEL
Tabel 2.1. Penelitian Terdahulu 19
Tabel 4.1. Konfigurasi Perangkat Keras 35
Tabel 4.2. Konfigurasi Perangkat Lunak 35
Tabel 4.3. Pengujian Skenario 1 38
Tabel 4.4. Pengujian Skenario 2 40
Tabel 4.5. Pengujian Skenario 3 41
Tabel 4.6. Pengujian Skenario 4 42
Tabel 4.7. Pengujian Jarak Deteksi Marker 44
DAFTAR GAMBAR
2.1Citra Hasil Segmentasi 12
2.2Gambar Sebelum Erosi Dan Setelah Operasi Erosi 12 2.3Gambar Sebelum Dilasi Dan Setelah Operasi Dilasi 13 2.4Contour 14
2.5Convex-Hull 14
2.6Titik Awal Dan Titik Akhir Convexity Defects 15
2.7Area Convexity Defects 16
3.1Arsitektur Umum 22
3.2Hasil Dari Contour 27
3.3Hasil Dari Convex-Hull 28
3.4Hasil Dari Convexity Defects 29
3.5Use Case Diagram 29
3.6Activity Diagram 30
3.7Rancangan Halaman Splash 31
3.8Rancangan Halaman Pemilihan Scene 32
3.9Rancangan Halaman Scene 33
4.1Tampilan Halaman Splash 36
4.2Tampilan Halaman Pemilihan Scene 37
4.3Halaman Scene Kesawan 37
4.4Halaman Scene Kota Matsum 38
4.5Pengujian Skenario 1 Jumlah Jari 1 39
4.6Pengujian Skenario 1 Jumlah Jari 2 39
4.7Pengujian Skenario 2 Jumlah Jari 1 40
4.8Pengujian Skenario 2 Jumlah Jari 2 40
4.9Pengujian Skenario 3 42
