PENGEMBANGAN METODE BACKPROPAGATION DENGAN MENGGUNAKAN ADAPTIVE LEARNING RATE DAN
PARALLEL TRAINING DALAM PENGENALAN HURUF ATAU ANGKA PADA CITRA DIGITAL
TESIS
MUFIDA KHAIRANI 117038079
PROGRAM STUDI (S2) TEKNIK INFORMATIKA
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA
PENGEMBANGAN METODE BACKPROPAGATION DENGAN MENGGUNAKAN ADAPTIVE LEARNING RATE DAN
PARALLEL TRAINING DALAM PENGENALAN HURUF ATAU ANGKA PADA CITRA DIGITAL
TESIS
Diajukan untuk melengkapi tugas dan memenuhi syarat memperoeh ijazah Magister Teknik Informatika
MUFIDA KHAIRANI 117038079
PROGRAM STUDI (S2) TEKNIK INFORMATIKA
FAKULTAS ILMU KOMPUTER DAN TEKNOLOGI INFORMASI UNIVERSITAS SUMATERA UTARA
PERNYATAAN
PENGEMBANGAN METODE BACKPROPAGATION DENGAN MENGGUNAKANADAPTIVE LEARNING RATE DAN
PARALLEL TRAINING DALAM PENGENALAN HURUF ATAU ANGKA PADA CITRA DIGITAL
TESIS
Saya mengakui bahwa tesis ini adalah benar hasil karya sendiri, kecuali beberapa kutipan dan ringkasan yang masing – masing telah disebutkan sumbernya.
Medan, 30 Ocktober 2013
PERNYATAAN PERSETUJUAN PUBLIKASI KARYA ILMIAH UNTUK KEPENTINGAN
AKADEMIS
Sebagai civitas akademik Universitas Sumatera Utara, saya yang bertanda tangan dibawah ini :
Nama : Mufida Khairani
Nim : 117038079
Program Studi : Teknik Informatika Jenis Karya Ilmiah : Tesis
Demi pengembangan ilmu pengetahuan, menyetujui memberikan kepada Universitas Sumatera Utara Hak Bebas Royaliti Non – Ekslusif (Non-Exclusive Royality Fre Right) atas tesis saya yang berjudul :
PENGEMBANGAN METODE BACKPROPAGATION DENGAN MENGGUNAKANADAPTIVE LEARNING RATE DAN
PARALLEL TRAINING DALAM PENGENALAN HURUF ATAU ANGKA PADA CITRA DIGITAL
Beserta perangkat yang ada (jika diperlukan).Dengan hak bebas Royaliti Non-Exclusive ini, Universitas Sumatera Utara berhak menyimpan, mengalih media, memformat, mengelola dalam bentuk database,merawat dan mempublikasikan tesis saya tanpa meminta izin dari saya selama tetap mencantumkannama saya sebagai penulis dan sebagai pemegang dan/atau sebagai pemilik hak cipta
Demikian pernyataan ini dibuat dengan sebenarnya.
Medan, 30 0cktober 2013
Telah di uji pada 30 Ocktober 2013
PANITIA PENGUJI TESIS Ketua : Prof.Dr.Tulus
RIWAYAT HIDUP
DATA PRIBADI
Nama Lengkap : Mufida Khairani,ST
Tempat dan Tanggal Lahir : Tg.Morawa, 19 Desember 1989
Alamat Rumah : Jl.Dahlan Tanjung no.69 Tanjung morawa Telepon Rumah/Faks/Hp : (061) 7940856 / - / 0853 5858 5503
E-mail : mufida.khairani@gmail.com
Instansi Tempat Bekerja : - Sekolah Tinggi Teknik Harapan Medan -Smk Swasta Nur Azizi
Alamat Kantor : - Jl.H.M Joni No.70C Medan -Jl.Pahlawan Tg.Morawa
DATA PENDIDIKAN
KATA PENGANTAR
Puji syukur penulis panjatkan kehadirat Allah SWT atas berkat, rahmat dan karunianya berupa pengetahuan, kesehatan dan kesempatan yang diberikan kepada penulis sehingga dapat menyelesaikan TESIS dengan judul “PENGEMBANGAN METODE BACKPROPAGATION DENGAN MENGGUNAKAN ADAPTIVE LEARNING RATE DAN PARALLEL TRAINING DALAM PENGENALAN HURUF ATAU ANGKA PADA CITRA DIGITAL”.
Penulis dalam penyusunan untuk menyelesaikan TESIS ini banyak mendapati kesulitan dan kendala–kendala yang dihadapi, namun berkat bantuan, dorongan, nasehat dari berbagai pihak terutama dari dosen pembimbing serta dari para dosen, maka tugas tesis ini dapat diselesaikan dengan baik. Terutama tidak lepas dari dorongan orang tua, kakak,adik dan aswar aghi yang juga telah banyak memberikan bantuan dan dorongan hingga penulis dapat sampai pada TESIS ini.
Untuk itu penulis ingin menyampaiakan ucapan terimakasih yang sebesar– besarnya kepada :
1. Kedua Orangtua saya Ayahanda H.Ibrahim dan Ibunda Hj.Nazmah Nasution,S.Pd tercinta yang telah memberikan kasih sayangnya, doa yang tak pernah putus serta dorongan moril maupun materil kepada saya sehingga dapat menyelesaikan TESIS ini dengan baik.
3. Bapak Prof.Dr.Tulus selaku Pembimbing I yang telah bersedia memberikan bimbingan serta pengarahan hingga selesainya penulisan tesis ini.
4. Bapak Dr.Marwan Ramli,M.Si selaku Dosen Pembimbing II yang telah bersedia memberikan bimbingan serta pengarahan hingga selesainya penulisan tesis ini.
5. Bapak Dosen Penguji yang telah memberikan saran untuk perbaikan dan penyelesaian tesis ini.
6. Bapak dan Ibu Dosen yang telah memberikan materi perkuliahan dan ilmu pengetahuan selama penulis menyelesaikan Program Studi Pascasarjana Teknik Informatika
7. Segenap civitas akademika Program Studi Pascasarjana Teknik Informatika Sumatera Utara
8. Saudara kandung saya Syarah Aisha,S.Pd,Nazliza Ramadhani,Helmi Munawar yang telah memberikan support dan semangatnya dalam perkuliahan saya juga yang mendorong saya sehingga saya bersemangat untuk menyelesaikan TESIS ini.
9. Teristimewa Aswar Aghi,ST beserta keluarga yang telah memberikan kasih sayang, support dan semangatnya kepada penulis sehingga terselesaikan TESIS ini.
11.SMK SWASTA NUR AZIZI yang telah membesarkan nama saya dan membuat saya menjadi seseorang yang berarti dalam pekerjaan saya. Serta semangat dan dorongan dari rekan – rekan dilingkungan SMK SWASTA NUR AZIZI.
12.Teman – teman seperjuangan Angkatan 2011 Kom-C yang telah memberikan dukungan dalam penyelesaian TESIS ini.
Tentulah tiada yang sempurna di dunia ini begitu pula dalam penulisan TESIS ini, Untuk itu, penulis mengharapkan kritik dan saran dari pembaca demi kesempurnaan TESIS ini selanjutnya.
Akhir kata penulis berharap semoga laporan ini dapat bermanfaat bagi semua pihak, khususnya dalam bidang pendidikan.
Medan, 30 Ocktober 2013 Penulis
ABSTRAK
Identifikasi karakter pada media digital menjadi salah satu perhatian utama di era perkembangan teknologi saat ini. Latar belakang munculnya upaya untuk mengidentifikasi karakter menjadi bentuk digital adalah tidak terlepasnya aktifitas manusia dari dokumen atau berkas manual dalam kegiatan sehari-hari. Proses transformasi manual dengan cara menginputkan data dan informasi secara manual membutuhkan waktu lama, sehingga dianggap perlu adanya sebuah mekanisme untuk mentransformasikan data dan informasi manual tersebut ke dalam bentuk digital secara otomatis. Kegiatan identifikasi tidak terlepas dari proses klasifikasi. Jaringan syaraf tiruan telah lama digunakan dalam proses klasifikasi, dimana jaringan syaraf tiruan menawarkan fleksibilitas terhadap fitur dari objek yang akan diklasifikasikan dan ruang penyimpanan yang kecil. Salah satu metode jaringan syaraf tiruan yang terkenal adalah metode backpropagation. Kelemahan terbesar dari jaringan backpropagation adalah waktu yang dibutuhkan oleh jaringan untuk belajar menjadi sangat lama untuk kondisi data pembelajaran yang besar dan kondisi dimana fitur antara objek yang berbeda memiliki perbedaan yang kecil. Untuk mengatasi kelemahan itu maka dilakukan implementasi pengembangan dengan menerapkan konsep adaptvie learning rate dan parallel training dalam rangka meningkatkan kemampuan jaringan dalam proses pembelajaran.
BACKPROPAGATION DEVELOPMENT METHOD USING ADAPTIVE LEARNING RATE AND PARALLEL TRAINING IN RECOGNITION
LETTERS OR NUMBERS ON THE DIGITAL IMAGE
ABSTRACT
Identification of characters in digital media to be one of the major concerns in the current era of technological development . Background of attempts to identify characters into digital form is not human activities release of documents or files manually in daily activities . Transformation process manually by way of input data and the information manually takes a long time , so it is considered a need for a mechanism to transform data and manual information into digital form automatically. The identification can’t be separated from the process of classification . Artificial neural networks have long been used in the classification process , which offers the flexibility of neural networks to the features of the object to be classified and small storage space . One method which is well-known artificial neural network is backpropagation method . The biggest drawback of the backpropagation network is the time taken by the network to learn to be very long for large data conditions of learning and the conditions in which the features between different objects have small differences . To overcome the weaknesses of the implementation of the development is carried out by applying the concept of parallel adaptive learning rate and training in order to improve the ability of the network in the learning process.
DAFTAR ISI
2.6. Jaringan Syaraf Tiruan Backpropagation 10
2.7. Adaptive Learning Rate 13
2.8. Perbandingan Backpropagation Konvensional dan
Adaptive Learning Rate. 14
2.9. Parallel Training 19
BAB III MOTODOLOGI PENELITIAN 23
3.1. Rancangan Penelitian 23
3.1.1 Analisis Proses Identifikasi Karakter atau Huruf Pada
Citra Digital 24
3.2 Alat Penelitian dan Bahan 25
3.2.1 Alat Penelitian 25
3.2.2 Bahan Penelitian 26
3.2.2.2 Parameter Jaringan Backpropagation 29 3.2.2.3 Target Output Backpropagation 30
BAB IV HASIL DAN PEMBAHASAN 34
4.1 Pengantar 34
4.2 Data dan Konfigurasi Pengujian 38
4.3 Hasil dan Pengujian 40
4.3.1 Hasil Pelatihan Pengujian Pertama 41 4.3.2 Hasil Pelatihan Pengujian Kedua 43
4.4 Pembahasan 45
4.4.1 Pembahasan Hasil Pengujian pertama 46 4.4.2 Pembahasan Hasil Pengujian Kedua 47
BAB V KESIMPULAN DAN SARAN 48
5.1 Kesimpulan 48
5.2 Saran 48
DAFTAR GAMBAR
Halaman
Gambar 2.1 Proses Akuisisi Citra 5
Gambar 2.2 Representasi Citra Digital 6
Gambar 2.3 Arsitektur Multilayer Neural Network 10 Gambar 2.4 Ilustrasi Pembelajaran Karakter Angka 14 Gambar 2.5 Ilustrasi Lokal Minimal dan Global Minimal 15 Gambar 2.6 Perbandingan Laju Error Pada Percobaan Learning Rate. 18 Gambar 2.7 Grafik Perbandingan Implementasi Learning Rate 19 Gambar 2.8 Ilustrasi Parallel Training pada Data Input Karakter dan Angka 21 Gambar 2.9 Presentasi Skema Pelatihan Pada Jaringan 22 Gambar 3.1. Diagram Flowchart Proses Identifikasi Karakter Huruf atau
Angka Pada Citra Digital 24
Gambar 3.2 Karakter A 26
Gambar 4.1 Tampilan Output Aplikasi Pengenalan Karakter Menggunakan Metode Jaringan Syaraf Backpropagation 35
Gambar 4.2 Tampilan Data Karakter 36
Gambar 4.3 Tampilan Input Data karakter 36
Gambar 4.4 Proses Pelatihan Jaringan Backpropagation 37 Gambar 4.5 Proses Pelatihan Pada Pengujian Pertama 41 Gambar 4.6 Proses Pelatihan Pada Pengujian Kedua 43 Gambar 4.7 Perbandingan Laju Error Jaringan Backpropagation Normal
dengan Backpropagation Pengembangan Pada Pelatihan
Pengujian Pertama 45
Gambar 4.8 Perbandingan Laju Error Jaringan Backpropagation Normal dengan Backpropagation Pengembangan Pada Pelatihan
DAFTAR TABEL
Halaman
Tabel 3.1 Bagian dari karakter akan diberi nilai 1dan 0 28 Tabel 3.2 Jumlah Partisi dan Unit Jaringan pada pelatihan paralel 30
Tabel 4.1 Atribut Citra Digital 38
Tabel 4.2 Hasil Pengujian Pelatihan Pertama 42 Tabel 4.3 Nilai Alpha Dari Pengujian Pertama 42
Tabel 4.4 Hasil Pengujian Pelatihan Kedua 44
ABSTRAK
Identifikasi karakter pada media digital menjadi salah satu perhatian utama di era perkembangan teknologi saat ini. Latar belakang munculnya upaya untuk mengidentifikasi karakter menjadi bentuk digital adalah tidak terlepasnya aktifitas manusia dari dokumen atau berkas manual dalam kegiatan sehari-hari. Proses transformasi manual dengan cara menginputkan data dan informasi secara manual membutuhkan waktu lama, sehingga dianggap perlu adanya sebuah mekanisme untuk mentransformasikan data dan informasi manual tersebut ke dalam bentuk digital secara otomatis. Kegiatan identifikasi tidak terlepas dari proses klasifikasi. Jaringan syaraf tiruan telah lama digunakan dalam proses klasifikasi, dimana jaringan syaraf tiruan menawarkan fleksibilitas terhadap fitur dari objek yang akan diklasifikasikan dan ruang penyimpanan yang kecil. Salah satu metode jaringan syaraf tiruan yang terkenal adalah metode backpropagation. Kelemahan terbesar dari jaringan backpropagation adalah waktu yang dibutuhkan oleh jaringan untuk belajar menjadi sangat lama untuk kondisi data pembelajaran yang besar dan kondisi dimana fitur antara objek yang berbeda memiliki perbedaan yang kecil. Untuk mengatasi kelemahan itu maka dilakukan implementasi pengembangan dengan menerapkan konsep adaptvie learning rate dan parallel training dalam rangka meningkatkan kemampuan jaringan dalam proses pembelajaran.
BACKPROPAGATION DEVELOPMENT METHOD USING ADAPTIVE LEARNING RATE AND PARALLEL TRAINING IN RECOGNITION
LETTERS OR NUMBERS ON THE DIGITAL IMAGE
ABSTRACT
Identification of characters in digital media to be one of the major concerns in the current era of technological development . Background of attempts to identify characters into digital form is not human activities release of documents or files manually in daily activities . Transformation process manually by way of input data and the information manually takes a long time , so it is considered a need for a mechanism to transform data and manual information into digital form automatically. The identification can’t be separated from the process of classification . Artificial neural networks have long been used in the classification process , which offers the flexibility of neural networks to the features of the object to be classified and small storage space . One method which is well-known artificial neural network is backpropagation method . The biggest drawback of the backpropagation network is the time taken by the network to learn to be very long for large data conditions of learning and the conditions in which the features between different objects have small differences . To overcome the weaknesses of the implementation of the development is carried out by applying the concept of parallel adaptive learning rate and training in order to improve the ability of the network in the learning process.
BAB I PENDAHULUAN
1.1 Latar Belakang
OCR merupakan sekumpulan teknik dan proses yang digunakan dalam meng-ekstrak informasi karakter yang terdapat pada citra digital. Citra digital telah digunakan hampir di semua aspek kehidupan manusia, mulai dari pendidikan, bisnis, pemerintahan dan aspek – aspek lainnya.
Seiring berkembangnya teknologi, sebuah dokumen fisik dapat secara langsung diproses oleh komputer melalui perangkat pemindai atau scanner. Scanner
mentransformasikan sinyal analog dari dokumen menjadi data digital seperti layaknya sebuah kamera. Data digital tersebut kemudian di-enkapsulasi menjadi sebuah citra digital yang mengandung karakter yang berasal dari dokumen yang direpresentasikan.
Proses identifikasi atau ekstraksi karakter pada sebuah citra digital merupakan proses yang rumit dan panjang. Banyak metode yang digunakan dalam proses identifikasi karakter pada citra digital, salah satu metode yang banyak digunakan dalam bidang OCR adalah metode jaringan syaraf tiruan BackPropagation. BackPropagation merupakan metode yang banyak digunakan dalam proses identifikasi dan proses klasifikasi, sehingga metode ini sangat sering digunakan dalam proses OCR.
BackPropagation merupakan metode yang sangat baik dalam proses klasifikasi mengingat kemampuannya dalam mengadaptasikan kondisi jaringan dengan data yang diberikan dengan proses pembelajaran. Dibalik kelebihannya BackPropagation memiliki kelemahan yang sangat menonjol, yaitu membutuhkan waktu yang cukup lama dalam proses pembelajarannya. Untuk mengatasi kelemahan tersebut telah banyak penelitian yang dilakukan oleh peneliti – peneliti jaringan syaraf tiruan. Salah satu pengembangan yang diusulkan dalam penerapan metode BackPropagation adalah penggunaan teknik
selalu berubah-ubah sesuai dengan kondisi perubahan error pada tiap iterasinya (Moreira & Fiesler, 1995).
Adaptive learning rate memiliki pengaruh yang cukup baik pada beberapa kasus, dimana nilai eror akan lebih cepat menuju ke global optima (Moreira & Fiesler, 1995). Namun pada beberapa kasus lain adaptive learning rate tidak memiliki peran yang cukup besar dalam meningkatkan kecepatan dan terkadang malah memperburuk tingkat pembelajaran. Penggunaan metode adaptive lainnya seperti adaptive momentum (Moreira & Fiesler, 1995) dirasa juga tidak memiliki perbedaan yang signifikan mengingat perubahan dilakukan pada parameter pada jaringan BackPropagation.
Metode adaptive learning rate memberikan peningkatan kecepatan pada proses pembelajaran BackPropagation namun peningkatan kecepatan yang diberikan tidaklah signifikan sehingga diperlukan penambahan pengembangan lainnya yang terfokus pada mempercepat proses iterasi jaringan sehingga nilai eror pada jaringan cepat menuju ke nilai global optima (Moreira & Fiesler, 1995). Untuk mempercepat proses iterasi pada jaringan BackPropagation, banyak teknik yang dapat digunakan yang salah satunya adalah teknik Parallel Training dimana proses pembelajaran dilakukan secara parallel (Schuessler & Loyola, 2011).
Parallel Training dapat dilakukan dengan beberapa cara yaitu dengan
memanfaatkan beberapa prosessor sekaligus dan juga dengan memanfaatkan teknologi
multithreading dimana sebuah prosessor dengan beberapa unit pengolah dapat memproses
beberapa thread dalam satu waktu (Schuessler & Loyola, 2011). Parallel Training dengan teknologi multithreading menjadi pilihan karena menggunakan beberapa processor akan membutuhkan biaya yang besar.
Berdasarkan uraian diatas,perlu dilakukan pengembangan algoritma
BackPropagationdalam rangka mempercepat proses pembelajaran dan memperkecil eror.
pada citra digital. Karenanya judul penelitian tesis yang diusulkan
adalah“PENGEMBANGAN METODE BACKPROPAGATION DENGAN
MENGGUNAKAN ADAPTIVE LEARNING RATE DAN PARALLEL
TRAINING DALAM PENGENALAN HURUF ATAU ANGKA PADA CITRA DIGITAL”.
1.2 Rumusan Masalah
Bagaimana untuk peningkatkan kecepatan proses pembelajaran metode Backpropagation
dalam mengidentifikasi karakter angka dan huruf pada citra digital. Masalah utama dalam penelitian ini adalah terkait dengan pengembangan algoritma Back Propagation dalam bentuk kombinasi Adaptive Learning Rate dan Parallel Training.
1.3 Tujuan Penelitian
Penelitian ini bertujuan untuk mengembangkan algoritma Back Propagation dengan menggunakan kombinasi adaptive learning rate dan parallel training pada identifikasi citra digital.
1.4 Batasan Masalah
Dalam penelitian ini telah ditentukan batasan – batasan dari topik yang dibahas sehingga tidak menyebabkan cakupan pembahasan yang terlalu luas sehingga fokus utama dari penelitian menjadi kabur. Beberapa batasan masalah yang ditentukan pada penelitian ini dapat dijabarkan sebagai berikut.
1. Media yang digunakan dalam penelitian ini adalah citra digital.Algoritma adaptive learning rate dan parallel training pada metode backpropagation akan menjadi topik utama pada penelitian ini.
2. Implementasi penelitan dilakukan dengan penerapan metode backpropagation
dengan pengembangan adaptive learning rate dan parallel training pada identifikasi karakter huruf atau angka pada citra.
3. Ukuran defaulthuruf atau angka adalah tinggi 10 piksel dan lebar 9 piksel.
4. Banyaknya jumlah kata yang dapat dikenali adalah sebanyak satu baris atau maksimal 70x10 piksel atau maksimal 77 huruf dalam satu baris.
6. Untuk citra kata dan kalimat huruf yang dapat dikenali adalah huruf capital dan huruf kecil sedangkan untuk angka dikenalkan bilangan decimal 0 s/d 9
1.5 Metodologi Penelitian
Metode penelitian dalam penyusunan tugas ini dibagi menjadi dua tahap yaitu, tahap pengumpulan data dan tahap pembangunan perangkat lunak.
1.5.1 Tahap Pengumpulan Data
BAB II DASAR TEORI
2.1 Citra Digital
Citra digital didefinisikan sebagai fungsi f (x,y) dua dimensi,dimana x dan y adalah koordinat spasial dan f(x,y) adalah disebut dengan intensitas atau tingkat keabuan citra pada koordinat x dan y (R.C.Gonzales, R.E.Woods,2002). Jika x, y, dan nilai f terbatas dalam diskrit, maka disebut dengan citra digital. Citra digital dibentuk dari sejumlah elemen terbatas, yang masing-masing elemen tersebut memiliki nilai dan koordinat tertentu. Pixel adalah elemen citra yang memiliki nilai yang menunjukkan intensitas warna (R.C.Gonzales, R.E.Woods, Woods,2002).
Citra digital diperoleh melalui proses penangkapan atau akuisisi pada objek pada lingkungan nyata melalui perangkat yang dilengkapi dengan sensor optic yang mampu mendeteksi intensitas cahaya dan merepresentasikan intensitas tersebut menjadi nilai diskrit (Sutoyo, 2009).
Gambar 2.1 Proses Akuisisi Citra (Sutoyo, 2009)
2.2 Sifat Citra Digital
pikselnya atau biasa dinyatakan dalam ukuran N x M dimana N untuk baris dan M untuk kolom. Misalnya diambil suatu kotak kecil dari bagian citra direpresentasikan dengan matriks berukuran 9 x 9, seperti terlihat pada Gambar 2.1
Gambar 2.2 Representasi Citra Digital Sumber : R.C.Gonzales,R.E.Woods ( 2002 )
2.3 Citra Grayscale
Citra yang ditampilkan dari citra jenis ini terdiri atas warna abu-abu, bervariasi pada warna hitam
pada bagian yang intensitas terlemah dan warna putih pada intensitas terkuat. Citra grayscale
berbeda dengan citra "hitam-putih", dimana pada konteks komputer, citra hitam putih hanya terdiri
atas 2 warna saja yaitu "hitam" dan "putih" saja. Pada citra grayscale warna bervariasi antara hitam dan putih, tetapi variasi warna diantaranya sangat banyak. Citra grayscale seringkali merupakan perhitungan dari intensitas cahaya pada setiap pixel pada spektrum elektromagnetik
single band.
2.4 Image Thinning
Thinning (biasa disebut juga skeletonizing) adalah suatu metode untuk merepresentasikan transformasi suatu bentuk gambar ke bentuk graph dengan mereduksi informasi tertentu dalam gambar tersebut. Thinning ini biasa digunakan mencari bentuk dasar/rangka/skeleton dari suatu gambar. Contohnya pada PCB (printed circuit boards) untuk mengetahui aliran/arus data pada PCB tersebut. Selain untuk kompresi suatu gambar, kegunaan lain dari thinning adalah untuk mencari informasi tertentu dari suatu gambar dengan menghilangkan informasi yang tidak diperlukan. Misalnya saja untuk mencari dataran tinggi dalam peta geografis.
Algoritma thinning binary regions memberikan aspek sebagai berikut : 1. thinning tidak menghapus point terakhir
2. thinning tidak merusak konektivitas
3. thinning tidak menyebabkan pengikisan berlebihan dari region. Diasumsikan region points memiliki nilai 1 dan background points memiliki nilai 0. Metode ini terdiri dari 2 langkah dasar yang dikenakan terhadap contour points dari suatu region, dimana
contour points adalah sembarang piksel dengan nilai 1 dan memiliki paling sedikit satu dari 8-tetangga bernilai 0. Algoritma ini menggunakan tanda untuk memilih piksel mana yang akan dihapus. Aturannya, 8-tetangga terdekat dari setiap piksel P1 dinomori P2 (untuk piksel di atas P1) sampai dengan P9 sesuai dengan arah jarum jam.
Langkah 1 Beri tanda sebuah contour point pi untuk dihapus apabila memenuhi semua
(a) 2 < N(Pi) < 6;
Langkah 2 Hampir sama dengan langkah 1, hanya saja pada langkah 2 ini bagian (c) dan (d) berubah menjadi sebagai berikut :
(c) P2 . P4 . P8 = 0;
(d)P2 . P6 . P8 = 0;
Langkah 1 diterapkan untuk border pixel pada binary region. Jika satu atau lebih dari kondisi (a) sampai dengan (d) tidak dipenuhi, maka nilai dari point yang diperiksa tidak berubah (tidak perlu diberi tanda). Points yang diperiksa tidak akan dihapus sampai semua border points
selesai diproses. Hal ini dilakukan untuk mencegah agar tidak terjadi perubahan pada struktur data
saat pengeksekusian algoritma. Setelah langkah 1 telah selesai dilakukan terhadap semua border points , semua yang telah diberi tanda dihapus (diubah ke 0). Lalu, langkah 2 baru dijalankan terhadap hasil data persis sama seperti pada langkah 1.
Jadi, satu iterasi dalam algoritma thinning ini terdiri dari :
1. Pengerjaan langkah 1 untuk memberi tanda pada border points untuk dihapus. 2. Penghapusan points yang telah diberi tanda.
3. Pengerjaan langkah 2 untuk memberi tanda border points yang tersisa untuk dihapus.
4. Penghapusan points yang telah diberi tanda.
Prosedur dasar ini akan beriterasi hingga tidak ada points yang dapat dihapus lagi, sehingga hasil yang didapat adalah skeleton (kerangka) dari region. Proses thinning ini, menghilangkan informasi-informasi tertentu dalam gambar, dengan tetap mempertahankan informasi yang paling utama atau kerangka utama gambar tersebut. Jadi misalnya terdapat suatu
2.5 Jaringan Syaraf Tiruan
Hermawan,A.2006 mendefinisikan Jaringan Syaraf Tiruan adalah suatu struktur pemroses informasi yang terdistribusi dan bekerja secara paralel, yang terdiri atas elemen pemroses (yang memiliki memori lokal dan beroperasi dengan informasi lokal) yang diinterkoneksi bersama dengan alur sinyal searah yang disebut koneksi. Setiap elemen pemroses memiliki koneksi keluaran tunggal
yang bercabang (fan out) ke sejumlah koneksi kolateral yang diinginkan (setiap koneksi membawa sinyal yang sama dari keluaran elemen pemroses tersebut). Keluaran dari elemen pemroses tersebut dapat merupakan sebarang jenis persamaan matematis yang diinginkan. Seluruh proses yang berlangsung pada setiap elemen pemroses harus benar-benar dilakukan secara lokal, yaitu keluaran hanya bergantung pada nilai masukan pada saat itu yang diperoleh melalui koneksi dan nilai yang tersimpan dalam memori lokal.
Jaringan neuron buatan terdiri atas kumpulan grup neuron yang tersusun dalam lapisan :
1. Lapisan input (Input Layer): berfungsi sebagai penghubung jaringan ke dunia luar (sumber data).
2. Lapisan tersembunyi (hidden Layer): Suatu jaringan dapat memiliki lebih dari satu hidden layer atau bahkan bisa juga tidak memilikinya sama sekali.
3. Lapisan Output (Output Layer): Prinsip kerja neuron pada lapisan ini sama dengan prinsip kerja neuron-neuron pada lapisan tersembunyi (hidden layer) dan di sini juga digunakan fungsi Sigmoid, tapi keluaran dari
neuron pada lapisan ini sudah dianggap sebagai hasildari proses
Secara umum, terdapat tiga jenis neural network yang sering digunakan berdasarkan jenis network-nya, yaitu : 1. Single-Layer Neural adalah jaringan syaraf tiruan yang memiliki koneksi pada inputnya secara langsung ke
jaringan output.
2. Multilayer Perceptron Neural Network adalah jaringan syaraf tiruan yang mempunyai layer yang dinamakan "'hidden', ditengah layer input dan output. Hidden ini bersifat variabel, dapat digunakan lebih dari satu
hidden layer.
3. Recurrent Neural Networks Neural network adalah jaringan syaraf tiruan yang memiliki ciri, yaitu adanya koneksi umpan balik dari output ke input
2.6 Jaringan Syaraf Tiruan Backpropagation
Backpropagation adalah salah satu pengembangan dari arsitektur Single Layer Neural Network. Arsitektur ini terdiri dari input layer, hidden layer dan output layer, dan setiap
layer terdiri dari satu atau lebih aritificial neuron. Nama umum dari arsitektur ini adalah
Gambar 2.3 : Arsitektur Multilayer Neural Network
Sumber : Hermawan, A ( 2006
Dengan menggunakan arsitektur jenis ini, maka metode pelatihan yang digunakan adalahBackpropagation yang biasanya disebut juga sebagai feedforward networks.
Algoritma selengkapnya elatihan jaringan backpropagation adalah sebagai berikut :
Langkah 0 :Inisialisasi bobot (ambil bobot awal dengan nilai random yang cukup kecil).
Langkah 1 :Bila syarat berhenti adalah salah, kerjakan langkah 2 sampai 9 Langkah 2 :Untuk setiap pasangan pelatihan, kerjakan langkah 3-8. Feedforward:
Langkah 3 : Tiap-tiap unit input (Xi, i=1,2,3,...,n) menerima sinyal xi dan meneruskan sinyal ke semua unit pada lapisan hidden (lapisan tersembunyi).
Langkah 4 : Tiap-tiap unit lapisan tersembunyi (Zj, j=1,2,3,...,p) menjumlahkan sinyal-sinyal input terbobot:
Gunakan fungsi aktivasi untuk menghitung sinyal outputnya:
zj = f(z_inj) (2.2)
Langkah 5 : Tiap-tiap output (Yk, k=1,2,3,...,m) menjumlahkan sinyal-sinyal input
gunakan fungsi aktivasi untuk menghitung sinyal outputnya:
yk = f(y_ink) (2.4) dan kirimkan sinyal tersebut ke semua unit di lapisan hidden (lapisan tersembunyi).
Catatan: Langkah (b) dilakukan sebanyak jumlah lapisan tersembunyi. Backpropagation
Langkah 6 : Tiap-tiap unit output (Yk, k=1,2,3,...,m) menerima target pola yang berhubungan dengan pola input pembelajaran, hitung informasi errornya
δk = (tk-yk) f’(y_ink) (2.5)
Kemudian hitung koreksi bobot (yang nantinya akan digunakan untuk memperbaiki nilai wjk):
∆wjk = αδkzj (2.6)
Hitung juga koreksi bias
∆w0k = αδk (2.7)
Langkah 7 : Tiap-tiap unit lapisan tersembunyi (Zj, j=1,2,3,...,p) menjumlahkan delta inputnya (dari unit-unit yang berada dilapisan hidden).
δ_inj =
Kalikan nilai ini dengan turunan dari fungsi aktivasi untuk menghitung informasi error:
kemudian hitung koreksi bobot:
∆vij = αδjxi (2.10)
Langkah 8 :Tiap-tiap unit ouput (Yk, k=1,2,3,...,m) memperbaiki bias dan bobotnya (j=1,2,3,...,p):
wjk(baru) = wjk(lama) + ∆wjk (2.11) Tiap-tiap unit lapisan tersembunyi (Zj, j=1,2,3,...,p) memperbaiki nilai bias dan bobotnya (i=1,2,3,...,n. ):
vij(baru) = vij(lama) + ∆vij (2.12) Langkah 9 : Uji syarat berhenti.
2.7 Adaptive Learning Rate
Adaptive Learning Rate merupakan pendekatan atau metode yang bertujuan untuk
meningkatkan efektifitas dari parameter tingkat pembelajaran atau learning rate, dimana tingkat pembelajaran merupakan parameter yang berfungsi untuk meningkatkan kecepatan belajar dari jaringan backpropagation.
Adaptive learning rate muncul karena penelitian yang dilakukan pada nilai yang konstan pada tingkat pembelajaran menyebabkan metode jaringan backpropagation
menjadi tidak efisien, dikarenakan sangat bergantung pada nilai tingkat pembelajaran yang dipilih (Plagianakos, 1998). Pemilihan tingkat pembelajaran yang tidak tepat akan menyebabkan jaringan sangat lambat mencapai local optima. Karena alasan tersebut maka muncullah pendekatan adaptive learning rate.
Implementasi adaptive learning rate adalah mengganti nilai learning rate yang digunakan dalam koreksi bobot pada jaringan pada tiap iterasi menggunakan persamaan yang diusulkan oleh (Plagianakos, 1998) sebagai berikut.
(2.13)
= Bobot baru untuk iterasi berikutnya (t+1)
= Bobot pada iterasi saat (t)
= Adaptive Learning Rate
= Fungsi Error pada bobot iterasi saat (t)
Nilai dapat diperoleh dari persamaan berikut.
(2.14)
Dimana :
=
= Faktor Pertumbuhan Maksimum
2.8 Perbandingan Backpropagation Konvensional dan Adaptive Learning Rate Algoritma backpropagation merupakan algoritma yang digunakan dalam mengidentifikasi karakter huruf atau angka yang terdapat pada citra input. Secara garis besar, algoritma
backpropagation dibagi menjadi dua tahap, yaitu tahap forward propagation dan
backward propagation. Seperti yang telah dijelaskan pada bab landasan teori sebelumnya,
Gambar 2.4 Ilustrasi Pembelajaran Karakter Angka.
Backward propagation melakukan koreksi nilai bobot pada tiap lapisan mulai dari
lapisan output menuju ke lapisan input, koreksi bobot didasarkan atas selisih antara output yang dihasilkan oleh jaringan dengan output yang diharapkan. Setelah proses koreksi bobot selesai maka tahap forward propagation akan di lakukan kembali dengan bobot baru yang telah dikoreksi.
Proses forward dan backward propagation terus dilakukan sampai jaringan mampu menghasilkan output yang diharapkan atau dianggap mampu mengenali karakter yang diberikan. Secara normal metode backpropagation membutuhkan waktu yang sangat lama dalam proses pembelajarannya dimana waktu yang dibutuhkan berbanding lurus dengan banyaknya data pelatihan, yang artinya semakin besar data pelatihan maka akan semakin lama proses pembelajaran yang dilakukan.
Gambar 2.5 Ilustrasi Lokal Minimal dan Global Minimal
(Sumber : http://mnemstudio.org/neural-networks-multilayer-perceptron-design.html,2013)
Suatu jaringan dikatakan sudah belajar jika jaringan tersebut sudah mencapai kondisi global minima atau kondisi dimana jaringan telah mencapai nilai error terendah. Untuk mempercepat jaringan menuju ke global minima maka diperlukan beberapa pengembangan terhadap metode backpropagation tersebut, yang dalam penelitian ini salah satu pengembangan yang diusulkan adalah adaptive learning rate.
backpropagation. Metode adaptive learning rate dilakukan pada saat koreksi bobot berlangsung. Algoritma backpropagation normal menggunakan parameter learning rate
sebagai konstanta, dimana parameter tersebut digunakan terus menerus selama proses iterasi pembelajaran tanpa mengalami perubahan. Dengan menggunakan adaptive learning rate, parameter learning rate atau tingkat pembelajaran terus mengalami perubahan seiring proses pembelajaran yang perubahan nilainya bergantung pada selisih error pada tiap iterasi pembelajaran.
Pada operasi backpropagation normal, operasi koreksi bobot dilakukan dengan perhitungan fungsi error terlebih dahulu dengan persamaan berikut.
(2.15)
Dimana :
=
Fungsi Error pada iterasi ke - k=
Target Output pada node ke - k=
Output jaringan pada node ke – kSedangkan untuk mencari fungsi error pada bobot ke-k dapat dilihat pada persamaan berikut. Penggunaan fungsi error pada operasi koreksi bobot menggunakan persamaan berikut.
(2.16)
Dimana :
=
Bobot baru untuk iterasi k+1=
Learning Rate=
Fungsi Error pada iterasi ke –kPada operasi backpropagation normal, parameter learning rate bernilai statis dimana nilai parameter dipilih pada awal pembelajaran dan terus digunakan pada setiap iterasi tanpa mengalami perubahan.
Penggunaan adaptive learning rate memberikan dampak positif dimana proses menuju local optima akan semakin cepat. Dimana dengan tingkat pembelajaran yang selalu menyesuaikan diri dengan nilai error yang dihasilkan mampu memberikan stabilitas dalam proses pembelajaran dibandingkan dengan tingkat pembelajaran yang konstan atau statis.
Berdasarkan penelitian yang dilakukan oleh Plagianakos, berikut usulan persamaan dalam menghitung nilai learning rate pada tiap iterasi (Plagianakos, 1998).
(2.17)
Dimana :
=
Learning Rate pada iterasi ke – k=
=
Pada penelitian yang dilakukan oleh Daohang Sha dan Vladimir mengenai
adaptive learning rate, mereka melakukan perbandingan performa dari learning rate statis
dan penggunaan adaptive learning rate yang dapat dilihat pada gambar berikut.
Gambar 2.6 Perbandingan Laju Error Pada Percobaan Learning Rate (Sumber : Sha & Bajic, 2000)
Pada gambar 2.6 dapat dilihat lajur error dari Variable rate atau dengan kata lain
Gambar 2.7 Grafik Perbandingan Implementasi Learning Rate.
(Sumber : Ranganath, 2013)
2.9 Parallel Training
Parallel training merupakan pendekatan implementasi pelatihan jaringan
Backpropagation dimana proses pelatihan dilakukan secara parallel. Dipandang dari sudut
pandang perangkat keras, parallel training dapat dibagi menjadi dua kategori yang mana kategori pertama adalah pelatihan parallel dengan memanfaatkan unit pengolah atau CPU lebih dari satu sedangkan kategori kedua adalah pelatihan parallel dengan menggunakan teknologi multithreading (Mumtazimah, 2012).
Jaringan backpropagation adalah sebuah proses berulang yang seringkali menbutuhkan waktu yang sangat lama dalam prosesnya. Ketika proses pelatihan dibagi menjadi beberapa unit dan diproses secara bersamaan maka waktu yang dibutuhkan juga akan jauh lebih sedikit. Berikut tahap – tahap dalam implementasi Parallel Training pada jaringan Backpropagation (Schuessler & Loyola, 2011).
1. Partisi set data pelatihan T menjadi bagian – bagian yang sama besar (T1, T2,…, Tn). Pada penelitian ini objek yang akan di-identifikasi adalah objek karakter huruf dan angka dimana jumlah karakter huruf dan angka dapat dijabarkan menjadi :
Jumlah Huruf Biasa = 26 Jumlah Angka = 10 Total Karakter = 62
Jika terdapat sepuluh unit jaringan backpropagation maka data karakter akan dipartisi menjadi sepuluh partisi dengan rincian sebagai berikut.
T1 = 6 Karakter (A,B,C,D,E,F)
T2 = 6 Karakter (G,H,I,J,K,L)
T3 = 6 Karakter (M,N,O,P,Q,R)
T4 = 6 Karakter (S,T,U,V,W,X)
T5 = 6 Karakter (Y,Z,a,b,c,d)
T6 = 6 Karakter (e,f,g,h,i,j)
T7 = 6 Karakter (k,l,m,n,o,p)
T8 = 6 Karakter (q,r,s,t,u,v)
T9 = 6 Karakter (w,x,y,z,0,1)
T10 = 8 Karakter (2,3,4,5,6,7,8,9)
Gambar 2.8 Ilustrasi Parallel Training pada Data Input Karakter dan Angka 3. Lakukan proses forward propagation pada tiap unit.
4. Hitung total perubahan bobot dari semua unit jaringan, dan terapkan koreksi perubahan bobot pada tiap jaringan.
Perhitungan fungsi error dilakukan dengan menghitung rata-rata dari jumlah fungsi error pada tiap unit backpropagation menggunakan persamaan berikut.
(2.18)
Dimana :
=
Fungsi Error total ke - k=
fungsi error pada unit backpropagation ke - i=
Jumlah unit backpropagationBerdasarkan persamaan diatas nilai fungsi error total digunakan dalam menghitung nilai learning rate seperti yang telah dibahas pada sub bab analisis sebelumnya, dan dilanjutkan dengan perhitungan bobot baru atau . Nilai perubahan bobot akan dikirimkan ke setiap unit backpropagation untuk mengoreksi bobot pada setiap unit.
5. Ulangi langkah tiga sampai kondisi berhenti tercapai. ! " # $$
% & ' $$ (
! " #
) * + , - .
% &
Gambar 2.9 Presentasi skema pelatihan pada jaringan (a) Pelatihan tanpa implementasi parallel, (b) Pelatihan dengan implementasi parallel.
BAB III
METODOLOGI PENELITIAN
Backpropagation merupakan metode jaringan syaraf tiruan yang mampu mempelajari
pengetahuan yang diberikan. Backpropagation memiliki performa yang sangat baik dalam operasi klasifikasi dan identifikasi. Backpropagation memiliki dua proses utam yaitu
forward propagation dimana input akan diproses melalui neuron yang terdapat pada jaringan dan menghasilkan output atau tanggapan. Tahap kedua adalah backward propagation dimana bobot yang menghubungkan antar neuron di koreksi sebagai reaksi atas perbaikan tanggapan yang tidak sesuai dengan yang diharapkan. Kedua operasi tersebut akan terus dilakukan sampai jaringan mampu memberikan output atau tanggapan yang diharapkan.
Dengan penerapan operasi forward propagation dan backwardpropagation,
backpropagation menjadi salah satu metode yang sangat baik dalam akurasinya. Dibalik
kelebihannya backpropagation memiliki kelemahan dalam segi konsumsi sumber daya waktu dalam proses pembelajarannya. Pada penelitian ini akan dilakukan penerapan pengembangan pada metode backpropagation dengan menambahkan kombinasi algoritma
adaptive learning rate dan parallel training. Implementasi dari pengembangan metode
backpropagation akan dilakukan pada proses identifikasi karakter atau huruf pada citra digital.
3.1 Rancangan Penelitian
Dalam menerapkan pengembangan algoritma adaptive learning rate dan parallel training
3.1.1 Analisis Proses Identifikasi Karakter atau Huruf Pada Citra Digital
Pada penelitian ini proses identifikasi karakter atau huruf pada citra digital dapat dibagi menjadi dua tahap, yaitu tahap pembelajaran dan tahap identifikasi. Tahap – tahap tersebut dapat dilihat pada diagram flowchart pada gambar 3.1 berikut.
Pada gambar 3.1 dapat dilihat bahwa pada tahap pembelajaran proses diawali dengan input citra yang kemudian dilanjutkan dengan proses praproses citra dan terakhir pembelajaran jaringan backpropagation. Proses praproses citra merupakan kumpulan proses – proses yang digunakan untuk menyiapkan citra input untuk dijadikan masukan ke dalam jaringan backpropagation. Proses praproses pada penelitian ini terbagi menjadi tiga tahap yaitu :
1. Proses Grayscaling 2. Proses Binerisasi 3. Proses Thining
Penjelasan dari tiap proses diatas akan dibahas pada sub bab selanjutnya. Berikutnya pada tahap identifikasi tahap terdiri dari input citra yang kemudian dilanjutkan dengan proses praproses citra dan kemudian diproses pada jaringan backpropagation. Pada tahap jaringan backpropagation, proses yang dilakukan adalah proses forward backpropagation mengingat pada saat identifikasi yang diharapkan adalah output dari jaringan langsung tanpa ada koreksi atau target output seperti pada saat pembelajaran.
3.2 Alat Penelitian dan Bahan Penelitian 3.2.1 Alat Penelitan
Pada penelitian ini digunakan alat penelitian berupa perangkat keras dan perangkat lunak sebagai berikut:
a. Perangkat keras
1. 1 (satu)unit PC dengan spesifikasi sebagai berikut. - Prosessor Intel Pentium Core2Duo 3.0 GHz. - RAM DDR2 2 GB.
- HDD 500 GB.
- Monitor 14” dengan resolusi layar 1024x768 piksel. b. Perangkat lunak
Bahan yang digunakan pada penelitian ini adalah databinerisasi dari karakter huruf dan angka pada citra digital yang digunakan, jumlah node input, jumlah node hidden, jumlah node output beserta bobot – bobot pada tiap koneksi node pada jaringan backpropagation. Berikut rincian dari bahan – bahan penelitian yang akan digunakan.
3.2.2.1Bahan Penelitian Karakter Huruf dan Angka
Bahan penelitian huruf karakter huruf dan angka terdiri dari himpunan karakter huruf besar dan huruf kecil serta karakter huruf angka mulai dari karakter 0 sampai 9. Berdasarkan batasan masalah yang telah penulis jabarkan, ukuran jendela untuk tiap karakter adalah 9 x 10 piksel. Berikut sample dari bahan penelitian karakter huruf ‘A’, arah pembacaan nilai dilakukan dari sumbu Y menuju sumbu X, dengan kata lain pembacaan nilai piksel dilakukan kebawah dan dilanjutkan ke samping. Bagian dari karakter akan diberi nilai 1, dan selain dari bagian karakter akan bernilai 0.
Karakter ‘A’.
Gambar 3.2 Karakter A
Node Input Nilai Input Node Input Nilai Input
X1 0 X46 0
X2 0 X47 1
X3 0 X48 0
X4 0 X49 0
X6 0 X51 0
X7 0 X52 0
X8 0 X53 1
X9 1 X54 1
X10 1 X55 1
X11 0 X56 1
X12 0 X57 1
X13 0 X58 0
X14 0 X59 0
X15 0 X60 0
X16 0 X61 0
X17 1 X62 0
X18 1 X63 0
X19 1 X64 0
X20 0 X65 0
X21 0 X66 0
X22 0 X67 1
X23 1 X68 1
X24 1 X69 1
X25 1 X70 0
X26 1 X71 0
X27 1 X72 0
X29 0 X74
X30 0 X75 0
X31 1 X76 0
X32 1 X77 0
X33 1 X78 0
X34 0 X79 1
X35 0 X80 1
X36 0 X81 0
X37 1 X82 0
X38 0 X83 0
X39 0 X84 0
X40 0 X85 0
X41 1 X86 0
X42 1 X87 0
X43 1 X88 0
X44 0 X89 0
X45 0 X90 0
Tabel 3.1 Bagian dari karakter akan diberi nilai 1dan 0 3.2.2.2Parameter Jaringan Backpropagation
Pada jaringan backpropagation terdapat beberapa parameter yang harus ditentukan untuk membentuk jaringan backpropagation itu sendiri, berikut parameter – parameter yang akan digunakan pada penelitian ini.
Sesuai dengan batasan masalah yang telah penulis uraikan mengenai ukuran piksel pada tiap karakter yaitu 9 x 10, maka jumlah node input pada jaringan harus dapat menampung tiap nilai dari tiap piksel karakter, sehingga jumlah node input yang digunakan adalah 90 Node.
2. Jumlah Node Output.
Karakter huruf terdiri dari karakter huruf besar dengan jumlah 26 karakter dan karakter huruf kecil dengan jumlah 26 karakter, ditambah dengan jumlah karakter angka yaitu 10, sehingga total jumlah karakter yang harus dikenali adalah 62 karakter. Untuk itu harus disusun pola output biner yang dapat mengakomodasi jumlah karakter, sehingga digunakan jumlah node output sebanyak 6 node, dimana 2 ^ 6 adalah 64 sehingga dengan menggunakan 6 node akan memberikan kemungkinan 64 nilai keluaran berbeda.
3. Jumlah Node Hidden.
Jumlah node hidden dapat dikalkulasikan sebagai berikut. NH = = (2/3 * 90) + 6 = 66 Hiden Node.
4. Jumlah Partisi dan Unit Jaringan pada pelatihan paralel.
Jumlah Partisi dan Unit Jaringan yang digunakan adalah sebanyak 10 Partisi dengan data sebagai berikut.
No. Partisi Unit Jaringan Karakter Input
Tabel 3.2 Jumlah Partisi dan Unit Jaringan pada pelatihan parallel 3.2.2.3Target Output Backpropagation
Pada proses pelatihan harus ditentukan target output dari tiap karakter yang dipelajari. Berikut table target output pada tiap karakter.
No. Karakter Target
1 A 000001
2 B 000010
3 C 000011
4 D 000100
5 E 000101
6 F 000110
7 G 000111
8 H 001000
9 I 001001
10 J 001010
11 K 001011
12 L 001100
13 M 001101
14 N 001110
15 O 001111
17 Q 010001
18 R 010010
19 S 010011
20 T 010100
21 U 010101
22 V 010110
23 W 010111
24 X 011000
25 Y 011001
26 Z 011010
27 A 011011
28 B 011100
29 C 011101
30 D 011110
31 E 011111
32 F 100000
33 G 100001
34 H 100010
35 I 100011
37 K 100101
38 L 100110
39 M 100111
40 N 101000
41 O 101001
42 P 101010
43 Q 101011
44 R 101100
45 S 101101
46 T 101110
47 U 101111
48 V 110000
49 W 110001
50 X 110010
51 Y 110011
52 Z 110100
53 0 110101
54 1 110110
55 2 110111
57 4 111001
58 5 111010
59 6 111011
60 7 111100
61 8 111101
62 9 111110
BAB IV
HASIL DAN PEMBAHASAN
Pada bab ini akan dijelaskan mengenai hasil pengujian yang dilakukan penulis dalam melakukan pelatihan dan pengenalan karakter yang berjumlah 62 karakter menggunakan metode jaringan syaraf backpropagation yang telah dikembangkan menggunakan kombinasi algoritma adaptive learning rate dan parallel training. Data tersebut akan dilatih menggunakan aplikasi yang penulis bangun menggunakan Software (MS Visual Studio 2010), dimana aplikasi yang dibangun menggunakan metode backpropagation
backpropagation yang telah dikembangkan menggunakan adaptive learning rate dan
parallel training. Untuk mengukur kinerja jaringan syaraf backpropagation yang telah dikembangkan tersebut digunakan variable epoch atau iterasi dan fungsi timer pada aplikasi yang dibangun. Berdasarkan hasil hasil pengujian pelatihan dan identifikasi tersebut nantinya dapat ditarik kesimpulan, apakah pengembangan metode
backpropagation menggunakan algoritma adaptive learning rate dan parallel training
Gambar 4.1. Tampilan Output Aplikasi Pengenalan Karakter Menggunakan Metode Jaringan Syaraf Backpropagation
Gambar 4.2 Tampilan Data Karakter
Setelah data – data karakter telah di-input proses pelatihan jaringan backpropagation
dapat dimulai dengan membuka tampilan pelatihan dengan meng-klik tombol “Pelatihan Backpropagation” pada tampilan utama. Gambar 4.3 memperlihatkan tampilan pelatihan setelah tampilan dibuka. Pada tampilan pelatihan terdapat dua indicator yang memperlihat atribut dua pelatihan yang berbeda yaitu pelatihan backpropagation normal dan backpropagation yang telah dikembangkan. Parameter pelatihan seperti maksimum iterasi, init alpha dan minimum error dipilih terlebih dahulu sebelum pelatihan dimulai. Proses pelatihan dapat dimulai dengan mengklik tombol “Proses”. Contoh proses pelatihan dapat dilihat pada gambar 4.4 berikut.
4.1. Data dan Konfigurasi Pengujian
Pada table 4.1 dapat dilihat atribut dari data karakter pelatihan yang akan digunakan pada proses pelatihan jaringan. Penjelasan atribut dari data karakter pelatihan dapat dijabarkan sebagai berikut.
a. Image, berkas dari citra karakter yang akan digunakan pada proses pelatihan, b. Fitur, nilai fitur diperoleh dari nilai piksel yang membentuk citra dari karakter
pelatihan dimana piksel berwarna putih direpresentasikan dengan nilai “1” dan piksel berwarna hitam dimana merupakan piksel penyusun karakter direpresentasikan dengan nilai “0”.
c. Target, target merupakan nilai acuan kepada jaringan selama pelatihan. Jaringan akan memproses input berupa fitur dari citra karakter yang kemudian memeriksa output jaringan dengan nilai target pada karakter yang bersangkutan, jika output dan target tidak sesuai, maka jaringan akan melakukan perambatan balik atau
backpropagation sebagai langkah pembelajaran.
Konfigurasi jaringan syaraf backpropagation yang digunakan menggunakan aturan sebagai berikut.
a. Input node : 100 unit b. Hidden node : 76 unit c. Output node : 6 unit
Input node merupakan jumlah node atau neuron input dimana sesuai konfigurasi diatas digunakan node input sebanyak 100 unit, jumlah node input disesuaikan dengan jumlah nilai fitur yang diperoleh dari data karakter pelatihan dimana citra yang digunakan berukuran 10 x 10 piksel, maka diperlukan unit input sebanyak 100 unit untuk dapat mengakomodasi jumlah nilai fitur yang diperoleh dari karakter pelatihan.
Hidden node merupakan jumlah neuron pada lapisan hidden, jumlah neuron pada lapisan hidden dipilih sebanyak 76 unit mengingat jumlah lapisan hidden diupayakan memiliki jumlah diantara jumlah node input dan jumlah node output.
ukuran dari target yang ditentukan, mengingat total karakter yang akan dikenali berjumlah 62 maka target output memiliki rentang nilai dari “1” sampai “1 1 1 1 1 0” sehingga ditetapkan jumlah output node sebanyak 6 unit. Pada jaringan syaraf backpropagation yang telah dikembangkan unit parallel yang digunakan adalah sebanyak dua unit.
Laju error merupakan pergerakan nilai error pada tiap iterasi, nilai error pada tiap iterasi diperoleh dari persamaan berikut.
Keterangan :
OutputError(i) = Error pada node output ke-i
Output(i) = Nilai keluaran pada node output ke-i Target(i) = Nilai target untuk node output ke-i Error(k) = Error output jaringan pada iterasi ke-k 4.2. Hasil Pengujian
terlihat kinerja dari jaringan syaraf backpropagation berdasarkan hasil pengujian yang dilakukan.
4.2.1 Hasil Pelatihan Pengujian Pertama
Pada sub bab ini dilakukan proses pelatihan pertama terhadap jaringan syaraf backpropagation menggunakan parameter pelatihan sebagai berikut.
a. Maksimum iterasi : 5000 iterasi b. Init alpha : 0.3
c. Minimum error : 0.001
Dengan menggunakan parameter pelatihan yang telah disebutkan, berikut hasil pelatihan jaringan syaraf backpropagation normal dan backpropagation yang telah dikembangkan oleh penulis.
No Jaringan
Adaptive learning rate dan normal learning rate pada 10 iterasi pertama yang diperoleh dari pengujian pertama dapat dilihat pada table 4.3 berikut.
Tabel 4.3. Nilai Alpha dari pengujian kedua 4.2.2 Hasil pelatihan pengujian kedua
Iterasi Alpha Advance Error Advance Alpha Normal Error Normal
1 0.3 0.760364106800193 0.3 1.01247815768422
2 0.1 0.88617412369476 0.3 0.973756206958582
3 0.395778910945667 0.86489219110393 0.3 1.02310546665621 4 0.874332698030168 0.950282131327561 0.3 1.04790460341847
5 0.1 0.808797281748842 0.3 1.08794670442527
Pada sub bab ini dilakukan proses pelatihan pengujian kedua terhadap jaringan syaraf backpropagation menggunakan parameter pelatihan sebagai berikut.
a. Maksimum iterasi : 5000 iterasi b. Init alpha : 0.6
c. Minimum error : 0.0001
Dengan menggunakan parameter pelatihan yang telah disebutkan, berikut hasil pelatihan jaringan syaraf backpropagation normal dan backpropagation yang telah dikembangkan oleh penulis.
Tabel 4.4. Hasil Pengujian Pelatihan Kedua
Adaptive learning rate dan normal learning rate pada 10 iterasi pertama yang diperoleh dari pengujian kedua dapat dilihat pada table 4.5 berikut.
Iterasi alpha1 error1 alpha2 error2
1 0.6 0.852622718765825 0.6 0.963296393741295
2 0.532487054789904 0.966394656403673 0.6 1.11982195074412 3 0.523040370125775 1.21903609534341 0.6 1.15106469779801
4 0.1 1.10288292518133 0.6 1.23711713202327
5 0.318150175884484 0.93032313467543 0.6 1.2749306386708 6 0.867032469789202 0.97106219901504 0.6 1.30069456207599
7 0.1 0.966562049512227 0.6 1.3200722587003
8 0.539078632873318 1.04505883272528 0.6 1.33545796008408
9 0.1 0.922067679486476 0.6 1.34811645333329
10 1 0.829347971181411 0.6 1.4052477920053
Berdasarkan hasil pengujian diatas dapat dilihat bahwa proses iterasi pada backpropagation hasil pengembangan lebih lambat dari backpropagation normal, hal ini disebabkan oleh meningkatnya kompleksitas proses pada backpropagation hasil pengembangan dibandingkan dengan backpropagation normal, kompleksitas proses tersebut terlihat sedikit membebani system komputer yang digunakan. Dibalik proses iterasinya yang lambat backpropagation hasil pengembangan memberikan laju error yang lebih baik seperti yang terlihat pada gambar 4.7 dan 4.8 berikut.
Gambar 4.7 Perbandingan Laju Error Jaringan Backpropagation Normal dengan Backpropagation Pengembangan Pada Pelatihan Pengujian Pertama
Gambar 4.8 Perbandingan Laju Error Jaringan Backpropagation Normal dengan Backpropagation Pengembangan Pada Pelatihan Pengujian Kedua
Pada gambar 4.8 dapat dilihat jaringan backpropagation pengembangan (merah) pada pengujian kedua juga memperlihatkan laju error yang lebih baik dari backpropagation normal (biru). Pada gambar 4.8 dan gambar 4.9 dapat dilihat juga backpropagation pengembangan membutuhkan iterasi yang lebih sedikit untuk mencapai target error minimum dibandingkan dengan backpropagation normal.
4.3.1. Pembahasan hasil pengujian pertama
4.3.2. Pembahasan hasil pengujian untuk kedua
Berdasarkan grafik pada gambar 4.8 terlihat bahwasanya untuk pengujian dengan menggunakan parameter init alpha yang berbeda dari pengujian sebelumnya, baik pengembangan propagation yang dilakukan oleh penulis maupun propagation sebelumnya sama – sama tidak mampu mencapai nilai error minimum yang ditentukan. Ketidak mampuan jaringan backpropagation mencapai nilai error minimum yang ditentukan bisa disebabkan oleh banyak hal seperti tingkat pembelajaran, iterasi yang diberikan tidak mencukupi, pembangkitan acak nilai bobot dan lain sebagainya. Namun pengembangan backpropagation yang dilakukan oleh penulis mampu mencapai nilai global minima lebih cepat dibandingkan dengan backpropagation sebelumnya.
BAB V
KESIMPULAN DAN SARAN
5.1. Kesimpulan
Kesimpulan yang dapat diambil dari penelitian ini adalah sebagai berikut :
1. Pengembangan backpropagation yang dilakukan penulis dalam penelitian ini bertujuan untuk meningkatkan efisiensi kompleksitas iterasi pada proses pelatihan backpropagation, yakni dengan cara menerapkan adaptive learning rate dan parallel training pada proses
pelatihan.
2. Dalam kasus rata-rata dan kasus terburuk, pengembangan backpropagation yang dilakukan penulis membutuhkan jumlah iterasi lebih efisien dalam mencapai error minimum dibandingkanbackpropagation sebelumnya dalam proses pelatihan.
5.2. Saran
DAFTAR PUSTAKA
Baxes, & Gregory, A. (1994). Digital Image Processing : Principles and Applications.
New York: John Wiley & Sons.
Http://mnemstudio.org/neural-networks-multilayer-perceptron-design.htm,2013
Moreira, M., & Fiesler, E. (1995). Neural Network with Adaptive Learning Rate and
Momentum Terms. SUISSE: Institut Dalle Molle D'Intelligence Artificelle Perceptive.
Munir, Rinaldi, Pengelompokan Blok Ranah Berdasarkan Rata-rata dan Variansi
Intensitas Pixel pada Pemampatan Citra dengan Transformasi Fraktal, Tesis
Magister Informatika ITB, 1999
Mumtazimah, M. (2012). Parallel Training for Back Propagation in Character
Recognition. Terengganu: ICCIT.
Plagianakos, V. P. (1998). An Improved Backpropagation Method with Adaptive Learning Rate. Patras: University Of Patras.
Ranganath, R. (2013). An Adaptive Learning Rate for Stochastic VariationalInference.
Atlanta: The 30th International Conference on Machine Learning.
R. C. Gonzalez and R. E. Woods, Digital Image Processing, Seconded.New Jersey: Prentice-Hall, 2002.
Schuessler, O., & Loyola, D. (2011). Parallel Training of Artificial Neural Network Using
Multithreaded and Multicore CPUs. Berlin: German Aerospace Center, Institute of
Remote Sensing.
Sha, D., & Bajic, V. B. (2000). On-Line Adaptive Learning Rate Bp Algorithm For Mlp
And Application To An Identification Problem. Durban: Centre For Engineering
Research, Technikon Natal.
35 1 1 1 1 1 1 1 1 1 1 1 0 0 0 1 0 0 0 1 1 0 1 1 1 0 1 1 1 0 1 0 1 1 1 0 1 1 1 0 1 0 1 1 1 0 1 1 1 0 1 1 0 0 0 1 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1
1 1 1 1 0 1
36 1 1 1 1 1 1 1 1 1 1 1 0 0 0 0 1 1 0 1 1 0 1 1 1 1 0 1 1 0 1 0 1 1 1 1 0 1 1 0 1 0 1 1 1 0 1 1 1 0 1 1 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
1 1 1 1 1 1 1 1 1 1
EROR PENGUIAN PERTAMA
epoch Pengembangan epoch2 Normal
94 0.123687 94 0.667064
95 0.111248 95 0.722163
96 0.121126 96 0.820494
97 0.11192 97 0.901623
98 0.117674 98 0.697703
99 0.108798 99 0.757054
100 0.108521 100 0.71747
EROR PENGUJIAN KEDUA
epoch Pengembangan epoch Normal
1 0.852623 1 0.963296
2 0.966395 2 1.119822
3 1.219036 3 1.151065
4 1.102883 4 1.237117
5 0.930323 5 1.274931
