Analisis Unjuk Kerja Pelatihan JST Backpropagation pada Pengenalan Tulisan
Tangan Aksara Batak Toba
Suriski Sitinjak 1, B. Yudi Dwiandiyanta 2, Ernawati 3 Program Studi Magister Teknik Informatika
Universitas Atma Jaya Yogyakarta
e-mail : 1 qq.slash@gmail.com, 2 yudi_dwi@mail.uajy.ac.id, 3 ernawati@mail.uajy.ac.id
Abstrak
Aksara Batak Toba merupakan rumpun aksara Batak yang menjadi warisan kebudayaan Indonesia yang patut dilestarikan karena terancam punah akibat katerbatasan sumber data dan informasi. Melalui pemanfaatan perkembangan teknologi informasi khususnya di bidang pengenalan tulisan tangan, penelitian ini mengangkat pengenalan tulisan tangan aksara Batak Toba sebagai objek yang menarik dan tepat untuk diteliti. Pengenalan tulisan tangan aksara Batak Toba dilakukan menggunakan metode Wavelet untuk proses dekomposisi dan jaringan saraf tiruan Backpropagation dengan momentum untuk klasifikasinya. Akuisisi data dilakukan secara offline dimana inputan untuk sistem berupa citra huruf tulisan tangan aksara Batak Toba hasil capture menggunakan kamera digital dan diproses untuk diolah oleh sistem. Melalui penelitian ini dapat terlihat kinerja
Backrpropagation dalam proses pembelajaran pada objek tulisan tangan. Dari pengujian diperoleh penggunaan momentum pada jaringan Backpropagation dapat mempercepat waktu proses pembelajaran dibandingkan pembelajaran tanpa faktor momentum, selain itu unjuk kerja yang dihasilkan juga lebih baik dengan nilai MSE yang mencapai 0.4519 dengan pengujian pada data yang sama. Hasil penelitian ini juga diharapkan mampu memberikan kontribusi untuk mensosialisasikan bentuk asli aksara Batak Toba dan memperkenalkan serta melestarikan warisan budaya aksara Batak Toba.
Kata kunci : Aksara Batak Toba, pengenalan tulisan tangan, Backpropagation, momentum, Wavelet
1. Pendahuluan
Aksara Batak Toba merupakan rumpun dari aksara Batak dan bagian dari aksara Nusantara yang menjadi warisan budaya bangsa Indonesia. Pada waktu lampau, aksara Batak Toba tidak digunakan untuk tujuan sehari-hari, melainkan salah satunya digunakan untuk menulis naskah “pustaha” yang sebagian besar berisi ilmu kedukunan dan mulai tahun 1852 dimusnahkan (Simatupang, 2006; Kozok, 2009; Kertasari dkk, 2009). Melalui pemanfaatan perkembangan teknologi informasi khususnya di bidang pengenalan tulisan tangan, penelitian ini
mengangkat pengenalan tulisan tangan aksara Batak Toba sebagai objek yang menarik dan tepat untuk diteliti.
Pengenalan tulisan tangan memberi kontribusi besar bagi kemajuan proses otomatisasi dan selalu menjadi hal yang menarik untuk dilakukan, sebagai contoh : pengenalan tulisan tangan pada alat gadget seperti PDA atau pembacaan alamat pada kartu pos atau surat, data-data yang ditulis pada form tertentu yang kemudian dibaca oleh OCR (Optical Character Recognition) (Cheriet et all, 2007; Abu-Ain et all, 2011; Al-Alaoui et all, 2009; Leila dan Mohammed, 2007). Pengenalan tulisan tangan
merupakan salah satu aplikasi pengenalan pola yang cukup kompleks, baik dikarenakan tidak adanya fungsi matematika yang jelas untuk menghasilkan translasi, tidak memadainya basis pengetahuan akibat aturan-aturan yang sulit dirumuskan, serta keterlibatan data yang mengandung noise dan berjumlah cukup besar (Puspitaningrum, 2006). Permasalahan tersebut dapat diselesaikan dengan Jaringan Saraf Tiruan (JST). Metode Backpropagation merupakan salah satu metode JST yang sangat baik dalam menangani pengenalan pola-pola kompleks seperti permasalahan tersebut, sehingga sering dipilih untuk kasus pengenalan karakter (Puspitaningrum, 2006; Ismail et all, 2010; Park
et all, 2008; Salameh dan Otair, 2008; Sarowar et all, 2009; Mathur et all, 2008).
Penelitian ini bertujuan untuk
mengimplementasikan metode Wavelet untuk transformasi dan ekstraksi ciri, serta melihat kinerja Backpropagation sebagai algoritma belajar yang diimplementasikan pada tulisan tangan aksara Batak Toba. Selain itu penelitian ini juga memberikan kontribusi dalam mensosialisasikan bentuk asli aksara Batak Toba dan melestarikan dan memperkenalkan aksara Batak Toba kepada masyarakat sebagai warisan budaya bangsa Indonesia.
2. Aksara Batak Toba
Aksara Batak diklasifikasikan sebagai abugida, yaitu paduan antara silabogram (sistem tulisan dengan satuan dasar berupa konsonan yang diikuti oleh sebuah vokal) dan abjad. Aksara Batak Toba terdiri atas dua perangkat huruf, yaitu ina ni surat dan anak ni surat. Agar mudah untuk mengingatnya, urutan yang sering dipakai dalam bentuk kalimat “aha na rata bawa i mangalapa sada gaja” yang artinya “apa yang hijau lelaki itu memotong seekor gajah” (Kozok, 2009; Simatupang, 2006).
Gambar 1. Huruf-huruf Ina ni surat (Font tradisional)
Ina ni surat (ina = ibu) terdiri dari huruf-huruf silabik dasar yang diakhiri bunyi /a/ (kecuali untuk huruf i dan u, lihat gambar 1). Untuk anak ni surat, bunyi /a/ pada ina ni surat mengalami perubahan dengan menambah nilai fonetisnya. Pengubah ini disebut diakritik. Contoh diakritik dalam anak ni surat dan penggunaannya dapat dilihat pada gambar 2.
Gambar 2. Diakritik anak ni surat (Font tradisional)
3. Pengenalan Tulisan Tangan
Tahapan umum yang dilakukan pada sistem pengenalan tulisan tangan terdiri dari (Cheriet et all, 2007; Fatta, 2009; Putra, 2010) :
Akuisisi data Pemrosesan awal Ekstraksi fitur (ciri) Algoritma pemilah/ klasifikasi
Gambar 3. Tahapan pengenalan tulisan tangan (Fatta, 2009)
1) Dataacquisition / pemerolehan data
Metode utama pemerolehan data yang digunakan untuk pengenalan tulisan (recognition system), yaitu pengenalan tulisan secara online, dimana inputan tulisan bersifat temporer diperoleh secara langsung dari alat input digital, contohnya dari mouse,
mouse pen atau digital pen dan offline
dimana input tulisan diperoleh dari teks tulisan yang di-scan terlebih dahulu atau dari kamera (Wu dan Yu, 2008; Amin dan Al-Darwish, 2006).
2) Data preprocessing / pemrosesan awal data Citra huruf ditonjolkan, derau/noise dan kompleksitas ciri diminimaisasi, ukuran dan bentuk huruf dinormalisasikan.
3) Feature extraction / ekstraksi ciri
Biasanya diikuti oleh prosedur reduksi dimensi citra.
4) Data recognition (classification) / pengenalan data (klasifikasi)
Untuk mengelompokkan fitur ke dalam kelas yang sesuai dengan menggunakan algoritma klasifikasi tertentu.
4. Wavelet
Proses transformasi pada Wavelet dapat dicontohkan sebagai berikut. Citra yang semula ditransformasi dibagi (didekomposisi) menjadi empat sub-citra baru untuk menggantikannya. Setiap sub-citra berukuran ¼ kali dari citra asli. Tiga sub-citra pada posisi kanan atas, kanan bawah dan kiri bawah akan tampak seperti versi kasar dari citra asli karena berisi komponen frekuensi tinggi dari citra asli. Sedangkan untuk sub-citra pada posisi kiri atas tampak seperti citra asli dan lebih halus, karena berisi komponen frekuensi rendah dari citra asli. Sub-citra pada bagian kiri atas (frekuensi rendah) tersebut dibagi lagi menjadi empat sub-citra baru. Proses diulang sesuai dengan level transformasi yang diinginkan. Untuk lebih jelasnya ditunjukkan pada gambar 4.
LL2 LH2
LH1 HL2 HH2
HL1 HH1
Gambar 4. Dekomposisi Citra (Santoso, 2011)
Pada citra 2 dimensi, terdapat dua cara untuk mentransformasi atau mendekomposisi nilai-nilai pikselnya, yaitu dekomposisi standar dan tak standar. Dekomposisi standar menggunakan transformasi Wavelet 1 dimensi pada tiap baris
citra dan kemudian pada tiap kolom. Dekomposisi tak standar diperoleh dengan mengkombinasikan pasangan transformasi baris dan transformasi kolom secara bergantian. Pada langkah pertama diterapkan transformasi Wavelet
1 dimensi pada baris, kemudian diterapkan alihragam Wavelet 1 dimensi pada kolom, proses tersebut diulang sesuai dengan level yang diinginkan.
5. Jaringan Saraf Tiruan (JST)
Backpropagation
Backpropagation merupakan JST multilayer
yang terdiri dari tiga atau lebih lapisan jaringan, yaitu lapisan input (satu lapisan), lapisan tersembunyi (terdiri dari satu atau lebih lapisan) dan lapisan output (satu lapisan). Inti algoritma belajar Backpropagation terletak pada kemampuannya untuk mengubah nilai-nilai bobotnya untuk menanggapi adanya kesalahan (Santoso, 2000).
Jumlah lapisan tersembunyi yang digunakan untuk pengenalan aksara Batak Toba ini ada dua buah (gambar 4), sehingga algoritma yang digunakan untuk pelatihan mengalami sedikit perubahan, yaitu penambahan langkah untuk mengolah nilai hasil pengolahan dari tiap unit di lapisan tersembunyi pertama dengan bobot-bobot antara lapisan tersembunyi pertama dan lapisan tersembunyi kedua, kemudian mengirim hasilnya ke tiap unit di lapisan tersembunyi kedua. Begitu juga pada tahap backward (umpan balik) untuk mencari nilai error dan koreksi bobot mengalami penambahan langkah.
LH1, HL1, dan HH1 merupakan hasil dekomposisi level 1.
LL2 tidak diperlihatkan pada gambar karena langsung didekomposisi lagi menjadi LL2, LH2, HL2 dan HH2
Gambar 4. Arsitektur JST Backpropagation yang digunakan
Fungsi Aktivasi
Fungsi aktivasi yang dipakai dalam algoritma
Backpropagation harus memenuhi beberapa syarat yaitu: kontinu, dapat didiferensiasi dan secara monoton tidak menurun. Salah satu fungsi aktivasi yang sesuai dan yang digunakan pada penelitian ini adalah fungsi sigmoid biner dengan range (0,1) dengan rumus (Santoso, 2000; Siang, 2009) : ( ) = ( ) (1) dengan turunannya: ′( ) = (x)[1− (x)] (2) Momentum
Dalam peng-update-an nilai bobot dapat dilakukan dengan penambahan parameter momentum. Penambahan parameter momentum seringkali bisa mempercepat proses pelatihan. Jika parameter momentum digunakan maka persamaan-persamaan peng-update-an bobot dengan langkah pelatihan t, dan t+1 untuk langkah pelatihan selanjutnya mengalami modifikasi (Puspitaningrum, 2006; Siang, 2009).
Algoritma Backpropagation yang digunakan untuk pelatihan adalah sebagai berikut.
Langkah 0 : inisialisasi bobot
Langkah 1 : selama kondisi berhenti salah, kerjakan langkah 2-11
Langkah 2 : untuk setiap pasangan data pelatihan, lakukan langkah 3-10
Feedforward :
Langkah 3 :
setiap unit input (Xi, i = 1,…,n) menerima sinyal masukan xi, dan mengirimkan ke semua unit lapisan tersembunyipertama.
Langkah 4 :
hitung semua keluaran unit lapisan tersembunyi pertama (Zaj, j = 1,…,p)
za_in = v + ∑ x v (3)
za = f(za_in ) (4)
Langkah 5 :
hitung semua keluaran unit lapisan tersembunyi kedua (Zbk, k = 1,…,m)
zb_in = w + ∑ za w (5)
zb = f(zb_in ) (6)
Langkah 6 :
hitung semua keluaran unit lapisan output (Yl, l = 1,…,m)
y_in = w + ∑ zb w (7)
y = f(y_in ) (8)
Kesalahan Backpropagation (tahap umpan balik):
Langkah 7 :
setiap unit keluaran (Yl, l = 1,…,m), menerima pola target yang berhubungan dengan pola pelatihan input, hitung informasi kesalahannya
δ_out = (t − y )f (y_in ) (9)
menghitung koreksi bobot :
∆w =α.δ_out . zb + μ (w (t)−w (t−1)) (10)
∆w =αδ_out (11)
Langkah 8 :
setiap unit tersembunyi (Zbk, k=1,…,p) jumlahkan input delta
δ_hid2_in = ∑ δ_out w (12)
δ_hid2 = δ_hid2_in . zb . (1−zb ) (13)
menghitung koreksi bobot :
∆w =α .δ_hid2 . za +μ (w (t)−w (t−1)) (14)
∆w =α .δ_hid2 (15)
Langkah 9 :
setiap unit tersembunyi (Zaj, j=1,…,p) jumlahkan input delta
δ_hid1_in = ∑ δ_hid2 w (16)
δ_hid1 = δ_hid1_in . za . (1−za ) (17)
menghitung koreksi bobot:
∆v =α. δ_hid1 . x +μ (v (t)−v (t−1)) (18)
Perbarui bobot dan bias :
Langkah 10 :
setiap unit keluaran (Yl, l=1,…,m) memperbarui bias dan bobot (j=0,…,p) :
w (baru) = w (lama) +∆w (20)
Setiap unit tersembunyi (Zbk, k = 1, …, p) memperbaui bias dan bobot (i=0,…,n)
w (baru) = w (lama) +∆w (21)
Setiap unit tersembunyi (Zaj, j=1,…,p) memperbaui bias dan bobot (i=0,…,n)
v (baru) = v (lama) +∆v (22)
Langkah 11 : pengetesan kondisi berhenti.
6. Implementasi dan Pembahasan
Akuisisi citra dilakukan secara offline, dimana citra diperoleh dengan meng-capture
gambar tulisan tangan aksara Batak Toba yang ditulis di kertas, sehingga menjadi citra berukuran 256x256 piksel. Citra yang telah diakuisisi tersebut mengalami pra proses
thresholding pengubahan citra sumber yang merupakan citra truecolor ke citra biner (citra hitam-putih) dan ditransformasi menggunakan
Wavelet untuk ekstraksi ciri. Implementasi
pemrosesan citra dilakukan dengan
menggunakan bahasa pemrograman C# pada lingkungan pengembangan Visual Studio 2008. Setelah diperoleh hasil dekomposisi citra menjadi 8x8 piksel, selanjutnya data 8x8 piksel tersebut diubah menjadi vektor baris dan menjadi
masukan untuk dilatih ke jaringan
Backpropagation (tabel 1).
Tabel 1. Contoh citra aksara Batak Toba karakter ‘a’ yang diubah menjadi vektor
Citra input Citra hasil Wavelet (8x8
piksel)
Diubah menjadi bentuk vektor (64 digit) 00000000 00000000 00001111 11011111 11110011 01100111 00000000 00000000 00000000 00000110 10001111 11011011 11110111 01111110 00000000 00000000 6.1. Implementasi Algoritma Backpropagation
Arsitektur yang digunakan untuk JST
Backpropagation dapat dilihat pada gambar 4. Fungsi transfer atau fungsi aktivasi yang digunakan adalah fungsi aktivasi sigmoid biner selama data inputan yang digunakan berupa bilangan biner, sehingga fungsi aktivasi ini cocok untuk digunakan.
Jumlah node (unit) tiap lapisan : a. Lapisan input = 64 unit.
Penentuan jumlah unit pada lapisan input sebanyak 64 didasarkan pada inputan untuk jaringan yang berupa vektor yang terdiri dari 64 buah angka biner yang berasal dari hasil dekomposisi citra menjadi 8x8 piksel yang dibaca sebagai matriks berukuran 8x8 yang kemudian diubah menjadi vektor (tabel 1). b. Lapisan tersembunyi pertama = 2 unit c. Lapisan tersembunyi kedua = 2 unit d. Lapisan output = 6 unit
Jumlah unit sebanyak 6 node merupakan 6 digit yang digunakan untuk mewakili bentuk biner untuk tiap urutan karakter.
Tabel 2. Output dan karakter yang diwakilinya
No Output (6 node) Karakter
1 000001 a 2 000010 ha/ka 3 000011 na 4 000100 ra . . . . . . . . . 19 010011 u
Jumlah bobot yang terlibat :
a. Bobot antara lapisan input dengan lapisan hidden 1 = 65 x 2 = 130 buah
b. Bobot antara lapisan hidden 1 dengan lapisan hidden 2 = 3 x 2 = 6 buah
c. Bobot antara lapisan hidden 2 dengan lapisan output = 3 x 6 = 18 buah
6.2. Hasil Implementasi Backpropagation Sampel data yang digunakan adalah delapan jenis pola sampel tulisan tangan untuk karakter ‘a’ aksara Batak Toba. Pelatihan algoritma Backpropagation dilakukan secara berkelompok. Setiap pola (vektor input) digabung menjadi sebuah matriks inputan bagi jaringan. Begitu pula dengan vektor target untuk setiap pola dijadikan sebuah matriks target.
Pada tabel 3 ditunjukkan perbedaan antara pelatihan dengan dan tanpa menggunakan faktor momentum, juga penggunaan laju belajar adaptif. Pengujian kinerja Backpropagation dilakukan dengan melihat beberapa parameter, yaitu waktu proses pelatihan, jumlah epoch yang dicapai (dengan maksimum epoch ditentukan sebesar 1000 epoch) dan nilai performansi yang dilihat dari nilai MSE (Mean Square Error).
Tabel 3. Hasil Pelatihan Pola Huruf dengan Beberapa Parameter
Pengujian pelatihan algoritma
Backpropagation dilakukan menggunakan data yang sama. Pada pengujian terlihat bahwa pelatihan yang dilakukan dengan algoritma
Backpropagation tanpa menggunakan parameter tambahan (metode penurunan gradient biasa) sangat lambat dalam kecepatan proses iterasinya, yaitu membutuhkan waktu 223 detik untuk mencapai maksimum epoch yang ditetapkan (1000 epoch) dengan nilai performansi 0.5665. Pelatihan algoritma Backrpopagation yang menggunakan laju belajar adaptif dapat mempercepat pelatihan karena laju belajar dapat diubah-ubah nilainya selama proses pelatihan. Apabila error sekarang lebih besar dibandingkan
error sebelumnya, maka laju belajar diturunkan dan sebaliknya. Pada tabel 3 terlihat bahwa penggunaan laju belajar adaptif dapat mencapai kestabilan sebelum maksimum epoch tercapai (lihat kolom 2 dan 4). Sedangkan penambahan faktor momentum dapat membuat waktu proses pembelajaran menjadi sangat cepat 7 detik dan 4 detik (kolom 3 dan 4). Penggabungan antara penambahan faktor momentum dan laju belajar adaptif dapat membuat kinerja jaringan menjadi lebih baik (kolom 4), yaitu mencapai kestabilan sebelum maksimum epoch tercapai dan waktu proses 4 detik, serta nilai MSE yang kecil.
7. Kesimpulan dan Rencana Penelitian
Mendatang
Penggunaan faktor momentum pada jaringan
Backpropagation sangat berpengaruh pada tingkat kecepatan proses pelatihan. Jaringan dengan penambahan faktor momentum dapat membuat waktu proses menjadi lebih cepat. Berdasarkan pengujian pada data yang sama, bisa mencapai 30 kali lebih cepat dibandingkan tanpa momentum. Penggabungan penerapan faktor momentum dan laju belajar yang adaptif juga dapat memaksimalkan kinerja algoritma Backpropagation.
Penelitian mendatang dilakukan dengan penambahan pola pelatihan untuk semua karakter beserta pengujian jaringan, serta dilakukan pengujian terhadap parameter lainnya yang dapat
digunakan untuk mengetahui kinerja
Backpropagation.
REFERENSI
Al-Alaoui, M.A., Harb, M.A.A., Chahine, Z.A., Yaacoub, E., 2009, A New Approach for Arabic Offline Handwriting Recognition, IEEE Multidisciplinary Engineering Education Magazine, Vol. 4, No. 3. Abu-Ain, T.H.A., Abu-Ain, W.A.H., Abdullah,
S.N.H.S., Omar, K., 2011, Off-line Arabic Character-Based Writer Identification – A Survey, Proceeding of
No. Parameter Pelatihan Waktu Proses (detik) Epoch Perform ance (MSE) 1 Tanpa Penambahan Parameter 223 1000 0.5665 2 Laju Belajar Adaptif 26 502 0.5148 3 Faktor Momentum 7 1000 0.4519 4 Faktor Momentum &
Laju Belajar Adaptive
the International Conference on Advanced Science, Engineering and Information Technology, ISBN 978-983-42366-4-9.
Amin, A. dan Al-Darwish, N., 2006, Structural Description To Recognizing Hand-Printed Arabic Characters Using Decision Tree Learning Techniques, International Journal of Computers and Applications, Vol. 28, No. 2, pg.129-134. Cheriet, M., Kharma, N., Liu, CH., Suen, C.Y.,
2007, Character Recognition Systems - A Guide for Students and Practioners, John Wiley and Sons.
Fatta, Hanif al, 2009, Rekayasa Sistem Pengenalan Wajah, Penerbit Andi, Yogyakarta.
Ismail, I.A, Ramadan, M.A., El-Danaf, T.S., Samak, A.H., 2010, An Efficient Off-line Signature Identification Method Based On Fourier Descriptor and Chain Codes, IJCSNS International Journal of
Computer Science and Network Security, VOL.10 No.5, pg.29-35.
Kertasari, N. D.C., Haswanto, N., Sunarto, P., 2009, Tipografi Adaptasi Karakter Aksara Batak Toba Dalam Huruf Latin. Kozok, Uli, 2009, Surat Batak - Sejarah
Perkembangan Tulisan Batak Berikut Pedoman Menulis Aksara Batak dan Cap Si Singamangaraja XII, Kepustakaan Populer Gramedia.
Leila, C. dan Mohammed, B., 2007, Art Network for Arabic Handwrittren Recognition System, Department of Computer Sciences - University Larbi Ben Mhidi and Department of Computer Sciences - University Mentouri, Constantine.
Mathur, S., Aggarwal, V., Joshi, H. dan Ahlawat,
A., 2008, Offline Handwriting
Recognition Using Genetic Algorithm, Sixth International Conference on Information Research and Applications – i.Tech, pg.21-27.
Park, Sang Sung, Jung, Won Gyo, Shin, Young Geun, Jang, Dong-Sik, 2008, Optical
Character Recognition System Using BP Algorithm, IJCSNS International Journal of Computer Science and Network Security, VOL.8 No.12,pg. 118-124. Puspitaningrum, Diyah, 2006, Pengantar
Jaringan Saraf Tiruan, Penerbit Andi, Yogyakarta.
Putra, Darma, 2010, Pengolahan Citra Digital, Penerbit Andi, Yogyakarta.
Salameh, W.A. dan Otair, M.A., 2008, Online Handwritten Character Recognition Using an Optical Backpropagation Neural Network, Issues in Informing Science and Information Technology, pg.787-795.
Santoso, Alb. Joko, 2000, Jaringan Saraf Tiruan - Teori, Arsitektur dan Algoritma, Penerbit Andi Offset, Yogyakarta.
Santoso, Alb. Joko, 2011, Wavelet, Diktat Kuliah Pengolahan Citra, Magister Teknik Informatika, Universitas Atma Jaya Yogyakarta.
Sarowar, G., Naser, M.A., Nizamuddin, S.M., Hamid, N.I.B. dan Mahmud, A., 2009,
Enhancing Bengali character recognition process applying heuristics on Neural Network, IJCSNS International Journal of Computer Science and Network Security, VOL.9 No.6, 154-158.Siang, Jong Jek, 2009, Jaringan Syaraf Tiruan & Pemrograman Menggunakan MATLAB, Penerbit Andi, Yogyakarta.
Siang, Jong Jek, 2009, Jaringan Syaraf Tiruan & Pemrograman Menggunakan MATLAB, Penerbit Andi, Yogyakarta.
Simatupang, S., 2006, Koreksi atas Penulisan Aksara Batak Toba.
Wu, Y. dan Yu, L., 2008, Touchless Writer: Object Tracking & Neural Network Recognition, The Milton W. Holcombe Department of Electrical and Computer Engineering Clemson University, Clemson.
