BAB IV PENGUJIAN PERANGKAT LUNAK DAN ANALISIS HASIL PENGUJIAN

(1)

17

BAB IV

PENGUJIAN PERANGKAT LUNAK DAN ANALISIS HASIL

PENGUJIAN

Pada bab ini dibahas hasil pengujian yang dilakukan terhadap perangkat lunak sistem alih aksara dengan menggunakan citra hasil cropping sejumlah 321 sebagai datasetnya. Pengujian yang dilakukan meliputi performa sistem alih aksara dalam mengenali baris dan akurasi sistem dalam melakukan alih aksara pada citra uji.

Citra uji berupa tulisan tangan diperoleh dari majalah mingguan Panjebar Semangat. Citra dataset dengan citra uji berasal dari seri yang berbeda tetapi dengan judul yang sama yaitu “Katuturane Sejarah Pararaton” karangan Raden Mas Mangkudimeja. Citra uji didigitalisasi menggunakan scanner dengan pengaturan resolusi sebesar 600 ppi. Gambar citra uji dapat dilihat pada lampiran B.

4.1. Pengenalan Baris

Perhitungan baris merupakan pengujian sistem dalam mengenali suatu baris secara sempurna dengan mengubah nilai ambang baris tb. Pengenalan baris

secara sempurna didefinisikan dengan kemampuan sistem memisahkan baris tanpa menghilangkan sandhangan maupun pasangan. Perhitungan jumlah baris yang dideteksi digunakan persamaan 3.

Pengenalan baris (%) = (3)

Tabel. 4.1. Perhitungan jumlah baris

Citra Uji Pengenalan Baris (%)

tb=0.4 tb=0.45 tb=0.5

1 66,67 75 75

2 60.86 65.21 65.21

3 60 64 64

(2)

18 5 73.91 86.95 78.26 6 73.91 82.6 73.91 7 69.56 73.91 82.6 8 72.72 81.81 77.27 9 68.18 81.81 72.72 10 63.63 72.72 77.27

Penggunaan proyeksi vertikal pada citra uji menggunakan aksara tangan dirasa sudah baik untuk menghasilkan batasan baris. Pada Tabel 4.1 dapat dilihat hasil paling tinggi dalam pengenalan baris mencapai 86.95%. Baris yang tidak dikenali biasanya merupakan baris yang memiliki aksara yang sedikit sehingga jumlah pixelnya hitamnya terlalu sedikit. Pemilihan nilai ambang tb memiliki

peranan penting dalam penentuan baris. Bila nilai tb terlalu besar maka 1 baris bisa

dideteksi menjadi 2 atau lebih baris. Namun, bila tb terlalu kecil maka jumlah yang

dikenali semakin sedikit. Selain dipengaruhi oleh oleh nilai ambang dan jumlah aksara penyusun dalam satu baris pasangan dan sandhangan yang berada diatas dan dibawah sebuah aksara dalam satu baris yang banyak menyulitkan menentukan nilai ambang batas baris (tb) yang tepat. Selain itu jarak antar baris

yang tidak sama membuat penentuan nilai offset yang digunakan tidak efektif memisahkan satu baris dengan baris yang lain secara sempurna. Pada gambar 4.1 akan disajikan contoh hasil dari pengenalan baris yang dilakukan.

Gambar 4.1 (a) Hasil pengenalan baris yang sempurna, (b) hasil pengenalan baris tidak sempurna pada citra

(3)

19

4.2. Perhitungan Akurasi 4.2.1. Tulisan Tangan

Perhitungan akurasi juga dilakukan untuk mengetahui keakuratan sistem alih aksara dalam mengenali aksara dalam citra uji. Perhitungan akurasi dan error rate menggunakan persamaan 4 dan 5.

(4)

#Hit = Jumlah aksara Jawa yang berhasil dialih aksarakan dengan benar. #Missed Detection (MD) = Jumlah aksara yang tidak teralih –aksarakan. #False Alarm (FA)= Jumlah aksara yang di alih aksarakan salah.

#Diversed Detection (DD)= Jumlah aksara yang dialihaksarakan lebih dari 1 aksara tetapi salah satunya benar.

#Correct Rejection (CR)= Jumlah aksara yang tidak dikenali karena tidak ada data dalam dataset.

(5) ER = error rate (%)

Tabel 4.2. Akurasi Dan Erorr Rate Citra Uji

Citra Uji #MD #FA #DD #CR #HIT Akurasi

(%) ER (%) 1 19 60 5 0 6 6.67 93.33 2 36 49 3 0 11 11.11 88.89 3 45 32 2 0 7 8.14 91.86 4 26 65 0 0 4 4.21 95.79 5 48 43 0 0 2 2.15 97.85 6 23 59 2 0 2 2.33 97.67 % 100 # # # # # # #        DD CR FA MD Hit CR Hit Akurasi % 100 # # # # # # # #         DD CR FA MD Hit DD MD FA ER

(4)

20

7 29 56 0 0 1 1.16 98.84

8 47 51 0 0 3 2.97 97.03

9 41 45 3 0 2 2.19 97.81

10 33 57 1 0 1 1.1 98.9

Hasil yang didapat pada Tabel 4.2 menunjukan kinerja sistem alih aksara Jawa menjadi huruf latin jauh dari target yang telah ditetapkan. Hal ini disebabkan oleh beberapa faktor seperti:

1. Kemiripan aksara

Pada saat proses pengujian dijumpai satu aksara dialih aksarakan menjadi beberapa aksara atau aksara tersebut dialih aksarakan menjadi aksara lain. Hal ini disebabkan adanya kemiripan satu aksara dengan aksara yang lain atau hanya memiliki perbedaan pada sandhangan dan pasangan saja. Seperti pada Tabel 4.3.

Tabel 4.3.Kemiripan Aksara

Citra Uji Citra Dataset Korelasi

0.632 0.641 0.593 0.58 0.591 0.57 0.576 0.572

(5)

21

0.576

2. Ukuran aksara

Perbedaan ukuran aksara pada citra uji dengan dataset akan menghasilkan korelasi yang sangat rendah. Kecilnya nilai korelasi ini akan membuat citra yang diuji tidak akan terdeteksi oleh sistem. Gambar 4.1 akan dicari nilai korelasinya dengan aksara yang sama.

137×193 Gambar 4.2. Citra aksara tu

Pada Tabel 4.4 akan disajikan hasil korelasi antara aksara tu dengan aksara tu yang mengalami perubahan ukuran.

Tabel 4.4. Hasil korelasi aksara yang diperkecil

Ukuran 124×174 110×155 96×136 83×166 69×97

Korelasi 0.64 0.45 0.36 0.37 0.43

4.2.2. Aksara Cetak

Sebagai pembanding, sistem alih aksara akan diuji menggunakan aksara Jawa cetak nglenggana. Huruf cetak aksara Jawa ini diperoleh dengan menggunakan software Pallawa. Huruf untuk dataset berupa aksara Jawa nglenggana berukuran 14. Pengujian dilakukan dengan cara membandingkan dengan citra uji yang memiliki ukuran huruf sama dan citra uji yang memiliki ukuran huruf yang berbeda.

(6)

22

Gambar 4.1. Citra aksara Jawa cetak ukuran 14

Gambar 4.3. Citra uji aksara Jawa cetak ukuran (a)12, (b)13, (c)15 dan (d)16. Percobaan cetak_1 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 14. Hasil dari percobaan cetak_1 disajikan dalam Tabel 4.5.

(7)

23

Tabel 4.5. Hasil percobaan cetak_1

th #MD #FA #DD #CR #HIT Akurasi

(%)

ER (%)

0.7 0 0 3 0 17 85 15

0.8 0 0 2 0 18 90 10

0.9 0 0 0 0 20 100 0

Percobaan cetak_2 merupakan percobaan menggunakan citra uji yang memiliki ukuran font 13. Hasil dari percobaan cetak_1 disajikan dalam Tabel 4.6.

(%)

ER (%)

0.6 1 1 11 0 6 30 70

0.7 4 3 0 0 13 65 35

0.75 17 0 0 0 3 15 85

(%)

ER (%)

0.45 0 16 4 0 0 0 100

0.5 2 15 3 0 1 5 95

0.55 8 8 1 0 3 15 75

(8)

24

(%)

ER (%)

0.55 1 1 15 0 3 15 85

0.6 3 5 5 0 7 35 65

0.7 16 3 0 0 1 5 95

(%)

ER (%)

0.53 3 14 2 0 1 5 95

0.55 5 14 0 0 1 5 95

0.6 11 8 0 0 1 0 100

Huruf cetak yang menggunakan ukuran aksara yang sama memiliki hasil yang lebih baik dari pada yang memiliki ukuran berbeda. Kesamaan ukuran akan menghasilkan nilai korelasi antara dataset dan aksara dalam citra uji yang tinggi. Pengubahan ukuran aksara yang dilakukan sangat mempengaruhi akurasi kebenaran sistem.

Pengujian sistem untuk huruf cetak juga dilakukan untuk aksara ha yang diberi sandhangan. Aksara untuk citra uji maupun dataset memiliki besar yang sama yaitu berukuran 14 seperti pada gambar 4.2(a).

(a)

(b)

(9)

25

Pada th sebesar 0,97 diperoleh hasil seperti yang ada pada Tabel 4.10.

Tabel 4.10.Hasil pengujian aksara ber-sandhangan

(%)

ER (%)

0.93 0 0 4 0 5 55.56 44.44

Aksara cetak tidak menghasilkan alih aksara yang baik ketika digunakan untuk mengalih aksarakan aksara yang memiliki sandhangan i, u, o dan h. Pada aksara ber-sandhangan tersebut terjadi pengalih aksaran ganda(#DD).