BAB IV HASIL DAN PEMBAHASAN
4.4. Pengujian BLEU
4.4.5. Pengujian BLEU 10 pada 10 Kalimat
Berikut daftar kalimat yang akan terjemahkan ke dalam bahasa Batak Toba dan diuji dengan BLEU:
Tabel 4.5 10 Kalimat Bahasa Indonesia
No Bahasa Indonesia
1 Aktivitas kamu apa sekarang
2 Obat segala penyakit adalah hati yang gembira 3 Kunci sukses adalah konsistensi 4 Aku suka menulis di kertas 5 Lemak perut sangat menyebalkan 6 Dia adalah cinta pertama ku 7 Kenapa banyak orang bercerai 8 Begitu lah akhir hidup orang jahat 9 Jangan melakukan hal yang tidak baik 10 Kamu telihat cantik memakai pakaian itu
Kalimat bahasa Indonesia tersebut diterjemahkan dengan mesin terjemahan kemudian diibandingkan dengan terjemahan manusia dimana terjemahan manusia didapatkan dari 4 responden yang bersuku Batak dan dapat berbicara bahasa Batak.
Terjemahan manusia tersebut dapat dilihat pada lampiran 2. Berikut nilai BLEU score dari 10 kalimat dengan sumber kalimat sebanyak 4 referensi:
Tabel 4.6 BLEU Score pada 10 Kalimat
No. Candidate Ref. 1 Ref. 2 Ref. 3 Ref. 4 Score
1 Aktipitas ho aha nuaeng
Aha ni ulaon mi
saonari
Marhua ho
nuaeng Aha ulaon
mu nuaeng Marhua ho
nuaeng 21%
2
Ubat sasude sahit ima
roha na sonang
Obat ni sude sahit
ima hati na sonang
Ubat ni sude sahit
roha na sonang
Ubat ni sian sasude
sahit ima las ni roha
Ubat ni sude sahit
roha na sonang
42,7%
3 Hunsi hasea ima konsistensi
Kunci ni sukses ima
konsisten
Hunsi ni hasea ima
arga hata
Hunsi ni hasea ima
arga hata
Hunsi ni hasea ima
arga hata
27,5%
4 Au lomo manurat di
harotas
lomo rohakku manurat i
kertas
Lomo rohakku manurat di
harotas
Naung lomo rohakku manurat di
harotas
Lomo rohakku manurat di
harotas
42,7%
5
Tabo-tabo butuha mansai mansogo
Ndang lomo rohakku mamereng tabo-tabo I
butuha
Sogo rohakku mangida tabo-tabo
ni butuhaon
Sogo do rohakku mamereng
tabo-tabo ni dibutuhaon
Tabo-tabo ni butuha
mansai songgot
roha
21,4%
6 Ibana ima holong parjolo hu
Ibana ma cinta parjolo ku
Ibana haholongan
ni rohakku na parjolo
Ibana haholongan
ni rohakku na parjolo
Imana holong ni
rohakku na parjolo
14%
7
Boasa godang
jolma marsirang
Boha godang halak na marsirang
Boasa tung godang
jolma marsirang
Boasa tung godang
jolma marsirang
Boasa godang
jolma sirang
84%
8
Songoni ma ujung
ngolu jolma jahat
Songoni ma ujung
ni ngolu halak na bolison
Songoni ma ujung ni ngolu ni
jolma na jahat
Songoni ma ujung ni ngolu ni
jolma na jahat
Songoni ma ujung
ni ngolu jolma na jahat
28,4%
9
Unang ulaon taringot nan dang
denggan
Unang ulaon si karejoan na ndang burju
Unang sai ulahon akka naso
suman
Unang sai ulahon akka naso
suman
Unang bahen naso denggan
24,2%
10
Ho tarbereng
uli mamangke
abit i
Songon na bagak ho mamangke
baju i
Mansai bagak do
ho mamangke
abit i
Mansai bagak do
ho mamakke i
Bagak ho molo mamangke
pakaian i
17,9%
Hasil 32,3%
Dari hasil pengujian terhadap 10 kalimat didapatkan nilai sebesar 32,3% termasuk dalam kategori baik, terjemahan dapat dipahami namun stuktur kalimat yang berantakan. Untuk melihat lebih detail perhitungan dalam penghitungan BLEU score dapat dilihat pada lampiran 3. 10 kalimat tersebut dapat mewakili mesin
penerjemah ini bahwasanya mesin penerjemah ini dapat menerjemahkan dan dapat dipahami oleh manusia walau stuktur kalimat yang masih kurang baik.
5.1. Simpulan
Berdasarkan hasil pembahasan dan penelitian, dapat disimpulkan sebagai berikut
1. Penelitian ini menghasilkan Aplikasi Mesin penerjemah Bahasa Indonesia ke Bahasa Batak Toba yang diimplementasikan dalam bentuk Web. Aplikasi ini dibangun dengan menggunakan Visual Studio Code dan bahasa pemrograman Python dengan framework Django.
2. Mesin Penerjemah mampu menerjemahkan Bahasa Indonesia ke Bahasa Batak Toba. Mesin penerjemah menerjemahkan semua kata yang terdapat di database, untuk kosakata yang tidak terdapat dalam database mesin penerjemah mengeluarkan kembali kata tersebut.
3. Pengujian BLEU terhadap 10 kalimat dimana pengujian ini membandingkan terjemahan dari mesin penerjemah dengan terjemahan manusia atau human translation yang sumber terjemahnnya didapat dari 4 orang suku batak yang dapat berbicara bahasa batak. Pengujian ini mendapatkan hasil 32,3%, nilai ini termasuk dalam kategori baik, terjemahan dapat dipahami namun stuktur kalimat yang kurang baik.
5.2. Saran
Mesin penerjemah Bahasa Indonesia ke Bahasa Batak ini masih memilki terdapat kekurangan. Penulis memiliki saran untuk pengembang antara lain:
1. Penerjemahan yang dilakukan masih terbatas pada menerjemahkan satu kata perkata yang disusun menjadi kalimat, untuk susunan kalimat yang penerjemahannya tidak satu kata namun lebih atau per kalimat perlu
dilakukan perbaikan. Saran pengembangan selanjutnya agar ditambahkan algoritma yang dapat memilih kata dan penerjemahan kalimat agar hasil terjemahannya dapat lebih sesuai.
2. Disarankan kepada pengembang agar ditambahkan algoritma untuk steaming kata atau memecah kata agar lebih dapat menerjemahkan kata yang mengandung imbuhan baik steaming untuk bahasa Indonesia maupun steaming pada bahasa batak.
3. Kosakata yang diinputkan dalam database hanya 6500 kata, diharapkan untuk menambah lebih banyak kosakata pada database untuk memperbanyak kosakata yang dapat diterjemahkan.
4. Karena penelitian ini hanya fokus pada bagian engine untuk tampilannya hanya menggunakan satu interface, diharapkan untuk dapat menambahkan interface seperti halaman tambah kata, dan lainnya.
5. Pengembang aplikasi penerjemah kalimat bahasa Indonesia ke Bahasa Batak ini dapat diimplementasikan pada aplikasi lain seperti Android, IOS, atau desktop.
6. Pengembangan aplikasi selanjutnya mungkin dapat menerjemahkan Aksara Batak.
PENJUALAN PERUMAHAN MENGUNAKAN METODE SDLC PADA PT. MANDIRI LAND PROSPEROUS BERBASIS MOBILE,” 84(10), hal.
1511–1518. doi: 10.1134/s0320972519100129.
Amin, R. (2018) “Database MySQL Pembahasan,” IlmuTi, Vol 3 No 4, hal. 1–5.
Anwar, A. (2019) “Pengertian Dan Sejarah Bahasa Pemrograman Python,” hal. 1–
7. Tersedia pada: https://docplayer.info/129414306-Pengertian-dan- sejarah-bahasa-pemrograman-python.html.
Badriyah, T. (2008) “Konsep Database.” Tersedia pada: http://lecturer.eepis- its.edu/~tessy/lecturenotes/db1/Bab1.pdf.
Bahasa, B. P. dan P. (2019) Provinsi Sumatera Utara. Tersedia pada:
https://dapobas.kemdikbud.go.id/home?show=isidata&id=99.
Catford, J. C. (1965) “A Linguistics Theory of Translation.”
Clouds, G. (2022) Evaluating Models. Tersedia pada:
https://cloud.google.com/translate/automl/docs/evaluate.
Dan, P. dan Bumn, K. (tanpa tanggal) “MENGGUNAKAN METODE ADJECTIVE,” hal. 272–277.
Daniel Jurafsky, J. H. M. (2021) “Speech and Language Processing: An introduction to natural language processing,” SPEECH and LANGUAGE PROCESSING An Introduction to Natural Language Processing Computational Linguistics and Speech Recognition, hal. 1–18. Tersedia pada: http://www.cs.colorado.edu/~martin/slp.html.
Daniels, P. T. dan Crystal, D. (1992) “The Cambridge Encyclopedia of Language,”
Language, 68(2), hal. 422. doi: 10.2307/416962.
Gutknecht, C. dan Gutknecht, C. (tanpa tanggal) “Translation Translation : a Communicative Device,” hal. 692–703.
Indriani, K., Gabriel, L. dan Sumanto, S. (2021) “Implementasi Penerjemah Bahasa Tetun - Indonesia ( Timor Leste Tetun ) Berbasis Web,” 4(1), hal. 51–55.
Kurniyawan, G. (2019) “Aplikasi Pengolahan Data Servis Kendaraan Mobil Dan Motor Pada Pt. Penerbit Erlangga Cabang Palembang Berbasis Website,”
Journal of Chemical Information and Modeling, 53(9), hal. 1689–1699.
Lumbantobing, T. R. (2019) “Aplikasi Kamus Digital Bahasa Batak-Indonesia- Inggris Menggunakan Microsoft Visual Studio Tugas Akhir Aplikasi Kamus Digital Bahasa Batak-Indonesia- Inggris Menggunakan Microsoft Visual Studio.”
Mada, U. G. (2018) Bagaimana Cara Kerja Mesin Penerjemah? Tersedia pada:
https://ukmfost.pasca.ugm.ac.id/2018/11/06/bagaimana-cara-kerja-mesin- penerjemah/.
Muhsinin (2018) “Pedoman Flowchart,” 1. Flowchart P, Membuat PD, Bila F, Penjualan MP. Pedoman Flowchart. :1-13., hal. 1–13.
Mulyana, M., Sujaini, H. dan Pratiwi, H. S. (2018) “Algortima Pembagian Frasa Dalam Kalimat Untuk Menigkatkan Akurasi Mesin Penerjemah Statistik Bahasa Indonesia – Bahasa Bugis Wajo,” Jurnal Sistem dan Teknologi Informasi (JUSTIN), 6(2), hal. 39. doi: 10.26418/justin.v6i2.23984.
Nurholis, Anam, C. dan Airlangga, P. (2019) “Aplikasi Kamus Bahasa Madura Berbasis Web,” Saintekbu, 11(2), hal. 55–64. doi:
10.32764/saintekbu.v11i2.220.
Putri Handayani Parinduri (2019) “PROGRAM APLIKASI KAMUS BAHASA INDONESIA-BATAK MANDAILING PROGRAM APLIKASI KAMUS BAHASA INDONESIA-BATAK.”
R.Nair, L. dan Peter S., D. (2012) “Machine Translation Systems for Indian Languages,” International Journal of Computer Applications, 39(1), hal.
24–31. doi: 10.5120/4785-7014.
Reinert Yosua Rumagit, S.Kom., M. T. (2019) Perkenalan Django, Perkenalan Django. Tersedia pada: https://socs.binus.ac.id/2019/12/26/perkenalan- django/.
Sibarani, T. (2015) “Pelestarian Bahasa Batak Toba dari Tinjauan Sosiologi dan Struktur Bahasa,” MEDAN MAKNA: Jurnal Ilmu Kebahasaan dan Kesastraan, XIII(2), hal. 203–214.
Sihombing, L. E. P. (2011) Mari Belajar Bahasa Batak (2). Tersedia pada:
http://lambok-parasian.blogspot.com/2011/04/mari-belajar-bahasa-batak- 2.html.
Turmudi, P. (r) D. E. (2017) Bahasa Daerah Punah, Bahasa Batak, Kejutan,
Lembaga Ilmu Pengetahuan Indonesia. Tersedia pada:
http://lipi.go.id/lipimedia/bahasa-daerah-lain-punah-bahasa-batak- kejutan/17984.
Wibowo, A. dan Fahrizal, M. (2021) “Metode Parsing Tree Dalam Rancang Bangun Penerjemah Bahasa Indonesia Ke Bahasa Lampung,” Jurnal Portal Data, 1(1), hal. 1–28.
Wijayanti, N. N. (2021) Apa Itu Website? Pengertian, Jenis, dan Manfaatnya!,
Niagahoster.co.id. Tersedia pada:
https://www.niagahoster.co.id/blog/pengertian-website/.
Untuk Database Kamus lengkap dapat dilihat pada link berikut:
https://drive.google.com/file/d/1gP_nriODClssttWXdwxGvi5hIn_H2jbD/view?usp
=sharing
Lampiran 2 Lembar pengujian BLEU Score
Lampiran 3 Pengujian BLEU pada kalimat
Kalimat pertama
Kalimat Kedua
Kalimat Ketiga
Kalimat Keempat
Kalimat Kelima
Kalimat Keenam
Kalimat Ketujuh
Kalimat Kedelapan