BAB V
PENGUJIAN DAN ANALISIS SISTEM M-LEARNING
5.1 Pengujian dengan BREW Simulator
Sebelum diimplementasikan ke dalam perangkat fisik, sistem yang telah dibuat disimulasikan dan diuji dengan BREW Simulator. BREW Simulator dapat mensimulasikan perangkat-perangkat yang mendukung BREW. Pada pengujian ini, sistem disimulasikan dengan perangkat Kyocera KOI (KX2) pada BREW Simulator sesuai dengan perangkat fisik yang ada.
Gambar 5.1 BREW Simulator
audio, dan mengambil file dari server dapat dilakukan dengan lancar.
5.2 Pengujian dengan Perangkat Kyocera KOI (KX2)
Sistem yang telah berhasil diuji dengan Simulator di-upload ke dalam perangkat untuk diuji lebih lanjut. Perangkat yang digunakan adalah Kyocera KOI (KX2) yang mendukung BREW dan merupakan telepon seluler kelas menengah. Di bawah ini merupakan foto-foto yang menunjukkan pengujian di dalam perangkat.
Gambar 5.2 Kyocera KOI (KX2)
Gambar 5.3 Tampilan Menu Aplikasi BREW
Gambar 5.4 Tampilan
Splash Screen Benkyo
Gambar 5.5 Tampilan Menu Benkyo
Gambar 5.6 Tampilan Menu Kana Learning
Gambar 5.7 Tampilan Menu Hiragana
Gambar 5.8 Tampilan Modul Hiragana
Gambar 5.9 Pilihan untuk memainkan suara
Gambar 5.10 Tampilan Menu Kanji Learning
Gambar 5.11 Tampilan Modul Kanji Learning
Gambar 5.15 Tampilan
Modul Grammar Gambar 5.16 Tampilan Information
Hasil pengujian pada perangkat memberikan hasil bahwa fungsi-fungsi yang ada dapat berjalan dengan baik, kecuali fungsi untuk memainkan file suara dan mengambil file dari server.
5.3 Survey User Satisfaction
Pengujian terakhir dilakukan dengan melakukan pengukuran melalui survey seperti pada analisis kebutuhan (Bab 3.2.2). Survey dilakukan pada sepuluh orang responden yang diambil dari berbagai kalangan sesuai dengan spesifikasi pengguna dan pemegang peran untuk sistem ini, yaitu dari siswa SMA, mahasiswa umum, mahasiswa jurusan Sastra Jepang, kalangan pekerja, serta pengajar dan peserta kursus bahasa Jepang. Survey ini ditujukan untuk melihat tingkat kepuasan pelanggan terhadap sistem yang sudah dibangun, apakah sesuai dengan harapan mereka. Hasil pengukuran ditunjukkan oleh Tabel 5.1.
Tabel 5.1 Hasil Pengukuran Kepuasan Pengguna
Sasaran Kriteria Hasil
Pengukuran Ekspektasi Pengguna Penilaian* User business or background of the project
Benkyo dapat memenuhi kebutuhan bahasa Jepang yang semakin meningkat
66% 72% Di Bawah Ekspektasi Benkyo dapat mengatasi kendala
waktu dalam pembelajaran bahasa Jepang
76% 74% Sesuai Ekspektasi
Tabel 5.1 Hasil Pengukuran Kepuasan Pengguna (lanjutan)
Sasaran Kriteria Hasil
Pengukuran
Ekspektasi Pengguna
Penilaian* Benkyo dapat mengatasi kendala
biaya dalam pembelajaran bahasa Jepang
78% 72% Di Atas Ekspektasi Goals of the project Benkyo memberikan pembelajaran
bahasa Jepang yang mudah dan murah
80% 90% Di Bawah Ekspektasi Benkyo memanfaatkan teknologi
yang ada secara maksimal 74% 88% Di Ekspektasi Bawah The Hands-On
Users of the Product
Siswa sekolah dapat menggunakan
produk ini 82% 88% Di Ekspektasi Bawah Mahasiswa dapat menggunakan
produk ini 86%
88% Sesuai Ekspektasi Kalangan pekerja dapat
menggunakan produk ini 86% 86% Sesuai Ekspektasi Solution
Constraints Benkyo menggunakan handphone sebagai media 90% 72% Di Ekspektasi Atas Benkyo tidak memerlukan biaya
tambahan untuk mengakses fitur-fiturnya 76% 52% Di Atas Ekspektasi Anticipated Workplace Environment
Benkyo dapat digunakan tanpa
batasan tempat 88%
90% Sesuai Ekspektasi Schedule
Constraints Benkyo dapat digunakan tanpa batasan waktu 88% 90% Sesuai Ekspektasi Budget Constraints Harga yang pantas untuk Benkyo
(Rp.20rb – 70rb) 44% 28% Di Ekspektasi Atas Facts Pengaruh handphone memacu
penggunaan Benkyo 78%
86% Di Bawah Ekspektasi Assumption Pengguna memilih belajar bahasa
Jepang dengan Benkyo 68% 74% Di Ekspektasi Bawah Product Boundary Pengguna dapat belajar bahasa
Jepang dasar dengan Benkyo 84% 86% Sesuai Ekspektasi Functional
Requirements Pengguna dapat membaca dan menulis dalam bahasa Jepang 76% 80% Sesuai Ekspektasi Data Requirements Pengguna dapat belajar huruf dasar
Jepang (hiragana dan katakana) 86% 80% Di Ekspektasi Atas Pengguna dapat mengenal huruf
kanji 86%
84% Sesuai Ekspektasi Pengguna dapat mengenal struktur
bahasa Jepang 74% 82% Di Ekspektasi Bawah Pengguna dapat mengenal
kata-kata dalam bahasa Jepang 82% 88% Di Ekspektasi Bawah Appearance
Requirements Benkyo memiliki tampilan menarik 70% 90% Di Ekspektasi Bawah Benkyo memiliki logo yang unik 70% 78% Di Bawah
Ekspektasi Style Requirements Benkyo memiliki warna yang
nyaman dilihat 82%
86% Sesuai Ekspektasi
Tabel 5.1 Hasil Pengukuran Kepuasan Pengguna (lanjutan)
Sasaran Kriteria Hasil
Pengukuran
Ekspektasi Pengguna
Penilaian* Ease of Use
Requirements Pengguna dapat dengan cepat menguasai penggunaan Benkyo 82% 88% Di Ekspektasi Bawah Pengguna dapat mengingat dengan
mudah bagaimana menggunakan Benkyo
86% 90% Sesuai Ekspektasi Benkyo memiliki navigasi yang
baik 76% 92% Di Ekspektasi Bawah Personalization and
Internationalization Requirements
Benkyo menggunakan bahasa
Inggris sebagai bahasa pengantar 88% 84% Sesuai Ekspektasi Understandability
and Politeness Requirements
Benkyo menggunakan kalimat
yang mudah dimengerti pengguna 88%
98% Di Bawah Ekspektasi Speed and Latency
Requirements Pengaksesan setiap menu dilakukan dengan cepat 86% 94% Di Ekspektasi Bawah Precision or
Accuracy Requirements
Benkyo memiliki materi yang
berkualitas 76% 86% Di Ekspektasi Bawah Reliability and
Availability Requirements
Benkyo dapat digunakan dalam
berbagai kondisi 74% 78% Sesuai Ekspektasi Capacity
Requirements Benkyo memiliki ukuran yang tidak terlalu besar 82% 88% Di Ekspektasi Bawah Scalability or
Extensibility Requirements
Benkyo akan mampu menampung modul-modul tambahan untuk pelajaran tingkat lanjut
86% 90% Sesuai Ekspektasi Compliance
Requirements Benkyo tidak dapat dibajak 64% 78% Di Ekspektasi Bawah
Hasil Keseluruhan 79% 82% Sesuai
Ekspektasi * Kriteria Penilaian:
Di Bawah Ekspektasi → (Hasil Survey) < (Ekspektasi – 5%) Sesuai Ekspektasi → (Hasil Survey) ∈ (Ekspektasi Pengguna + 5%) Di Atas Ekspektasi → (Hasil Survey) > (Ekspektasi Pengguna + 5%)
Hasil pengukuran ini memberikan hasil 17 kriteria dari sistem ada di bawah ekspektasi, 14 kriteria sesuai ekpektasi, dan 5 kriteria di atas ekpektasi. Secara keseluruhan, Benkyo memberikan 79% kepuasan pengguna, mendekati ekspektasi pengguna sebesar 82%. Hasil pengukuran ini juga ditampilkan oleh grafik pada Gambar 5.17.
Gambar 5.17 Grafik Perbandingan Antara Ekspektasi dan Kepuasan Pengguna
5.4 Analisis
Secara keseluruhan, aplikasi Benkyo ini telah memberikan hasil yang cukup baik, ditunjukkan oleh tingkat kepuasan pengguna yang cukup tinggi, kecuali dalam hal beberapa layanan yang belum berfungsi ketika diuji dengan perangkat. Analisis terhadap hasil pengujian sistem dilakukan dengan SWOT Analysis, yaitu menganalisis Strengths (Kelebihan), Weaknesses (Kelemahan), Opportunities (Peluang), dan Threats (Ancaman) yang dimiliki oleh sistem yang dibangun. Analisis ini ditujukan untuk mengenal sistem lebih mendalam sebagai bahan-bahan pertimbangan untuk pengembangan lebih lanjut.
5.4.1 Strengths
Beberapa keunggulan dari Benkyo yaitu:
¾ Memberikan pembelajaran bahasa Jepang yang mudah dan murah, dapat dilakukan di mana saja dan kapan saja karena telepon seluler merupakan
¾ Mengatasi masalah tempat dan waktu dalam pembelajaran bahasa, terutama bahasa Jepang, yang membutuhkan konsistensi tinggi.
¾ Memberikan pembelajaran bahasa Jepang secara menyeluruh, mencakup huruf-huruf Jepang dasar (hiragana dan katakana), huruf-huruf kanji, tata bahasa serta perbendaharaan kata dalam bahasa Jepang.
¾ Mudah digunakan oleh berbagai kalangan, mulai dari pelajar sekolah, mahasiswa, hingga kalangan pekerja dan profesional.
¾ Menggunakan animasi untuk mempermudah pembelajaran cara menulis huruf-huruf dalam bahasa Jepang.
¾ Memiliki kebutuhan sistem yang minimal dan dapat berfungsi di perangkat yang tidak memiliki spesifikasi tinggi.
¾ Memiliki fleksibilitas untuk penambahan modul-modul atau fasilitas yang lebih luas.
5.4.2 Weaknesses
Di samping keunggulan yang ada, Benkyo juga masih memiliki beberapa kelemahan, antara lain:
¾ Pada perangkat fungsi untuk memainkan file suara masih belum dapat berfungsi. Dugaan awal hal ini dikarenakan oleh inkompatibiltas, karena aplikasi di-compile dengan BREW versi 3.1.5 sedangkan perangkat yang digunakan baru mendukung BREW versi 2.1. Namun, setelah di-compile dengan BREW versi 2.1, fasilitas tersebut masih belum dapat berfungsi dan masih belum diketahui penyebabnya. ¾ Akses ke internet melalui perangkat juga belum dapat dilakukan karena
keterbatasan operator yang digunakan pada perangkat yang belum mendukung.
5.4.3 Opportunities
Beberapa peluang-peluang yang dimiliki oleh sistem ini antara lain:
¾ Hingga saat ini belum ada aplikasi serupa yang dapat digunakan pada telepon seluler.
berkembangnya aplikasi ini di Indonesia.
¾ Semakin meningkatnya pengaruh kebudayaan Jepang di Indonesia dapat meningkatkan kebutuhan pembelajaran bahasa Jepang yang dapat dijawab oleh sistem ini.
¾ Dapat menjadi model bagi pembelajaran lainnya di telepon seluler.
5.4.4 Threats
Adapun ancaman-ancaman yang dapat dihadapi Benkyo antara lain:
¾ Banyaknya buku-buku pelajaran bahasa Jepang dan software-software untuk PC untuk pembelajaran bahasa Jepang dapat menjadi menjadi pilihan lain bagi target pasar.
¾ Kecenderungan masyarakat yang lebih memilih untuk belajar bahasa melalui kursus daripada belajar sendiri.
