1
PENGEMBANGAN PROTOTYPE
ONLINE ADAPTIVE M-ASSESSMENT PADA
SMARTPHONE BERBASIS ANDROID
Hendra
School of Computer Science, Bina Nusantara University Jl. KH Syahdan 9, 11480, Jakarta, Indonesia
Email : hendra40@yahoo.com Tel: +62-21-5345830; Fax: +62-21-5300244
Cuk Tho
School of Computer Science, Bina Nusantara University Jl. KH Syahdan 9, 11480, Jakarta, Indonesia
Email : cuktho@binus.edu
Tel: +62-21-5345830; Fax: +62-21-5300244
Abstrak
Sistem assessment pada saat ini sebagian besar masih menggunakan media berupa kertas dan pena dimana media ini memiliki beberapa kelemahan, seperti tingginya biaya penggunaan kertas, proses yang membutuhkan banyak waktu dalam penyusunan hasil assessment, kesulitan sistem dalam beradaptasi dengan kemampuan peserta didik, dan keterbatasan peserta didik dalam melakukan assessment (waktu dan lokasi). Pada saat ini, para peneliti mencoba menggabungkan sistem ini dengan perangkat mobile untuk menutupi kelemahan-kelemahan yang ada. Sebagai hasilnya, smartphone digunakan sebagai salah satu perangkat mobile self-assessment untuk menutupi kelemahan sistem. Smartphone dipilih karena saat ini telah terjadi transisi yang mengarah kepada paradigma ubiquitous computing di masyarakat. Penelitian ini bertujuan untuk menyelidiki bagaimana seorang dosen dapat memanfaatkan mobile self-assessment untuk pembuatan latihan online demi mahasiswanya yang bersinergi dengan kegiatan perkuliahan mata pelajaran Software Engineering yang ditangani dosen tersebut. Penelitian ini juga bertujuan untuk memeriksa tanggapan dosen dan mahasiswa terhadap penggunaan prototype mobile self-asssessment. Hasil dari penelitan ini menunjukkan bahwa prototype adalah sebuah platform mobile self-assessment yang baik dan mudah digunakan sehingga dosen dapat menggunakannya dengan sukses. Selain itu, para mahasiswa juga setuju bahwa mereka menyukai untuk melakukan latihan online melalui prototype mobile self-assessment.
2
1. PENDAHULUAN
Sistem assessment pada saat ini sebagian besar masih menggunakan media berupa kertas dan pena dimana media ini memiliki beberapa kelemahan, seperti tingginya biaya penggunaan kertas, proses yang membutuhkan banyak waktu dalam penyusunan hasil assessment, kesulitan sistem dalam beradaptasi dengan kemampuan peserta didik, dan keterbatasan peserta didik dalam melakukan assessment (waktu dan lokasi) (Sungkur dan Beeharry, 2012;Wen et al., 2007). Pada saat ini, para peneliti mencoba menggabungkan sistem ini dengan perangkat mobile untuk menutupi kelemahan-kelemahan yang ada. Sebagai hasilnya, smartphone digunakan sebagai salah satu perangkat mobile self-assessment untuk menutupi kelemahan sistem. Smartphone dipilih karena saat ini telah terjadi transisi yang mengarah kepada paradigma ubiquitous computing di masyarakat (Martinez dan Hilera, 2010).
Triantafillou, Georgiadou, dan Economides (2008) melakukan penelitian mengenai evaluasi computerized adaptive test pada perangkat mobile di University of Macedonia. Para peserta didik harus memiliki PDA untuk dapat melakukan latihan dengan pertanyaan yang unik. Pertanyaan tersebut akan berbentuk multiple-choice dimana pertanyaan akan menyesuaikan dengan kemampuan peserta didik. Peserta didik di University of Macedonia merasa bahwa computerized adaptive test menawarkan hasil yang lebih akurat dimana mereka bukan hanya dinilai dari jumlah jawaban yang benar, tetapi juga dari tingkat kesulitan pada pertanyaan-pertanyaan yang dijawab. Schuler dan Morisse (2011) melakukan penelitian yang berbeda tanpa adanya kemampuan adaptif pada sistem yang dibuat. Penelitian ini membahas mengenai penggunaan mobile self-assessment untuk mendukung blended learning di University of Applied Sciences. Para peserta didik harus memiliki iPhone atau iPod touch untuk dapat menggunakan layanan mobile self-assesment. Para peserta didik dapat melakukan self-assessment dengan berbagai tipe pertanyaan, seperti single-choice, multiple-choice, open textbox, cloze exercise, yes-no question, dan association. Penggunaan mobile self-assessment untuk mendukung blended learning di University of Applied Sciences mendapat umpan balik yang positif dari para peserta didik. Sungkur dan Beeharry (2012) juga melakukan penelitian yang berbeda dengan hanya mendukung satu tipe pertanyaan. Penelitian ini membahas mengenai keuntungan dari mobile self-assessment yang didapatkan peserta didik di University of Mauritius. Para peserta didik dapat melakukan self-assessment dengan tipe pertanyaan multiple-choice dan dapat melihat materi pembelajaran mereka untuk modul yang mereka ikuti di University of Mauritius.
Ketika mengembangkan sistem mobile self-assessment, terdapat beberapa peneliti yang tidak hanya menggunakan perangkat mobile, tetapi juga menggunakan web interface. Salah satu penelitian dengan metode tersebut dilakukan oleh Martinez dan Hilera (2010) di University of Alcala. Para peserta didik, pengajar, dan administrator di University of Alcala ikut terlibat dalam sistem mobile self-assessment ini. Para peserta didik dapat melakukan self-assessment dengan berbagai tipe pertanyaan yang didukung oleh spesifikasi IMS QTI, seperti multiple-choice, gap fill, dan open answer.
Penelitian ini bertujuan untuk menyelidiki bagaimana seorang dosen dapat memanfaatkan mobile self-assessment untuk pembuatan latihan online demi mahasiswanya yang bersinergi dengan kegiatan perkuliahan mata pelajaran Software Engineering yang ditangani dosen tersebut. Penelitian ini juga bertujuan untuk memeriksa tanggapan dosen dan mahasiswa terhadap penggunaan prototype mobile self-asssessment.
2. SISTEM
Peneliti telah merancang dan membangun sebuah sistem sebelumnya untuk mendukung mobile self-assessment. Arsitektur sistem yang dibangun (Gambar 1) terdiri dari dua sistem yang berbeda : (1) Sebuah web server untuk menyimpan, mengirimkan, dan mengevaluasi latihan online. (2) Aplikasi mobile yang digunakan peserta didik untuk berhubungan dengan server, melakukan download pertanyaan-pertanyaan dan menjawab semua pertanyaan yang ada. Pengajar juga menggunakan aplikasi mobile untuk melakukan konfigurasi pertanyaan dan untuk meninjau perkembangan peserta didik. Sebuah peran administrator tersedia dan tanggung jawab dari administrator adalah berhubungan dengan pengaturan user.
3
Sistem ini dikembangkan pada smartphone berbasis Android. Smartphone sebaiknya memiliki resolusi QVGA (240 x 320), HVGA (320 x 480) atau WVGA (480 x 800) dan memiliki versi Android antara Froyo (2.2) dan Gingerbread (2.3) untuk menjalankan aplikasi mobile. Smartphone juga harus memiliki koneksi internet (3G) untuk menjalankan aplikasi mobile.
Penjelasan mengenai bagaimana sistem ini bekerja adalah sebagai berikut :
1. Pengajar melakukan upload beberapa pertanyaan mengenai chapter yang dipilih ke server. Pengajar dapat memilih tipe pertanyaan yang tersedia, seperti multiple-correct, fill-in, atau ordering. Pengajar dapat juga memilih untuk melakukan upload satu pertanyaan secara langsung atau banyak pertanyaan dengan bantuan excel file. Sebuah pertanyaan dapat berisi beberapa file pendukung.
2. Para peserta didik melakukan download beberapa pertanyaan mengenai chapter yang dipilih dari server. Jumlah pertanyaan akan diputuskan berdasarkan pada waktu yang telah ditetapkan dan level setiap peserta didik. Waktu latihan telah dikonfigurasi secara otomatis tetapi para peserta didik dapat mengubahnya kemudian.
3. Para peserta didik menjawab pertanyaan-pertanyaan tersebut dari smartphone (Gambar 2). Hasil dari pertanyaan yang dijawab akan ditampilkan segera. Setelah para peserta didik menjawab semua pertanyaan, aplikasi akan menghitung semua hasil dan menampilkannya dalam bentuk nilai. Hasil dan nilai tersebut akan dikirim ke server dan pertanyaan-pertanyaan akan dihapus dari smartphone milik peserta didik.
4. Hasil dan dan nilai yang berada di server dapat dilihat oleh pengajar yang bertanggung jawab untuk mengajar peserta didik dan peserta didik sendiri dari smartphone. Nilai dapat ditampilkan dalam bentuk line chart (Gambar 3) atau bentuk teks yang terdapat pada rincian latihan sedangkan hasil dapat ditampilkan dalam bentuk pdf.
5. Administrator bertanggung jawab mengatur user dengan melakukan penghapusan mata pelajaran pengajar secara periodik.
6. Administrator tidak dapat melihat lagi mata pelajaran pengajar dalam daftar dan hubungan antara pengajar dan peserta didik yang mengambil mata pelajaran tersebut akan terputus. Walaupun begitu, tindakan ini tidak akan menghapus pertanyaan dalam mata pelajaran. Tindakan ini hanya memutuskan hubungan antara pengajar dan para peserta didik yang mengambil mata pelajaran tersebut.
Android Smartphone Admin Tutor Server Participant 3G Network Mobile Operator Internet
4
Gambar 2 Tampilan Layar Practice (multiple-correct)
Gambar 3 Tampilan Layar Score (line chart)
3. METODE PENELITIAN
3.1 Sampel
Sampel penelitian terdiri atas seorang dosen pria berumur 29 tahun yang merupakan dosen yang mengajar mata pelajaran Software Engineering di BINUS University dan 9 mahasiswa pria yang merupakan mahasiswa semester empat jurusan teknik informatika. Rata-rata umur dari 9 mahasiswa tersebut adalah 20 tahun. Dosen dan sembilan mahasiswa tersebut dipilih dengan cara purposive sampling. Mereka telah memiliki smartphone Android dengan dukungan internet sebelumnya dan menggunakan Facebook untuk berkomunikasi
5
dengan kerabatnya. Tidak ada satu pun baik dosen dan mahasiswa yang pernah menggunakan prototype of mobile self-assessment sebelum penelitian ini.
3.2 Prosedur dan Instrumen Penelitian
Dosen yang dipilih membuat 26 latihan online berdasarkan pada buku Software Engineering : A Practitioner’s Approach yang disusun oleh Pressman (2010) melalui prototype mobile self-assessment untuk 9 mahasiswa tersebut. Kemudian, para mahasiswa diminta untuk melakukan register dan melakukan setiap latihan online untuk mendapatkan umpan balik. Dosen yang dipilih akan memeriksa hasil latihan para mahasiswa seminggu sekali untuk meninjau perkembangan para mahasiswa. Satu latihan online harus diselesaikan dalam jangka waktu satu minggu.
Penelitian ini menggunakan tiga instrumen penelitian, yaitu sebuah buku harian, sebuah kuesioner, dan prototype mobile self-assessment. Dosen yang dipilih menyimpan sebuah buku harian untuk menyelidiki bagaimana dosen tersebut belajar untuk menggunakan prototype of mobile self-assessment, termasuk tanggapan dosen tersebut terhadap penggunaan prototype mobile self-assessment. Sebuah kuesioner terdiri atas pertanyaan tipe Likert scale (5 poin) yang menanyakan tentang pendapat mengenai penggunaan prototype mobile self-assessment dan dua pertanyaan terbuka yang menanyakan masalah-masalah yang dihadapi dan saran-saran yang ingin disampaikan. Kuesioner dibagikan kepada 9 mahasiswa tersebut setelah perkuliahan Software Engineering berakhir. Data yang direkam secara otomatis oleh prototype mobile self-assessment juga dikumpulkan untuk menganalisis penggunaan prototype.
3.3 Analisis Data
Data yang berasal dari buku harian dosen dianalisis dan dikelompokkan ke dalam 3 bagian, yaitu periode, aktivitas pada prototype mobile self-assessment, dan tanggapan mengenai prototype. Kemudian, peneliti lebih jauh mengelompokkan informasi yang terdapat pada buku harian dengan membagi menjadi 2 bagian, yaitu bagaimana dosen tersebut belajar untuk menggunakan prototype mobile self-assessment dan tanggapannya terhadap penggunaan prototype. Data yang berasal dari pertanyaan dengan tipe Likert scale dianalisis dengan menggunakan panduan penilaian sebagai berikut : 4.21 – 5 = sangat setuju, 3.41 – 4.2 = setuju, 2.61 – 3.4 = netral, 1.81 – 2.6 = tidak setuju, 1 – 1.8 = sangat tidak setuju, sementara data yang berasal dari pertanyaan terbuka dikelompokkan untuk melihat pokok-pokok yang penting mengenai masalah dan saran pada prototype yang digunakan. Terakhir, data yang berasal dari prototype mobile self-assessment dianalisis dan dikelompokkan menjadi aktivitas-aktivitas yang dilakukan dosen selama penelitian.
4. HASIL DAN BAHASAN
4.1 Penggunaan Prototype
4.1.1 Penggunaan Fungsi
Data yang berasal dari prototype mengungkapkan bahwa dosen tersebut hanya menggunakan beberapa fungsi yang berhubungan dengan latihan yang dibuat. Sebagaimana yang ditunjukkan pada Tabel 1, kita dapat melihat bahwa fungsi yang paling banyak digunakan (234 kali) adalah ‘Chart Score’ yang digunakan untuk meninjau perkembangan para mahasiswa. Meskipun begitu, dosen tersebut juga mencoba fungsi ‘File Sharing’, ‘Questions Import’, ‘Dropbox Synchronization’, dan ‘PDF Backup’.
6
No Aktivitas melalui Prototype Jumlah
1 Meninjau 'Chart Score' 234
2 Melakukan 'File Sharing' 26 3 Melakukan 'Questions Import' 26 4 Melakukan 'Dropbox Synchronization' 2
5 Melakukan 'PDF Backup' 9
Tabel 1 Aktivitas melalui Prototype
4.1.2 Belajar tentang Prototype
Hasil analisis data yang berasal dari buku harian dosen tersebut pada Tabel 2 mengindikasikan 3 periode pembelajaran prototype mobile self-assessment. Kita dapat melihat bahwa dosen tidak belajar bagaimana menggunakan seluruh fungsi prototype sebelum menggunakannya, tetapi hanya fungsi-fungsi yang dibutuhkan saja seperti ‘Register’, ‘Set Subject and Chapter’, ‘Questions Import’, ‘Dropbox Synchroinization’, dan ‘Chart Score’. Selama proses penggunaan prototype, fungsi yang menarik seperti ‘File Sharing’ menginspirasi dosen tersebut untuk belajar menggunakan dan menerapkannya pada mahasiswa. Sebagai tambahan, masalah yang dihadapi dosen tersebut dan mahasiswa selama penggunaan prototype mendorong dosen tersebut belajar bagaimana menggunakan fungsi-fungsi lain dari prototype untuk menyelesaikan masalah. Setelah periode penggunaan prototype berakhir, dosen tersebut tetap belajar dalam menggunakan fungsi baru (PDF Backup) untuk melakukan backup pertanyaan-pertanyaan yang telah dibuatnya dan hasil perkembangan para mahasiswa.
Periode Fungsi Jumlah
Sebelum penggunaan prototype Butuh :
1. register
2. set subject and chapter 5
3. questions import
4. dropbox synchronization
5. chart score
Selama penggunaan prototype Tertarik :
1. File sharing 1
Penyelesaian masalah :
1. View Question performance
2. Add one question 4
3. Set Preferences
4. Send Feedback
Setelah penggunaan prototype Fungsi baru :
PDF backup 1
7
4.2 Tanggapan Dosen
4.2.1 Tanggapan Positif terhadap Prototype
Kutipan dibawah ini dari buku harian dosen tersebut menunjukkan bahwa dosen tersebut menyukai prototype karena fungsi yang dimiliki dan tampilan yang ramah terhadap pengguna.
“Saya senang bahwa saya dapat memasukkan banyak pertanyaan sekaligus, menetapkan waktu penyelesaian untuk setiap pertanyaan, dan meninjau level pertanyaan. Semua langkah penggunaan fungsi dapat dikatakan mudah karena terdapat sebuah petunjuk pada bagian atas setiap halaman.” (Setelah penggunaan prototype)
4.2.2 Asumsi yang Berlebihan terhadap Kesediaan Mahasiswa Menggunakan
Koneksi Internet
Beberapa kutipan dari buku harian dosen tersebut menunjukkan bahwa terdapat beberapa mahasiswa tidak bersedia menggunakan koneksi internet pada smartphone yang dimilikinya untuk menjalankan prototype.
“Salah satu mahasiswa mengatakan kepada saya bahwa dia mengalami kesulitan melakukan konfigurasi pada dropbox karena dia belum pernah menggunakan sebelumnya. Dia juga mengalami kesulitan untuk menggunakan fungsi dropbox secara berkelanjutan karena dia menyadari bahwa sinkronisasi melalui dropbox membutuhkan kuota internet yang besar.” (Selama penggunaan prototype)
“Salah satu mahasiswa juga mengatakan bahwa dia menggunakan internet dengan kuota yang terbatas. Dia selalu mengerjakan latihan online ini pada tempat yang menyediakan Wi-Fi sehingga dia mengalami masalah waktu dan tempat. ” (Selama penggunaan prototype)
4.3 Tanggapan Mahasiswa
4.3.1 Kenyamanan dalam Penggunaan Prototype
No Hal x-bar SD Level
1 Melihat chart score secara cepat 4.22 0.44 sangat setuju 2 Log in dan log out secara cepat 3.56 0.53 3 Kemudahan dalam melakukan latihan 3.89 0.6 4 Load halaman apapun secara cepat 3.78 0.67 5 Melihat peringkat seluruh mahasiswa dengan mudah 3.67 0.87 setuju
6 Backup latihan dengan mudah 4 0.71
7 Share file dengan mudah 3.67 0.5
8 Sinkronisasi file dengan cepat 3.44 0.73
9 Register dengan mudah 3 0.71 netral
10 Tidak pernah gagal 3.33 0.71
8
Hasil analisis data pada Tabel 3 yang berasal dari kuesioner, mengindikasikan bahwa para mahasiswa sangat setuju bahwa mereka dapat melihat chart score secara cepat. Selain itu, mereka setuju bahwa mereka dapat menggunakan 7 fungsi dari prototype secara cepat dan mudah. Meskipun begitu, mereka masih beranggapan netral bahwa mereka dapat melakukan register dengan mudah dan mereka masih beranggapan netral juga bahwa mereka menggunakan prototype tanpa ada kesalahan atau kegagalan.
Hasil analisis data juga menunjukkan bahwa hanya terdapat distribusi data yang kecil berdasarkan pada SD (Standar Deviasi) pada Tabel 3. Oleh karena itu, kita dapat menyimpulkan bahwa tanggapan mengenai latihan online melalui prototype pada 9 mahasiswa jurusan Teknik Informatika tidak jauh berbeda. Sebagai konsekuensinya, peneliti percaya bahwa dosen-dosen lain dapat mencoba menggunakan prototype untuk latihan online pada mahasiswanya masing-masing.
4.3.2 Masalah dan Saran dari Mahasiswa
Berdasarkan pada jawaban atas pertanyaan terbuka pada kuesioner, para mahasiswa mengungkapkan dua masalah penting, yaitu tidak ada kemampuan agar prototype dapat berjalan offline dan tidak ada latihan untuk menggunakan prototype. Untuk masalah pertama, masalah ini timbul dari asumsi yang berlebihan dari dosen mengenai kesediaan para mahasiswa menggunakan koneksi internet pada smartpone milik mereka untuk menjalankan prototype. Asumsi ini berasal dari kenyataan bahwa 9 mahasiswa tersebut adalah mahasiswa jurusan Teknik Informatika yang telah menggunakan aplikasi-aplikasi online pada smartphone milik mereka, salah satunya adalah Facebook untuk berkomunikasi dengan kerabatnya. Untuk masalah berikutnya, masalah ini timbul karena keterbatasan waktu yang dimiliki dosen untuk memberi pelatihan mengenai prototype di kelas. Para mahasiswa juga menyarankan ide yang cemerlang untuk memperluas jangkauan prototype agar dapat digunakan di perangkat smartphone lain (BlackBerry dan iPhone) dan ide untuk menambah pertanyaan mengenai Software Engineering lebih banyak untuk latihan.
5. SIMPULAN DAN SARAN
Simpulan yang paling penting dari penelitian ini adalah bahwa prototype ini adalah sebuah platform mobile self-assessment yang baik dan mudah digunakan sehingga dosen tersebut dapat menggunakannya dengan sukses. Walaupun dosen tersebut mempelajari bagaimana menggunakan sebagian besar fungsi pada prototype melalui cara problem-solving, dosen tersebut dapat melaluinya dengan mudah karena prototype menyediakan sebuah mode bantuan berupa deskripsi pada bagian atas setiap halaman dan sebuah mode umpan balik untuk menanyakan pertanyaan langsung ke peneliti. Selain itu, tanggapan positif dari dosen dan para mahasiswa memotivasi peneliti untuk percaya bahwa prototype dapat digunakan sebagai latihan online tambahan untuk mahasiswa yang lain. Akan tetapi terdapat beberapa hal yang perlu dilakukan untuk penelitian berikutnya, seperti demonstrasi dan pelatihan singkat mengenai prototype, video mengenai instruksi secara rinci bagaimana menggunakan prototype, dan penambahan kemampuan agar prototype dapat berjalan secara offline.
PERNYATAAN
Penulis berterima kasih kepada IT Directorate BINA NUSANTARA dan School of Computer Science, BINUS University dalam mendukung penelitian ini. Penulis juga berterima kasih kepada semua dosen pembimbing dan mahasiswa yang telah berpartisipasi dalam penelitian ini.
9
REFERENSI
Android developers. 2012. Platform Versions. Diperoleh 6 Agustus 2012 dari http://developer.android.com/resources/dashboard/platform-versions.html.
Martinez, M., Hilera, J.R. (2010). A new m-learning application designed for self-assessment. Pulso. 33 : 207-215.
Pressman, R.S. (2010). Software Engineering : A Practitioner’s Approach, 7th edition. McGraw Hill. United States of America.
Quia. n.d. Quia Tutorial – What Are The 10 Types of Quiz Questions?. Diperoleh 6 Februari 2012 dari http://www.quia.com/tutorials/quiz_question_types.
Schuler, T., Morisse, K. (2011). Usage of mobile self-assessment to support a continuous learning process. eL&mL2011, pp. 46-50.
Sungkur, R.K., Beeharry, K. (2012). SELF ASSESSMENT OF STUDENTS USING MOBILE DEVICES – ENCOURAGING STUDENT-CENTERED LEARNING. INTED2012 Proceedings, pp. 4046-4051.
Triantafillou, E., Georgiadou, E., Economides, A.A. (2008). The design and evaluation of a computerized adaptive test on mobile devices. Computers & Education. 50 : 1319-1330.
Wen, D., et al. (2007). ADAPTIVE ASSESSMENT IN WEB-BASED LEARNING. ICME2007, pp. 1846-1849.
RIWAYAT PENULIS
Hendra lahir di kota Bogor, Jawa Barat pada tanggal 29 Juni 1988. Penulis bergabung pada program internship mengenai mobile application sebagai peserta di IT Directorate Bina Nusantara pada tahun 2011. Pada tahun 2012, peneliti menerima gelar sarjana teknik informatika dalam bidang software engineering dari BINUS University.
