METODE PENELITIAN
3.1 Tahapan Penelitian
Dalam mengidentifikasi faktor-faktor terkait dengan evaluasi kepuasan pengguna, diperlukan model penelitian yang diadaptasi dari Standar ISO 9241-11 berkaitan dengan keterpakaian KIN online (usability). Yang diukur dalam penelitian ini adalah tingkat kepuasan pengguna terhadap KIN online yang diambil dari survei di 33 perpustakaan propinsi. Salah satu cara untuk mendapatkan data survei adalah menggunakan kuesioner sebagai instrumen utama untuk mengumpulkan data mengingat sebaran populasi yang letaknya berjauhan. Penelitian ditunjang dengan evaluasi heuristik yang merupakan sebuah metode untuk menemukan masalah keterpakaian (usability problem) dalam perancangan desain antarmuka sehingga pengguna dapat memberikan saran yang terkait dengan proses iterasi perancangan sebuah desain antarmuka. Pengujian evaluasi heuristic akan melibatkan sekelompok kecil anggota yang akan menilai masalah keterpakaian (usability problem) dengan merujuk pada 10 tingkat keterpakaian sebuah sistem.
Langkah-langkah dalam melakukan penelitian seperti yang dijelaskan dalam Gambar 4 : Mulai Persiapan Studi Literatur Pengumpulan data Penyusunan Proposal Survei
Survei oleh Pemustaka dan Pustakawan di 33 Perpustakaan Propinsi melalui kuesioner
Survei menggunakan turunan ISO 9241-11 untuk melihat keterpakaian dan harapan penggunaan katalog online
Gambar 4 Bagan alir kegiatan penelitian.
3.1.1 Persiapan
Studi Literatur yang dilakukan dengan mengumpulkan literatur yang terkait dengan KIN online yang sesuai dengan tingkat keterpakaian (usability). Studi literatur juga digunakan sebagai :
1. Penyusunan kuesioner bagi pemustaka dan pustakawan di 33 perpustakaan propinsi untuk memperoleh data yang akurat terkait tingkat kepuasan pengguna KIN online.
2. Penyusunan bahan evaluasi antarmuka bagi kelompok diskusi terarah (focused group discussion).
Adapun subjek penelitian yang dimaksud adalah KIN online pada situs resmi http://kin.pnri.go.id. Sedangkan objek penelitian adalah pengguna perpustakaan baik pemustaka maupun pustakawan yang memanfaatkan KIN online yang berada di Badan Perpustakaan dan Arsip di 33 (tiga puluh tiga) propinsi sebagai perpustakaan mitra.
Populasi dari penelitian ini adalah pengguna KIN online yang berada di Badan Perpustakaan dan Arsip di 33 (tiga puluh tiga) propinsi sedangkan jumlah sampel adalah 132. Terkait dengan banyaknya jumlah sampel dalam penelitian
Evaluasi
Evaluasi heuristik dalam mengevaluasi hasil survei yang dilakukan oleh kelompok diskusi terarah (focused group disscussion)
Temuan dan rekomendasi dalam rangka penyempurnaan katalog induk nasional online
Selesai Pengolahan Data
Analisis data
aturan yang menyebutkan bahwa apabila jumlah responden kurang dari jumlah x, maka data dikatakan tidak valid. Lebih lanjut disarankan bahwa penentuan sampel untuk penelitian keterpakaian berdasarkan interval kepercayaan berbanding dengan ukuran sampel yang diambil.
Mantra dan Masduki (1987) seperti dikutip Soewadji (2012) juga menyebutkan empat faktor yang harus diperhatikan dalam menentukan besar kecilnya jumlah sampel didasarkan atas derajat keseragaman, tingkat presisi, rencana analisis serta tenaga, waktu dan biaya. Atas dasar tersebut, penelitian mengambil 4 (empat) orang resonden yang terdiri atas pemustaka dan pustakawan di perpustakaan sebanyak 33 perpustakaan propinsi mitra, sehingga jumlah responden yang terkumpul sebanyak 132 orang responden. Teknik sampling yang dipakai adalah pengambilan sampel dari populasi yang berstrata secara random/ acak (stratified random sampling). Populasi yang berstrata dimaksud adalah jumlah dari 33 perpustakaan propinsi mitra, yang masing-masing dibagi lagi menjadi dua kelompok yaitu pemustaka dan pustakawan.
3.1.2 Survei
Metode survei digunakan untuk melihat keterpakaian KIN online. Pengukuran tingkat keterpakaian tersebut diturunkan dari International Standard
Organisation/ISO 9241-11 dan interaksi pemustaka dan pustakawan berdasarkan
kebiasaan pengguna dalam menggunakan KIN online. Hasil survei yang diperoleh kemudian dijabarkan menggunakan metode deskriptif, sehingga dapat diketahui pendapat pemustaka dan pustakawan mengenai KIN online saat ini. Survei dilakukan dengan menggunakan kuesioner yang berisi 37 pertanyaan yang berisi 35 buah pertanyaan tertutup dan 2 buah pertanyaan terbuka berisi pendapat dan saran tentang kepuasan pengguna dan harapan pengguna terhadap KIN online.
Dalam mengukur tingkat keterpakaian pemustaka dan pustakawan, menerapkan contoh standar ISO 9241-11 seperti dalam Tabel 2.
Tabel 2 Pengukuran kepuasan pengguna diturunkan dari ISO 9241-11 Tujuan keterpakaian
berdasarkan ISO 9241-11
Tujuan keterpakaian
berdasarkan penelitian Ukuran kepuasan
Keterbacaan (Learnability)
Keberadaan dan keterbacaan KIN
online.
Peringkat skala terhadap ketidaknyamanan visual KIN online.
Memenuhi kebutuhan pengguna (Meets needs
of users)
Memenuhi kebutuhan dasar pengguna terhadap KIN online.
Peringkat skala kepuasan atas penggunaan KIN
online Kemampuan untuk mempelajari sistem (Learnability) Kemampuan dalam memahami/ mempe-lajari KIN online
Peringkat skala kemu-dahan penggunaan KIN
online
Minimalisasi dalam kebutuhan alat bantu (Minimization of
support requirements)
Kemampuan dalam fitur-fitur KIN online yang diperlukan sebagai alat bantu pencarian
Peringkat skala kepuasan pengguna terhadap fitur-fitur/ fasilitas pendukung KIN online
Sumber : International Standard Organization. 1998. Ergonomic requirements for office work
with visual display terminals (VDT-s) Part 11 : Guidance on usability
Turunan dari ISO 9241-11 (Guidance of usability) menjelaskan bahwa terkait dengan pengukuran tingkat kepuasan diukur menggunakan peringkat skala (rating scale) dapat diukur dengan pendekatan obyektif atau subyektif. Pengukuran obyektif dari kepuasan dapat didasarkan pada pengamatan perilaku pengguna atau berdasarkan pemantauan respon fisiologis dari pengguna. Pengukuran subyektif dari kepuasan dihasilkan dari reaksi pengguna, sikap dan pendapatnya.
Tujuan keterpakaian dituangkan ke dalam pengukuran subyektif dari kepuasan pengguna sebanyak 37 butir pertanyaan kuisioner menggunakan metode
pelaporan data mandiri (self-reported data) yang dambil dalam bentuk tertulis dengan menggunakan skala peringkat (Tullis 2008). Metode pelaporan data mandiri merupakan salah satu metode dimana persepsi pengguna dapat diambil untuk mengetahui persepsi dan harapan pengguna serta mengambil langkah awal untuk mengetahui produk yang ditawarkan (dalam hal ini KIN online). Kuesioner yang digunakan terdiri atas 22 pertanyaan menggunakan sistem checklist, 13 menggunakan skala peringkat dan 2 pertanyaan terbuka (open-ended question). Sistem checklist digunakan agar responden dapat memilih jawaban yang paling sesuai dengan kondisi yang ada. Skala peringkat yang digunakan adalah skala
Likert dimana pertanyaan dibedakan berdasarkan intensitas sikap atau perasaan
seseorang terhadap suatu hal tertentu. (Soewadji 2012), serta pertanyaan terbuka dimana responden dapat menyampaikan ide dan saran terkait dengan KIN online. Survei ini juga memadukan keinginan pengguna dan harapan pengguna tentang penambahan fitur yang dimiliki oleh katalog online perpustakaan generasi lanjut sesuai Tabel 3.
Tabel 3 Fitur yang dimiliki oleh katalog online perpustakaan generasi lanjut
Sumber : Breeding M. (2010) dan Thompson et.al. (2008)
Lembar kuesioner yang ditujukan bagi pemustaka dan pustakawan di 33 perpustakaan propinsi dapat dilihat pada Lampiran 1.
Pendapat Marshall Breeding Dipakai dalam penelitian A User Experience 1. User Tag Tag Clouds Ya
2. User Review User Review Ya
3. - User Contributed and Rankings Ya
4. - Personalization Ya
B System Capabilities 1. Simple Search Interface Visual Search Tool Ya
2. Facets Faceted Navigation Ya
3. Relevancy Relevancy Ranked Result Ya 4. Spell Check Search Term Recommendations Ya 5. Related Search Recommended Related Resources Ya 6. Enriched Display Visually Enriched Display Ya 7. Functional Requirements for Bibliograpic Records Record Groups of Related Material Ya
8. Record Sharing - Ya
9. De-duplication - Ya
10. Export features to Biblographic Management Utilities Connections with external application Ya
Kategorisasi Pendapat Brian Thompson, Sue Julichy, Wendy C. Robertsonz
3.1.3 Pengolahan Data
Hasil survei yang terkumpul kemudian diolah dengan tahapan pengolahan sebagai berikut (Effendi 2012) :
(1) Pengelompokan data. Jawaban yang telah diperoleh kemudian diklasifikasi/ dikelompokkan berdasarkan kategori yang telah ditetapkan. Data yang telah diklasifikasi kemudian diberikan simbol atau kode untuk setiap jawaban. (2) Editing. Proses ini dilakukan menggunakan program spreadsheet termasuk
dalam menyajikan hasil statistik.
3.1.4 Evaluasi
Evaluasi dilakukan oleh kelompok diskusi terarah (focused group
discussion) yang terdiri dari dua orang pengembang aplikasi yang kompeten di
bidang antarmuka web khususnya KIN online, empat orang pustakawan yang kompeten di bidang sistem katalogisasi dan klasifikasi online serta di bidang layanan pengguna yang terkait dengan penelusuran online dan dua orang staf pada subbidang otomasi Perpustakaan Nasional RI yang terbiasa menangani perancangan web. Adapun tahapan evaluasi sebagai berikut :
(1) Kelompok diskusi terarah yang selanjutnya disebut evaluator akan mengisi lembar evaluasi heuristik (Lampiran 2) sebagai langkah awal untuk mengetahui permasalahan yang terjadi pada KIN online dilihat dari sisi teknis kedalam 10 (sepuluh) tingkat keterpakaian berdasarkan heuristic
evaluation parameter.
(2) Dilakukan rekapitulasi hasil jawaban yang dikelompokkan berdasarkan sepuluh topik, sehingga setiap topik yang terdiri atas beberapa pertanyaan akan diketahui berapa jumlah evaluator yang menjawab “Ya”, “Tidak” dan “T/A” sesuai Lampiran 5. Rekapitulasi tersebut kemudian diberikan nilai /score dimana score (%) adalah evaluator yang menjawab “Ya” (atau nilai positif) dibagi total evaluator (jumlah 8 orang) kemudian dikalikan dengan 100 sesuai pada Lampiran 3.
(3) Score (%) dicocokkan dengan tabel tingkat permasalahan sesuai Lampiran 3 sehingga akan diketahui tingkat permasalahan. Adapun hasil dari tingkat permasalahan dikelompokkan ke dalam tingkat permasalahan yang paling
parah (severity rating problem) dinyatakan dalam 5 titik skala seperti yang termuat pada Tabel 4.
Tabel 4 Peringkat permasalahan evaluasi heuristik
Tingkat
Permasalahan Penjelasan
0 Masih dapat diterima
1 Problem kecil – Tidak memerlukan perbaikan yang signifikan. (Cosmetic problem)
2 Masalah keterpakaian Minor – Perbaikan tetap diberikan dengan prioritas rendah.
3 Masalah keterpakaian Mayor – Segera diperbaiki secepat mungkin
4 Sistem memiliki problem yang harus segera ditangani (Katastropik)
(4) Dibuat pengelompokan dari tingkat yang paling parah (4) kemudian tingkat yang masih dapat diterima (0) dengan ketentuan :
a. Jika 81% - 100% evaluator memilih jawaban ”Ya” atau nilai positif untuk setiap pertanyaan dalam lembar evaluasi heuristik maka sistem dikategorikan diterima dan tidak akan ditindaklanjuti dalam evaluasi selanjutnya.
b. Jika 61% – 80% evaluator memilih jawaban ”Ya” atau nilai positif untuk setiap pertanyaan dalam lembar evaluasi heuristik maka sistem dikategorikan terdapat masalah sangat kecil (cosmetic problem) dan masih dapat diterima serta tidak akan ditindaklanjuti dalam evaluasi selanjutnya.
c. Jika 41% – 60% evaluator memilih jawaban ”Ya” atau nilai positif untuk setiap pertanyaan dalam lembar evaluasi heuristik maka sistem dikategorikan memiliki problem minor dan tidak dapat diterima serta akan ditindaklanjuti dalam evaluasi selanjutnya.
d. Jika 21% – 40% evaluator memilih jawaban ”Ya” atau nilai positif untuk setiap pertanyaan dalam lembar evaluasi heuristik maka sistem dikategorikan memiliki problem mayor dan tidak dapat diterima serta akan ditindaklanjuti dalam evaluasi selanjutnya..
e. Jika 0% – 20% evaluator memilih jawaban ”Ya” atau nilai negatif untuk setiap pertanyaan dalam lembar evaluasi heuristik maka sistem dikategorikan memiliki permasalahan yang harus segera ditangani.
(5) Hasil dari pengelompokan dengan kategori 2 sampai 4 lalu didiskusikan untuk mengetahui beberapa permasalahan yang lebih mengerucut dalam bentuk pernyataan teknis dan dicocokkan dengan hasil survei. Pernyataan masalah inilah yang menjadi masukan bagi pengembang selanjutnya.dan dijadikan dasar sebagai temuan dan menjadi rekomendasi dalam penyempurnaan KIN online