EVALUASI SISTEM TEMU KEMBALI INFORMASI
OPAC PERPUSTAKAAN UNIVERSITAS MUHAMMADIYAH
SURAKARTA (UMS)
SEBUAH TINJAUAN
Dibuat untuk Memenuhi Tugas Kelompok Mata Kuliah Kajian Struktur dan Temu Kembali Informasi
Oleh:
kebutuhan informasi para pemustaka. Penggabungan antara teknologi database, temu kembali informasi dan network tersebut telah menghasilkan sistem temu kembali informasi yang cukup diandalkan di Perpustakaan. Bahkan keberadaan OPAC sebagai mesin pencari informasi ini terus dikembangkan sesuai dengan perkembangan teknologi informasi yang bersifat dinamis tersebut.
Menurut Tague-sutcliffe mendefinisikan sistem temu kembali sebagai suatu proses yang dilakukan untuk menemukan dokumen yang dapat memberikan kepuasan bagi pengguna dalam memenuhi kebutuhan informasinya.1 Sedangkan menurut Stubiz menyatakan sistem temu kembali informasi merupakan ilmu
OPAC sebagai alat penelusuran informasi di perpustakaan telah membantu meningkatkan kinerja perpustakaan dan sangat membantu pustakawan dalam memenuhi kebutuhan informasi pemustaka, terlebih dengan perkembangan teknologi saat ini hampir semua pengguna membutuhkan informasi yang efektif dan efisien untuk didapatkan. Dan hingga saat ini, alat temu kembali tersebut telah cukup memenuhi keinginan yang diharapkan.
Di samping telah membantu dalam sistem temu kembali informasi di perpustakaan, OPAC sebagai sistem yang dibuat oleh manusia tentu belum bisa dikatakan sempurna, karena sebagai mesin pencari OPAC juga membawa persoalan tentang relevansi antara informasi yang diberikan dengan informasi yang seharusnya dibutuhkan. Hal ini dikarenakan secanggih apapun sebuah mesin pencari akan sulit memahami pikiran manusia. Oleh karena itu, butuh suatu evaluasi untuk mengukur sebarapa kualitas alat penelusuran informasi tersebut.
Sistem Temu Kembali Informasi
Lancaster dalam Muddamale mendefinisikan sistem temu kembali sebagai suatu proses pencarian dokumen dengan menggunakan istilah-istilah pencarian untuk mendefinisikan dokumen sesuai dengan subyek yang diinginkan.2 Sedangkan menurut Hasugian, sistem temu kembali informasi adalah proses untuk mengidentifikasi kecocokan diantara permintaan dengan representasi atau indeks dokumen, kemudian mengambil dokumen dari suatu tempat penyimpanan sebagai jawaban atas permintaan tersebut.3 Lebih lanjut lagi Ingwermon yang dikutip oleh Hasugian menyatakan sistem temu kembali informasi merupakan proses yang berhubungan dengan representasi, penyimpanan, pencarian, dan pemanggilan informasi yang relevan dengan kebutuhan informasi pengguna.4 Sehingga dapat dipahami bahwa sistem temu kembali informasi adalah sebuah sistem yang mampu memproses sejumlah dokumen berbasis data agar dapat ditemukan kembali dengan mudah dan mampu memenuhi kebutuhan pengguna.
Sistem temu kembali informasi merupakan salah satu elemen penting dalam kegiatan temu kembali koleksi atau informasi yang dibutuhkan pengguna di perpustakaan. Adapun tujuan dari sistem temu kembali informasi menurut Lancaster , yaitu:
1. Untuk menganalisis isi sumber informasi suatu dokumen,
2. Mempresentasikan isi sumber informasi dengan cara tertentu yang memungkinkan untuk ditemukan dengan pernyataan pengguna,
3. Mempresentasikan pernyataan pengguna dengan cara tertentu yan memungkinkan untuk dipertemukan dengan sumber informasi yang terdapat dalam basis data perpustakaan,
4. Mempertamukan pernyataan pencarian dengan data yang tersimpan dalam basis data,
5. Menemu-kembalikan informasi yang relevan,
2 Muddamale, M.R, “Natural Language Versus Vontrolled Vocabulary in Information Retrieval: A case study in soil mechanics. Journal on The American Society for Information Science”, 1998, hlm. 881.
3 Hasugian, Jonner, Penggunaan Bahasa Alamiah dan Kosa Kata Terkontrol dalam Sistem
Temu Kembali Informasi Berbasis Teks, Dalam Jurnal Pustaka: Jurnal Studi Perpustakaan dan Informasi, Vol. 2, No. 2, Desember 2006. USU Press, 8.
6. Menyempurnakan kerja sistem berdasarkan umpan balik yang diberikan oleh pengguna.5
Komponen Sistem Temu Kembali Informasi
Sistem temu kembali informasi(STKI) mempunyai beberapa komponen. Menurut Hasugian, ada lima komponen sistem temu kembali informasi, yaitu :
1. Pengguna/User
Pengguna STKI adalah orang yang menggunakan sistem penelusuran dalam rangka kegiatan pengelolaan dan pencarian informasi. Berdasarkan perannya, pengguna STKI dibedakan menjadi dua kelompok pengguna (user) dan pengguna akhir (end user). Pengguna (user) adalah seluruh pengguna STKI yang menggunakan sistem penelusuran baik untuk pengelolaan (input data, backup data, maintenance, dll) maupun untuk keperluan pencarian informasi, sedangkan pengguna akhir (end user) adalah pengguna yang hanya menggunakan STKI untuk keperluan pencarian informasi.
2. Query
Query adalah format bahasan permintaan yang di input (dimasukkan) oleh pengguna ke dalam STKI. Dalam interface (antar muka) STKI selalu disediakan kolom/ruas sebagai tempat bagi pengguna untuk mengetikkan query atau dalam OPAC disebut sebagai Search Expression. Setelah query dimasukkan selanjutnya mesin akan melakukan proses pemanggilan (recall) terhadap dokumen yang diinginkan dari database.
3. Dokumen
Dokumen adalah istilan yang digunakan untuk seluruh bahan pustaka seperti buku, artikel, laporan penelitian, dan lain-lain. Seluruh bahan pustaka dapat diseut sebagai dokumen. Dokumen dalam bahasa STKI online adalah seluruh dokumen elektronik yang telah diinput dan disimpan di dalam database.
4. Indeks dokumen
Indeks adalah daftar istilan atau kata (list of term).dokumen yang dimasukkan/disimpan dalam database diwakili oleh indeks dokumen. Fungsinya adalah untuk representasi subyek dari sebuah dokumen. Indeks memiliki tigas jenis yaitu, indeks subyek adalah menentukan subyek dokumen pada istilah mana/apa yang menjadi representasi subyek sari sebuah dokumen, indeks pengarang adalah menentukan nama pengarang mana yang menjadi representasi dari suatu karya, dan indeks bebas adalah menjadikan seluruh kata/istilah yang terdapat pada sebuah dokumen menjadi representasi dari dokumen.
5. Pencocokan
Pencocokan adalah istilah query yang dimasukkan oleh pengguna dengan indeks dokumen yang tersimpan dalam database pada mesin komputer. Komputer inilah yang melakukan proses pencocokan itu dalam waktu yang singkat sesuai dengan kecepatan memory dan proses yang pemustaka. Pada kegiatan evaluasi OPAC, ada beberapa teori yang bisa dijadikan sebagai rujukan dalam melakukan evaluasi sebuah sistem penelusuran informasi, salah satunya adalah teori dari Cleverdon. Cleverdon berpendapat bahwa ada enam kriteria yang dapat digunakan untuk mengevaluasi sistem pencarian informasi, yaitu (1) Coverage/cakupan, (2) time lag, (3) recall, (4) precision, (5) presentation, dan (6) user effort.6
1. Coverage/cakupan
Coverage/pencakupan merupakan cara penyajian sebuah sistem temu kembali informasi dalam menampilkannya kepada pengguna. Cakupan ini sangat berpengaruh pada penilaian pertama oleh pengguna. Dalam hal ini cakupan suatu sistem penelusuran informasi dapat dilihat dari kelengkapan informasi, ketepatan atau kesesuaian informasi, dan penyajian yang diberikan oleh alat penelusuran informasi.
2. Time Lag
Jeda waktu yang dibutuhkan untuk mendapatkan informasi melalui mesin pencari informasi merupakan faktor yang sangat penting. Cleverdon mengatakan jeda waktu ini juga sangat dipengaruhi dengan tingkat kualitas lalu lintas internet pada saat digunakan. Hal ini juga dimungkinkan terjadi beberapa kesalahan dalam pengukuran. Selain itu, hal ini juga cukup sulit untuk menggunakan jeda waktu sebagai ukuran kualitas sebuah mesin pencari. Namun untuk mengukur kualitas time lag pada sebuah mesin mencari dapat dilihat dari seberapa cepat mesin pencari menemukan informasi yang dipanggil. Sehingga dapat disimpulkan bahwa semakin sedikit waktu yang diperlukan dalam penelusuran maka semakin baik pula kualitas mesin penelusurannya.
3. Recall dan Precision
Di samping telah membantu dalam sistem temu kembali informasi di perpustakaan, OPAC sebagai sistem yang dibuat oleh manusia tentu belum bisa dikatakan sempurna, karena sebagai mesin pencari OPAC juga membawa persoalan tentang relevansi antara informasi yang diberikan dengan informasi yang seharusnya dibutuhkan. Hal ini dikarenakan secanggih apapun sebuah mesin pencari akan sulit memahami pikiran manusia. Relevansi menurut Pendit berarti kecocokan apa yang dicari dengan apa yang ditemukan.7 Sedangkan Bookstein yang dikutip oleh Hasugian menyatakan bahwa relevansi adalah relatedness atau aboutness dan utility antara dua dokumen atau antara dokumen dengan permintaan
(query).8 Pendit menyatakan bahwa salah satu prinsip relevansi yang digunakan dalam sistem temu kembali informasi adalah menggunakan ukuran recall dan precision.9
Recall menurut Lancaster dalam Pendit adalah proporsi jumlah dokumen yang dapat ditemukan kembali oleh sebuah proses pencarian informasi. Sedangkan Recall menurut pengertian Hasugian dapat diartikan sebagai kemampuan sebuah sistem dalam memanggil kembali dokumen yang dianggap relevan atau sesuai dengan yang diinginkan. Untuk mengukur recall, Lancaster dalam Pendit menjelaskan bahwa dapat menggunakan rumus di bawah ini.
Jumlah dokumen relevan yang terpanggil (a)
Recall =
Jumlah dokumen relevan yang ada di dalam database (a+c)
Precision sendiri merupakan sebuah ukuran yang mengukur tingkat proporsi jumlah dokumen yang dapat ditemukan kembali oleh sebuah proses pencarian dan dianggap relevan untuk kebutuhan pencaria informasi atau rasio jumlah dokumen relevan yang ditemukan dengan total jumlah dokumen yang ditemukan (Lancaster dalam Pendit).10 Sedangkan menurut Hasugian precision dapat diartikan sebagai kemampuan sebuah sistem untuk tidak memanggil kembali dokumen yang dianggap tidak relevan atau tidak sesuai dengan yang diinginkan oleh pengguna.11
Lancaster dalam Pendit menjelaskan untuk mengukur precision dapat diukur dengan menggunakan rumus sebagai berikut:
Jumlah dokumen relevan yang terpanggil (a)
Precision =
Jumlah dokumen yang terpanggil dalam pencarian (a+b)
8 Hasugian, Jonner, Penggunaan Bahasa Alamiah dan Kosa Kata Terkontrol dalam Sistem Temu Kembali Informasi Berbasis Teks, hlm. 8.
9 Pendit, Perpustakaan Digital: Perspektif Perpustakaan Perpustakaan Perguruan Tinggi Indonesia, hlm. 69.
10 ibid., 53..
Relevant Not Relevant Total
Retrieved a (hits) b (noise) a+b
Not Retrieved c (misses) d (reject) c+d
Total a+c b+d a+b+c+d
Keterangan:
a (hits) = dokumen yang relevan b (noise) = dokumen yang tidak relevan
c (misses) = dokumen relevan yang tidak ditemukan d (reject) = dokumen tidak relevan yang tidak
ditemukan
Efektivitas Recall dan Precision
Efektivitas merupakan kemampuan untuk memilih tujuan dengan memanfaatkan sarana dan prasarana yang tepat untuk mencapai tujuan Sedangkan efektivitas sistem temu kembali informasi menurut Pao merupakan kemampuan dari sebuah sistem untuk memanggil berbagai dokumen dari suatu database sesuai dengan permintaan pengguna.12 Pengukuran efektivitas suatu sistem temu kembali informasi dapat dilakukan dengan perhitungan terhadap nilai perolehan (recall), nilai ketepatan (precision), dan jatuhan semu (fallout) (Tague-Sutcliffe; Conlon,).13 Namun di antara ketiga metode tersebut, perhitungan ketepatan (precision) merupakan cara yang paling umum digunakan (Su; Tague-Sutcliffe).14
12 Pao, ML, Concepts of Information Retrieval. (Colorado : EnglewoodLibraries Unlimited, 1988), hlm. 3.
13 Conlon,C.A. and R.V. Katter, Opening the Blacboard of “relevance”. Journal of Documentation, 1967, hlm. 291.
Efektivitas sistem temu kembali informasi dinilai berdasarkan teori Lancaster yaitu relevan dan tidak relevan. Dalam teori tersebut juga dijelaskan bahwa efektivitas sistem temukembali informasi dikategorikan menjadi dua yaitu (1) efektif, yaitu jika nilaiya di atas 50% dan (2) tidak relevan jika nilainya di bawah 50%. Kedua ukuran tersebut dinilai dalam bentuk presentase 1-100%. Selain itu, Pendit mengatakan relevansi merupakan kecocokan apa yang dicari dengan apa yang ditemukan.15 Sedangkan menurut Bookstein yang dikutip oleh Hasugian mendefinisikan bahwa relevansi adalah relatedness dan utility antara dua dokumen atau antara dokumen dengan permintaan. (1) relatedness adalah apabila antara dokumen dengan permintaan dikatakan terhubung (related) jika keduanya mengenai (about) sesuatu yang sama, karena keduanya merupakan entitas yang serupa dan memiliki nilai atribut yang sama, (2) utility menunjuk pada nilai atau guna suatu dokumen bagi pencari informasi.16
Kemudian Rowley menjelaskan bahwa efektivitas sistem bisa juga diukur hanya berdasarkan tinggi atau rendahnya ketepatan dokumen dengan query.17 Selain itu, juga dijelaskan bahwa recall sebenarnya sulit diukur karena jumlah seluruh dokumen yang relevan dalam database sangat besar. Oleh karena itu ketepatan-lah (precision) yang biasanya menjadi salah satu ukuran yang digunakan untuk menilai efektivitas sistem temu kembali informasi.
Adapun Lancaster memberikan penilaian untuk mengukur tingkat precision pada penilaian efektivitas suatu sistem temu kembali informasi dengan ukuran angka dan mengkategorikannya menjadi precision rendah yaitu tidak efektif, precision sedang berarti kurang efektif, dan precision tinggi yang berarti efektif. Berikut tabel penilaiannya:
Nilai Precision Keterangan
0 - 0,33 Precision rendah Tidak efektif
0,34 - 0,67 Precision sedang Kurang efektif
0,68 - 1,00 Precision tinggi Efektif
15 Pendit, Putu Laxman, Perpustakaan Digital dari A sampai Z, (Jakarta: Citra Karya Karsa Mandiri, 2008), hlm. 50.
16 Hasugian, Penggunaan Bahasa ... hlm. 24.
Tabel. 1 Penilaian efektivitas precision sistem temu kembali informasi
4. Upaya pengguna (user effort)
Upaya pengguna ini berkaitan dengan kondisi dan kemampuan pengguna yang beragam.18 Suatu sistem penelusuran informasi dikatakan baik ketika sistem tersebut dapat digunakan dengan mudah. Kemudahan ini tidak hanya dirasakan oleh pengguna yang sudah terbiasa menggunakan internet, namun juga pengguna yang belum terbiasa menggunakan internet. User effort/upaya pengguna ini dilakukan untuk mengevaluasi kemudahan akses oleh pengguna dan ketersediaan petunjuk akses yang ada pada OPAC Perpustakaan Universitas Muhammadiyah Surakarta (UMS).
5. Form of presentation
Yang dimaksud dengan form of presentation ini adalah sebuah tampilan/presentasi yang diberikan dari sebuah sistem penelusuran informasi. Tampilan/presentasi yang baik adalah jika tampilan tersebut tidak menyulitkan pengguna saat menggunakan aplikasi.19 Sebisa mungkin presentasi yang diberikan sangat menarik dan tidak membingungkan pengguna. Form presentasi ini dilakukan untuk mengevaluasi tampilan perangkat dan tersedianya kejelasan informasi dari tampilan sistem penelusuran informasi di Perpustakaan Universitas Muhammadiyah Surakarta (UMS).
PEMBAHASAN
OPAC Perpustakaan Universitas Muhammadiyah Surakarta
Perpustakaan Universitas Muhammadiyah Surakarta (UMS) berdiri sejak tanggal 18 September 1958, bersamaan dengan berdirinya IKIP Muhammadiyah Surakarta, sebagai cabang dari Universitas Muhammadiyah Jakarta. Koleksi yang disediakan di Perpustakaan UMS dapat ditelusuri melalui OPAC bernama “Koha” yang telah disediakan. OPAC ini dapat juga diakses
menggunakan Z39.50 atau SRW/SRU Client dengan
alamat: lib.ums.ac.id:7090/biblios ﾧ. OPAC ini disediakan agar pengguna
bisa dengan mudah melakukan penelusuran koleksi atau informasi, perpustakaan UMS.
Namun, untuk mengetahui apakah OPAC tersebut telah memberikan informasi tentang koleksi yang relevan sesuai dengan kebutuhan pengguna tetap perlu dilakukan evaluasi. Salah satunya dengan menggunakan penilain tingkat precision atau ketepatan atau keterhubungan. Penulis tidak melakukan penelitian dengan melibatkan pengguna Perpustakaan UMS. Akan tetapi hanya melakukan pengamatan dan melakukan penelusuran dengan menggunakan pendekatan judul dan subjek.
Coverage/Cakupan
Alat penelusuran/OPAC Perpustakaan UMS bernama Koha ini secara cakupan telah mampu memberikan hasil yang baik. Penyajian informasi secara keseluruhan cukup lengkap dan mudah dipahami oleh pengguna. Hal ini terlihat dari fasilitas fitur-fitur pilihan yang lebih lengkap sehingga memungkinkan pengguna dalam memilih sesuai keinginannya. Hal ini menunjukkan bahwa secara cakupan, OPAC Koha ini mampu membantu pengguna dalam melakukan penelusuran informasi.
Diantara fasilitas fitur OPAC Koha yang menarik adalah (1) fitur basic search yang memberikan pilihan lebih banyak yaitu pengguna bisa melakukan penelusuran koleksi melalui subyek, pengarang, judul, ISBN, call number, dan series, (2) tersedianya pilihan pencarian melalui advance search yang memungkinkan pengguna mencari informasi dengan lebih spesifik, (3) fitur tambahan bernama “cart” (keranjang) juga sangat membantu pengguna karena dapat digunakan sebagai tempat penyimpanan sementara informasi dari sebuah koleksi, sehingga pengguna tidak akan kehilangan informasi koleksi tersebut dan bisa mencari koleksi lain yang diinginkan. Pengguna tingga meng-klik pilihan “add to cart” yang tersedia di bawah judul koleksi dan secara otomatis seluruh informasi dari koleksi tersebut elah dimasuk dalam keranjang, dan (4) fitur “list”
sampul lepas, halaman robek atau hilang, dan koleksi lain yang sedang dalam masa preservasi.
Berikut tampilan advance search OPAC Perpustakaan UMS:
Gambar fitur cart ketika sudah ditambahkan koleksi:
Gambar ftur list pada OPAC Koha:
Berdasarkan penelusuran menggunakan OPAC Koha dengan pendekatan subjek koleksi yang tersedia di Perpustakaan UMS, maka didapatkan hasil recall dan precision sebagai berikut :
Aljabar 9 101 92 46 0,16 atau 16% 0,09 atau 0,9% Anatomi fisiologi 32 53 19 3 0,91 atau 91% 0,60 atau 60%
Fikih 106 272 16
6
182 0,37 atau 37% 0,39 atau 39%
Rata-rata = 65,2% 37,6%
Dari hasil yang disajikan dalam tabel tersebut dapat disimpulkan bahwa tingkat recall dan precision dari sistem temu kembali informasi OPAC Koha dalam kategori kurang efektif, yakni dengan tingkat recall 65,2% dan precision 37,6%, karena tingkat recall dan precision berada pada rentang nilai 0,34 - 0,67
atau sedang. Rendahnya nilai recall dan precision tersebut dikarenakan pemahaman ini hanya pada persepsi penulis dengan mengamati OPAC dan melakukan penelusuran dengan menggunakan asumsi yang dipahami penulis. Sedangkan di dalam distem OPAC pengindeksan dan pemilihan subyek sepenuhnya dilakukan oleh Pustakawan, sehingga sangat dimungkinkan berbeda dengan asumsi pemustaka. Oleh karena keseragaman dan keberagaman subjek dalam pengindeksan terutama dengan subjek yang semakna, perlu ditingkatkan kembali untuk meningkatkan efektivitas OPAC Perpustakaan UMS.
Berikut contoh gambar penelusuran koleksi melalui subyek koleksi:
Time Lag (respons time)
Subyek Buku Waktu akses
Dari penyajian tabel tersebut dapat dijelaskan bahwa rata-rata waktu yang dibutuhkan dalam penelusuran informasi melalui OPAC Koha secara online adalah 4,68 detik. Berdasarkan analisis yang dilakukan peneliti, banyaknya waktu yang dibutuhkan oleh mesin pencari untuk menyajikan informasi tidak dipengaruhi dengan banyaknya koleksi yang ditampilkan. Artinya, meskipun informasi yang ditampilkan sedikit bukan berarti waktu yang dibutuhkan juga sedikit. Hal ini bisa dibuktikan bahwa pada saat melakukan penelusuran koleksi melalui subyek fikih yang menghasilkan sebanyak 272 koleksi, OPAC membutuhkan waktu sebanyak 3,97 detik. Sedangkan ketika melalui subyek anatomi fisiologi yang menghasilkan koleksi sebanyak 52 koleksi membutuhkan waktu sebanyak 5,16 detik.
Form Presentation
User Effort
Dari segi user effort atau usaha pengguna dalam memahami dan menggunakan aplikasi Koha, OPAC ini cukup membantu meminimalisasi upaya yang berlebihan dari pengguna. Artinya aplikasi ini cukup memudahkan untuk menggiring pengguna menggunakan fasilitas aplikasi. Pada kolom query, pengguna juga disuguhkan dengan pilihan pencarian yang beragam yaitu library catalog, subyek, judul, pengarang, ISBN, call number, dan series. Pilihan yang lebih banyak ini sangat membantu pengguna dalam mencari koleksi yang diinginkan. Fasilitas lain yang bisa memudahkan pengguna adalah adanya tampilan informasi melalui author dan topics pada masing-masing koleksi yang dimasukkan dalam query yang ada di sebalah kanan OPAC. Sehingga pengguna yang sudah melakukan penelusuran koleksi dapat langsung memilih siapa pengarang dan topik apa yang diinginkan.
Meski demikian, OPAC Koha ini belum menyediakan tampilan time lag sehingga performa dari OPAC Koha ini kurang maksimal. Selain itu, sebaiknya OPAC ini perlu ditambahkan menu “help” sehingga pengguna bisa memanfaatkanya ketika mengalami kesulitan saat menggunakan OPAC ini. Dari penjelasan tersebut dapat disimpulkan bahwa OPAC Koha UMS ini sudah cukup membantu memudahkan pengguna sehingga pengguna tidak perlu menggunakan upaya lebih dan bingung menggunkannya. Hanya saja, OPAC ini belum disediakan menu help dan time lag sehingga kurang optimal.
Penutup
atau penempatan koleksi yang tidak membingungkan, (3) recall atau kemampuan alat penelusuran dalam memanggil koleksi yang diinginkan menghasilkan nilai sebesar 65,2 persen. Hal ini menunjukkan bahwa efektivitas recall pada kategori kurang efektif, (4) precision atau kemampuan alat penelusuran dalam menyajikan koleksi yang relevan didaptkan hasil sebanyak 37,6 persen. Hasil ini juga menunjukkan bahwa efektivitas precision dalam kategori rendah atau kurang efektif, (5) form presentation, mempunyai kelebihan simpel dan beberapa fitur telah menggunakan logo yang menarik, namun tema yang digunakan masih terlalu sederhana dan monoton, (6) user effort, aplikasi Koha ini sudah menyajikan petunjuk penggunaan yang baik. Hal ini bisa dilihat dari petunjuk setiap pilihan yang tidak membingungkan pengguna, sehingga pengguna lebih mudah beradaptasi meskipun baru pertama menggunakan apalikasi tersebut.
Referensi
Muddamale, M.R. 1998. Natural Language Versus Vontrolled Vocabulary in Information Retrieval: A case study in soil mechanics. Journal on The American Society for Information Science. 49 (10): 881.
Conlon,C.A. and R.V. Katter. 1967. Opening the Blacboard of “relevance”. Journal of Documentation, 23 (4): 291.
Su, L.S. 1992. Evaluation measures for interactive information retrieval. Information processing & Management, 28 (4): 503.
Tague-Sutcliffe. 1992. The Pragmatics of information retrieval experimentation, Revised. Information Processing & Managemen, 28 (4): 467.
Hasugian, Jonner. 2006. Penggunaan Bahasa Alamiah dan Kosa Kata Terkontrol dalam Sistem Temu Kembali Informasi Berbasis Teks. Dalam Jurnal Pustaka: Jurnal Studi Perpustakaan dan Informasi, Vol. 2, No. 2, Desember 2006. USU Press.
Rowley,J. 1990. Abstracting and Indexing.Second Edition.London: Clive Bingley.
