INTERAKSI MANUSIA DAN KOMPUTER

(1)

EVALUASI

PENGENALAN EVALUASI EMPIRIS

PERANCANGAN EKSPERIMEN

1)

Hipotesa

2)

Variable

3)

Rancangan dan Paradigma

PARTISIPASI, IRB DAN ETIKA

PENGUMPULAN DATA

1)

Teknik

2)

Metode

3)

Trik

4)

Data Subjektif

5)

Kuisioner

6)

Wawancara

ANALISA DATA DAN INTERPRESTASI HASIL

PENGGUNAAN HASIL RANCANGAN

LISNAWATI _0651 08 086

PUTERI PRAVITASARI _0651 08 070

NUR AGUS SAEPULLOH _0651 08 080

ALI YUSMAN _0651 08 104

Jurusan Ilmu Komputer

Fakultas Matematika dan Ilmu Pengetahuan Alam

Universitas Pakuan

(2)

PENGENALAN EVALUASI EMPIRIS

Metode Empirik : Evaluasi Eksperimen

Suatu metode yang sangat kuat dalam mengevaluasi perancangan atau aspek dari perancangan adalah menggunakan ekperimen yang terkontrol. Ini menyediakan kenyatan empiris untuk mendukung klaim umum atau hipotesis.

Setiap Eksperimen memiliki dasar yang sama. Evaluator memiliki Hipotesa untuk diuji, yang dapat ditentukan dengan menukar beberapa attribute dari peilaku subjek. Sejumlah kondisi ekperimen di tentukan. Yang berbeda dalam hal nilai dari variable yang terkontrol. Setiap perubahan dalam pengukuran perilaku diatributkan kekondisi yang berbeda.

Pendahuluan

 Adanya perdebatan tentang penilaian sebuah tampilan

 Ada yang mengatakan “BAGUS”, “SEDANG”, atau “JELEK”

 Adanya asumsi bahwa selama suatu software dapat digunakan, maka itu sudah cukup bagus  Kegiatan evaluasi suatu software atau tampilan merupakan kegiatan yang dihindari karena

akan menambah waktu pengembangan dan biaya

 Kegiatan evaluasi merupakan sesuatu yang sangat penting karena desainer dapat mengetahui apakah karyanya berguna dan diinginkan oleh user.

 Evaluasi adalah sebuah proses yang secara sistematis mengumpulkan data yang menginformasikan kepada kita tentang pendapat seseorang atau sekelompok user mengenai pengalamannnya menggunakan sebuah produk untuk sebuah tugas tertentu dalam sebuah lingkungan tertentu

 Seorang user berkeinginan untuk menggunakan sebuah sistem yang mudah dipelajari, dan penggunaannya sedapat mungkin efektif, efisien, aman, dan memuaskan. Selain itu, sedapat mungkin menyenangkan, atraktif, menantang, dll

Mengapa Evaluasi Dibutuhkan ?

 Desainer tidak dapat berasumsi bahwa orang lain seperti dirinya, dan mengikuti design guidelines menjamin bahwa karyanya pasti bagus

 Evaluasi dibutuhkan untuk memeriksa apakah user dapat menggunakan produk tersebut dan menyukainya

 Evaluasi kepuasan penggunaan terhadap sebuah produk dapat dilakukan menggunakan kuesioner dan atau interview

Mengapa Evaluasi ?

Recall :

User dan Tugas di Identifikasikan

Kebutuhan dan persyaratan yang ditentukan Interface ini dirancang, dibangun prototype

Tetapi, apakah ada gunanya ?? apakah system mendukung penggunaan dalam tugas mereka ?? apakah lebih baik dari yang ada sebelumnya (jika apa-apa) ?

(3)

Kapan Evaluasi

Dilakukan

?

 Evaluasi dapat dilakukan pada:

 Selama proses pembuatan produk tersebut supaya selalu sama dengan yang diminta atau dibutuhkan oleh user. Proses ini biasa disebut formative evaluations

 Saat produk tersebut telah jadi yaitu melalui prototype

 Saat produk tersebut telah dipasarkan. Jika ada kekurangan atau perubahan kebutuhan user, maka produk tersebut bisa dibuatkan versi yang terbaru/upgrade, mis: program-program Windows, Winamp, dll. Evaluasi ini biasa disebut summative evaluations

 Evaluasi produk dapat dilakukan melalui riset pasar, baik melalui perorangan atau sekelompok user

PERANCANGAN EKSPERIMEN

1) Hipotesa

Hipotesis adalah jawaban sementara terhadap masalah yang masih bersifat praduga karena masih harus dibuktikan kebenarannya.

Hipotesa berasal dari bahasa Yunani: hypo= di bawah;thesis = pendirian, pendapat yang ditegakkan, kepastian. Artinya, hipotesa merupakan sebuah istilah ilmiah yang Digunakan dalam rangka kegiatan ilmiah yang mengikuti kaidah-kaidah berfikir biasa, secara sadar, teliti, dan terarah. Dalam berfikir sehari-hari, orang menyebutnya anggapan, perkiraan, dugaan, dan sebagainya.Hipotesa juga berarti sebuah pernyataan atau proposisi yang mengatakan bahwa diantara sejumlah fakta ada hubungan tertentu.

Proses pembentukan hipotesa adalah proses penalaran, yang melalui tahap-tahap tertentu.Hal demikian juga terjadi dalam pembuatan hipotesa ilmiah, yang dilakukan dengan sadar, teliti, dan terarah. Hipotesis merupakan satu tipe proposisi yang langsung dapat diuji.

2) Variable

Berikut ini adalah type of variable, yaitu : Independent Variabel/Variabel bebas

Karakteristik suatu eksperimen yang memanipulasi untuk menghasilkan kondisi yang berbeda untuk perbandingan. Contoh : gaya antar muka, Jumlah Item Menu.

Dependent Variabel/variable tidak bebas

(4)

3) Rancangan dan Paradigma

Perancangan.

Evaluasi Design

Evaluasi ini dilakukan setelah proses perancangan

Evaluasi pertama terhadap sistem idealnya dilakukan sebelum implementasi dimulai.

Jika perancangan di evaluasi , “idealnya” kesalahan dapat dihindari.

Ada beberapa metode untuk megevaluasi perancangan :  Cognitive Walktrough

 Heuristik Evaluation  Review Based

A. Cognitive Walktrough

Dalam metode / pendekatan ini terdapat beberapa isu yang timbul, seperti :

 Pengaruh apa yang akan timbul setelah tugas diberikan ke user ?

 Proses kognitif apa yang timbul ?

 Masalah Pembelajaran apa yang mungkin terjadi ?

 Informasi yang dibutuhkan :

o _{Deskripsi dari suatu interface yang dibutuhkan}

o _{Deskripsi dari tugas termasuk usaha yang benar untuk melakukannya dan}

struktur tujuan untuk mendukungnya

B. Heuristik Evaluation

 Hampir sama dengan cognitive walktrough, tetapi sedikit lebih terstruktur dan terarah  Ada 10 dasar dari heuristik :

 Visibilitas status sistem

 Kecocokan antara sistem dan dunia nyata  Konsisten dan standar.

 Pencegahan kesalahan

 Pengenalan atas penarikan kembali  Fleksibilitas dan effisiensi

 Berhubungan dengan keindahan dan desain minimalis

 Bantuan bagi user untuk mengenali, mendiagnosis, dan memperbaiki dari kesalahan

 Help dan dokumentasi

C. Review Based

 Evaluasi antara psikologi eksperimen dengan interaksi manusia dan komputer yang menghasilkan eksperimen yang baik dan pengalaman yang nyata., misal pada daya guna dari tipe menu yang berbeda, pemanggilan nama perintah dan pemilihan ikon.

 Pada kenyataan hasil eksperimen tidak dapat dipastikan mempertahankan kondisi yang tetap.

(5)

Paradigma Evaluasi.

 “Quick and dirty” evaluation

 Usability testing  Field studies

 Predictive evaluation

A. “Quick abd dirty” evaluation

Adalah umpan balik berupa keinginan dan yang disukai dari user atau konsultan yang disampaikan secara informal kepada desainer tentang produk yang dibuatnya

Evaluasi ini dapat dilakukan pada semua tahapan pembuatan produk dan penekanannya pada masukan yang cepat/sesingkat mungkin daripada temuan yang didokumentasikan secara hati-hati

B. Usability testing

Evaluasi ini cukup dominan digunakan pada tahun 1980-an

Melibatkan pengukuran kinerja user dalam mempersiapkan tugasnya secara hati-hati, dari proses inilah maka dibuatkan desain sistemnya

Kinerja user umumnya diukur dalam jumlah kesalahan yang dilakukan dan waktu yang dibutuhkan untuk menyelesaikan tugas

Cara yang umumnya digunakan untuk membuat sistem ini yaitu dengan cara:

o _{Melihat secara langsung} o _{Merekamnya dalam video}

Evaluasi ini menggunakan kuesioner dan wawancara kepada user tentang kepuasannya menggunakan sistem tersebut

Penelitian biasanya dilakukan di dalam sebuah laboratorium,dimana user diberi suatu

treatment tertentu (mis: cahaya, suara, warna, dll) atau bisa juga tanpa treatment

C. Field studies

Berbeda dengan usability testing, evaluasi ini dilakukan di lingkungan asli dimana user bekerja, hal ini bertujuan untuk meningkatkan pemahaman tentang kerja user secara alami dan bagaimana teknologi tersebutberdampak padanya

Evaluasi ini dapat digunakan untuk:

o _{Membantu mengidentifikasi kesempatan sebuah teknologi baru} o _{Menentukan kebutuhan-kebutuhan untuk melakukan desain} o _{Memfasilitasi pengenalan sebuah teknologi}

o _{Evaluasi teknologi}

Teknik yang dapat digunakan:

o _Interview

o _{Observasi (pengamatan yang hanya dilakukan oleh desainer)} o _{Partisipatori (user dilibatkan dalam pembuatan desain)} o _{Ethnography (penilaian berdasarkan budaya)}

(6)

D. Predictive evaluation

Didasarkan pada pengalaman seorang ahli dalam menghadapi user, dan biasanya hal ini dijadikan patokan untuk memprediksi masalah-masalah penggunaan sebuah produk

Keuntungan evaluasi ini:

o _{User yang diinginkan tidak perlu untuk dihadirkan}

o _{Proses pembuatannya relatif cepat, murah, dan cukup disukai oleh}

perusahaan

Tahun-tahun terakhir ini, evaluasi ini cukup populer

PARTISIPASI, IRB DAN ETIKA

Institutional Review Board(IRB) • Dewan Review Kelembagaan (IRB)

- Http://www.osp.gatech.edu/compliance.htm

Review semua penelitian yang melibatkan manusia (atau hewan) peserta Melindungi para peserta, dan sehingga peneliti dan universitas

Tidak review ilmu (yakni, tidak asess Anda riset gagasan); keselamatan saja & etika bentuk berbasis Web Lengkap, submit penelitian ringkasan, persetujuan sampel bentuk, dll Semua peneliti harus menyelesaikan NIH sejarah online / etika program sebelum mengirimkan

Recruiting Participants (Merekrut Peserta)

Berbagai "subjek kolam" - Relawan

- Dibayar peserta

- Mahasiswa (misalnya, undergrads psikologi) untuk kursus kredit - Teman, kenalan, keluarga, laboratorium anggota

- Umum ruang "" peserta - misalnya, mengamati orang berjalan melalui sebuah museum

Harus sesuai dengan populasi pengguna (validitas)

Motivasi merupakan faktor besar - tidak hanya $ $ tapi juga menjelaskan pentingnya penelitian

Catatan: Etika, IRB, Izin berlaku untuk * all * peserta, termasuk teman-teman & "pilot subyek"

Etika

Pengujian dapat sulit

Setiap peserta harus persetujuan harus dalam percobaan (Informal atau formal)

- Tahu apa percobaan melibatkan, apa yang diharapkan, apa yang risiko potensial Harus bisa berhenti tanpa bahaya atau hukuman

(7)

PENGUMPULAN DATA

Mengumpulkan Data

• Sesi yang Menangkap

- Pengamatan & Catatan-mengambil - Audio dan video rekaman

- Antarmuka pengguna diinstrumentasi - Software log

- Pikirkan-keras protokol - bisa sangat membantu - Insiden Kritis penebangan - positif & negatif

• Pasca-sesi kegiatan

- Structured wawancara; debriefing

• "Apa yang Anda sukai / tidaknya?"; "Bagaimana Anda perubahan ..? "

- Kuesioner, komentar, dan skala rating

- Post-hoc video coding / penilaian oleh percobaan

1) Teknik – Teknik Evaluasi

Adapun macam- macam teknik evaluasi adalah sebagai berikut :

Observing users

Asking users their opinions Asking experts their opinions

Testing user’s performance

(8)

2) Metode

Dalam metode evaluasi ada dua bagian yaitu :

1. Beberapa pendekatan yang mengevaluasi perancangan : a. Metode analitik

b. Metode Reneiw.

c. Metode Berbasis Model

2. Beberapa pendekatan yang mengevaluasi Implementasi : a. Metode Ekperimental

b. Metode Observasi c. Metode Query

3) Trik

(9)

b. Gaya Evaluasi Apakah yang dibutuhkan ? “Laboratorium vs Lapangan”

c. Objektifitas teknik seperti apakah yang seharusnya ada ? “subjectif vs Objektive” d. Jenis pengukuran apakah yang perlukan ? “kualitatif vs kuantatif”

e. Level Informasi apa yang dibutuhkan ? “Tinggi Vs Rendah”

f. Seperti apakah level gangguannya ? “Obstrusive (Menonjol)vs unobtrusive (tidak menonjol)

g. Sumber daya apakah yang tersedia ?”waktu, subjek, peralatan dan kepakaran”

4) Data Subjektif

Data subjektif

•Kepuasan adalah penting faktor kinerja dari waktu ke waktu

• Belajar apa orang lebih suka adalah data yang berharga untuk mengumpulkan Metode • Cara pengumpulan data subjektif

- Kuesioner - Wawancara

- Pondok Daun (misalnya, pameran dagang)

– Call-in product hot-line - Lapangan dukungan pekerja

• (Focus on first two)

5) Kuisioner

Kuisioner adalah daftar pertanyaan tertulis yang ditujukan kepada responden Jawaban responden atas semua pertanyaan dalam kuesioner kemudian dicatat/direkam Kuesioner merupakan metode pengumpulan data yang efisien bila peneliti mengetahui secara pasti data/informasi apa yang dibutuhkan dan bagaimana variabel yang menyatakan informasi yang dibutuhkan tersebut diukur.

Keuntungan

 Daftar pertanyaan baik untuk sumber data yang banyak  Responden tidak merasa terganggu

 Daftar pertanyaan relatif lebih efisien untuk sumber data yang banyak

 Karena daftar pertanyaan biasanya tidak mencantumkan identitas responden, maka hasilnya dapat lebih obyektif.

Kerugian

 Daftar pertanyaan tidak menggaransi responden untuk menjawab pertanyaan.  Daftar pertanyaan cenderung tidak fleksibel

 Pengumpulan sampel tidak dapat dilakukan secara bersama-sama dengan daftar pertanyaan.

(10)

6)

Wawancara

Analist menanyai pengguna satu demi satu, biasanya berdasarkan pertanyaan – pertanyaan yang telah disiapkan sebelumnya.

฀

Keuntungan

 Memotivasi orang yang diwawancarai untuk menjawab dengan bebas dan terbuka  Pewawancara dapat mengembangkan pertanyaan

 Pewawancara dapat melihat kebenaran jawaban melalui gerak-gerik dan raut wajah yang diwawancarai

 Dapatkah bervariasi tingkat rincian sebagai masalah timbul

 Baik untuk eksplorasi lebih pertanyaan jenis yang dapat mengakibatkan bermanfaat, konstruktif saran

฀ Kerugian

 Membutuhkan waktu yang lama

 Tergantung dari kepapandaian si pewawancara  Dapat mengganggu orang yang diwawancarai  Melihat Subjektif

 Pewawancara (s) dapat bias wawancara

 Masalah antar-penilai atau antar-percobaan keandalan (Sebuah istilah statistik perjanjian makna)

 Pengguna mungkin tidak tepat mencirikan pemakaian  memakan waktu

 Sulit untuk mengukur

ANALISA DATA DAN INTERPRESTASI HASIL

 Pemeriksaan Data(Data Inspection)

Lihat hasil

Pertama melihat setiap peserta data

 Apakah ada outlier, orang-orang yang jatuh menganggu, siapapun yang mencoba mengacaukan penelitian, dll?

Kemudian melihat hasil dan deskriptif statistika

 Descriptive Statistics

Untuk semua variabel, bisa merasakan Hasil: Total skor, kali, peringkat, dan lain-lain Minimum, maksimum

Mean, median, hasil, dll

(11)

 misalnya "Waktu rata-rata untuk menyelesaikan tugas dalam kelompok-masukan adalah 34,5 s (min = 19,2, max = 305 s). "

 Hasil Percobaan/Experimental Results

Bagaimana kita tahu jika mean itu berarti hasil percobaan apa pun atau mengkonfirmasi keyakinan?

Contoh: 40 orang berpartisipasi, 28 pilihan interface 1, 12 pilihan antarmuka 2 Apa yang Anda simpulkan?

PENGGUNAAN HASIL RANCANGAN/SUMMARY

• Usability spesifikasi dapat bermanfaat dalam pelacakan efektivitas redesign upaya • Mereka sering bagian dari kontrak

• dapat mengatur sendiri kegunaan spesifikasi, bahkan jika proyek mereka tidak menentukan

di muka

(12)

DAFTAR PUSTAKA

1. http://files.edithhadiansyah.com/Human20%Computer20%Interaction/Human_Computer_Int

eraction-08-Evaluasi_IMK.pdf

2. Blogspot.wahyudin2009_Definisi Evaluasi