Materi 8 Teknik Evaluasi Update

(1)

INTERAKSI MANUSIA DAN MESIN

(2)

TEKNIK EVALUASI

 _Tujuan_{: Mengevaluasi pengujian kegunaan dan fungsi dari Sistem Interaktif}  _{Evaluasi dapat dilakukan pada}_:

• Laboratorium

• Lapangan Pekerjaan

• Kerja Sama dengan User

 _{Beberapa Pendekatan Perancangan Evaluasi}_:

• Metode Analitik

• Metode Review

• Metode Model Dasar

 _{Beberapa Pendekatan Evaluasi yang Telah diterapkan}_:

• Metode Experimental

• Metode Observasi

• Metode Query

(3)

EVALUASI



_Evaluasi

_{digunakan untuk melihat apakah}

_hasil

rancangan

dengan

proses uji coba system

yang telah

dibuat

sesuai dengan permintaan pengguna (user)



_{Proses ini tidak dikerjakan dalam}

_{satu fase proses}

(4)

TUJUAN

EVALUASI

Untuk melihat

:



_{Seberapa jauh sistem}

_berfungsi

(5)

JENIS - JENIS EVALUASI

1. Dalam kondisi

percobaan (Laboratory)

2. Dalam kondisi

lokasi kerja sebenarnya

(6)

1. PADA KONDISI PERCOBAAN

(LABORATORY)

Penggunaan pengujian sistem ini pada ruang percobaan mempunyai beberapa kondisi diantaranya :

 _{Laboratorium yang bagus} _{biasanya memiliki fasilitas perekaman}

audio/visual yang baik, komputer beserta perlengkapannya yang mungkin

tidak ada pada lokasi kerja sebenarnya.

 _{Operator bebas dari gangguan}_{yang menghambat pekerjaan.}

 _{Sistem yang akan digunakan ditempatkan pada lokasi yang}

berbahaya atau lokasi yang terpencil, contoh stasiun ruang angkasa.

 _{Dapat memanipulasi situasi}_{untuk memecahkan masalah dan melihat}

sedikit penggunaan prosedur atau membandingkan beberapa alternatif perancangan dengan situasi yang sebenarnya.

 _{Situasi pada laboratorium tidak dapat menggambarkan situasi}

(7)

2. PADA KONDISI LOKASI KERJA

SEBENARNYA

Penggunaan pengujian sistem ini pada lokasi kerja sebenarnya mempunyai beberapa kondisi diantaranya :

 _{Tingkat gangguan yang melebihi ambang batas}_{, tingkat-tingkat}

pergerakan yang besar dan interupsi yang tetap, seperti panggilan telepon menyebabkan observasi ini sulit dilakukan.

 _{Situasi yang lebih “terbuka” antara sistem dan pengguna}_{, dimana}

kondisi ini tidak ditemukan pada kondisi di laboratorium

 _{Observasi pada lokasi kerja sebenarnya lebih baik dilakukan}

(8)

3. PARTICIPATORY DESIGN

 _{Adalah suatu} _{pemikiran yang melibatkan keseluruhan alur}

perancangan dan tidak hanya proses evaluasi saja.

 _{Perancangan ini dilakukan pada ruang kerja} _{yang melibatkan}

(9)

KARAKTERISTIK EVALUASI

 _{Meningkatkan lingkungan kerja dan tugas}

 _{Mempunyai sifat kerja sama}_{, yakni pengguna dilibatkan}

dalam anggota team dan mempunyai kontribusi pada setiap tingkat perancangan.

 _{Mempunyai pendekatan iterative}_{, perancangan adalah}

(10)

METODE KOMUNIKASI USER -

DESIGNER



_{Brainstorming}



_{Storyboarding}



_Workshops

(11)

PROSES EVALUASI

PERANCANGAN

a)

Cognitive Walkthrough

b)

Heuristic Evaluation

(12)

a)

COGNITIVE WALKTHROUGH

 _{Suatu usaha yang dilakukan} _{untuk mengenalkan teori psikologi}

kedalam bentuk informal dan subyektif atau dengan kata lain mempunyai tujuan untuk mengevaluasi perancangan dengan melihat seberapa besar dukungan yang diberikan ke pengguna untuk mempelajari beberapa tugas yang diberikann. Pendekatan ini dikemukakan oleh

Polson.

 _{Dalam pendekatan ini terdapat beberapa issue yang timbul seperti :}

• _{Pengaruh apa yang timbul setelah tugas ini diberikan ke pengguna?} • _{Proses cognitive apa yang tersedia?}

(13)

a)

COGNITIVE WALKTHROUGH

(lanj.)

Untuk melakukan Cognitive Walkthrough harus mempunyai informasi yang dibutuhkan :

 _{Deskripsi dari suatu interface}_{yang dibutuhkan itu sendiri}

 _{Deskripsi dari tugas termasuk usaha yang benar} _untuk

(14)

a)

COGNITIVE WALKTHROUGH

(lanj.)

 _{Dengan Informasi ini maka} _evaluator_{dapat melakukan langkah}

dari walkthrough :

• _{Memilih Tugas}

• _{Mendiskrpsikan Tujuan dari user} • _{Melakukan kegiatan yang tepat}

• _{Menaganalisa proses keputusan untuk setiap kegiatan}

 _{Contoh Cognitive Walkthrough}_{: Memprogram Video Dengan}

(15)

a)

COGNITIVE WALKTHROUGH

(lanj.)

Langkah selanjutnya adalah membandingkan struktur tujuan yang tersedia dengan struktur tujuan pada langkah awal. Hal ini dilakukan dengan empat pertanyaan :

 _Akankah _{user gagal untuk menambah tujuan yang}

diperlukan ?

 _Akankah_{user gagal untuk memindahkan tujuan yang tidak}

diinginkan ?

 _Akankah _{user mengadopsi beberapa dasar tujuan yang}

palsu dari interface ?

 _Akankah _user _membatalkan _tujuan _yang _masih

(16)

b)

HEURISTIC EVALUATION

 _{Hampir sama dengan}_{Cognitive Walkthrough}_tetapi_{sedikit terstruktur}

dan sedikit terarah. Dalam system ini terdapat beberapa criteria :

• Perilaku Sistem dapat dipastikan.

• Perilaku Sistem konsisten

• Kemampuan memori user tidak melebihi batas

• Dialog merupakan orientasi tugas

 _{Tujuan dari Heuristic Evaluation} _{adalah untuk memperbaiki}

(17)

c)

REVIEW BASED EVALUATION

 _{Eksperimen antara psikologi dengan interaksi manusia dan}

komputer yang menghasilkan hasil-hasil eksperimen yang baik dan pengalaman yang nyata.

 _{Dalam kenyataannya} _{hasil eksperimen} _{ini tidak dapat}

(18)

d)

MODEL BASED EVALUATION

 _{Pendekatan terakhir untuk mengevaluasi perancangan dengan}

mengkombinasi spesifikasi perancangan dan evaluasi ke dalam kerangka kerja yang sama.

(19)

MENGEVALUASI IMPLEMENTASI

 _{Perbedaan yang besar dengan evaluasi perancangan adalah}

keberadaan implementasi system yang ada dalam berbagai bentuk.

 _{Hal ini dapat dimulai dari simulasi kemampuan interaktif dari}

(20)

METODE EMPIRIK : EVALUASI

EKSPERIMEN

 _Subyek

• _{Pemilihan subyek sangat penting dalam beberapa eksperimen.} • _{Harus setepat mungkin dengan keinginan user.}

• _{Jika subyek bukan user sebenarnya maka subyek yang dipilih harus sama}

usia dan tingkatan pendidikan serta pengalaman menggunakan komputer secara umum dan keterhubungan system yang sedang dalam pengujian

 _Variabel

• _{Independent Variabel : Karakteristik suatu eksperimen yang}

memanipulasi untuk menghasilkan kondisi yang berbeda untuk perbandingan.

(21)

METODE EMPIRIK : EVALUASI

EKSPERIMEN (lanj.)

 _Hypothesis

• _{Merupakan prediksi yang dihasilkan dalam eksperimen.}

• _{Masih menggunakan variable independent dan dependent,}

dimana variasi di dalam independent variable akan menyebabkan perbedaan pada dependent variable.

• _{Tujuan dari eksperimen adalah untuk menunjukkan bahwa}

(22)

METODE EMPIRIK : EVALUASI

EKSPERIMEN (lanj.)

Perancangan Eksperimen

 _{Between-Groups (Randomized)}

• _{Masing-masing subyek diberikan kondisi yang berbeda yakni kondisi}

eksperimen dan control.

• _{Keuntungan perancangan ini adalah setiap user menghasilkan satu kondisi} • _{Kerugiannya adalah dengan semakin banyak jumlah subyek yang tersedia}

akan menyebabkan hasilnya akan berkurang dan perbedaan antar setiap individu akan membuat bias hasil. Hal ini dapat diatasi dengan memilih dengan hati-hati subyek yang dipilih dan menjamin setiap kelompok di masyarakat terwakili.

 _{Within-Groups}

• _{Setiap user akan menampilkan kondisi yang berbeda} • _{Jumlah user yang tersedia lebih sedikit}

(23)

METODE EMPIRIK : EVALUASI

EKSPERIMEN (lanj.)

Pengukuran Statistik

 _{Dua aturan dalam analisa dengan statistik yakni :}

melihat dan menyimpan data

 _{Variabel yang digunakan}

1. Discret Variables

• _{Menggunakan jumlah yang terbatas dari suatu nilai atau tingkatan}

Contoh: Warna layar monitor yakni : red, green atau blue.

• _{Merupakan suatu independent variable}

2. Continous Variable

• _{Menggunakan jumlah berapapun}

Contoh : Ketinggian seseorang atau waktu yang diperlukan untuk menyelesaikan pekerjaan.

(24)

ANALISIS DATA

Data terdiri dari dua jenis, yaitu diskrit (jumlah terbatas dari nilai-nilai) dan kontinu (sembarang nilai).

Pada system data terdapat tiga jenis tes, yaitu : 1. Parametrik

(25)

(26)

ANALISIS DATA (lanj.)

Tes parametrik dan non-parametrik ditunjukkan untuk hal-hal berikut :

 _{Informasi apa yang dibutuhkan untuk analisis data?}  _{Adakah perbedaan pada setiap data?}

(27)

ANALISIS DATA (lanj.)

 _{Contoh parametric statistic}

 _{Contoh non-parametric statistic}

Kondisi A : 33,42,25,79,52 Kondisi B : 87,65,92,93,91,55

(28)

METODE EMPIRIK : EVALUASI

EKSPERIMEN (lanj.)

 _{Contoh non-parametric statistic}

Kondisi A : 2,3,1,7,4 = 5 digit

Kondisi B : 8,6,10,11,9,5 = 6 digit

Dengan tes Wilcoxon, setiap kondidi dijumlah rankingnya kemudian dikurangi dengan nilai terkecilnya sehingga didapatkan nilai statistik U-nya :

Kondisi A : 1+2+3+4+5 = 15 Kondisi B : 1+2+3+4+5+6 = 21

Ternyata jumlah dari kedua statistik U tersebut, 2 + 28 = 30, merupakan perkalian dari jumlah nilai dari masing-masing kondisi 5 X 6.

Rank sum Smallest U

(29)

MENGEVALUASI IMPLEMENTASI

(30)

STUDI EKSPERIMENTAL PADA

GRUP

Bebarapa masalah yang timbul yaitu :

 _{Subject group}_{: Jumlah subjek lebih banyak, waktu yang}

dibutuhkan lebih lama karena munculnya banyak variasi dan sulit untuk menjadwal anggota grup yang ada.

 _Task_{: Harus saking menyemangati dan kerjasama.}

 _{Data gathering}_{: Data yang dimiliki oleh setiap kelompok}

berbeda masalah seperti sinkronisasi, volume tipis dan sebagainya.

 _Analisis_{: Waktu melakukan analisis dari suatu percobaan}

(31)

TEKNIK OBSERVASI

1. Think Aloud

2. Analisa Protokol

3. Automatic protocol analysis tools

(32)

1. THINK ALOUD

 _{Menjelaskan : apa yang mereka percaya terjadi, mengapa mereka mengambil}

tindakan, apa yang mereka coba kerjakan..

 _{Think aloud mempunyai keuntungan yakni sederhana, membutuhkan sedikit}

pengetahuan untuk menampilkannya dan menyediakan pengertian yang berguna dengan interface juga dapat digunakan untuk mengobservasi bagaimana system digunakan.

 _{Variasi lain adalah cooperative evaluation dimana :}

• _{Proses mempunyai hambatan yang sedikit sehingga lebih mudah dipelajari}

oleh orang yang melakukan evaluasi.

• _{User mempunyai dorongan untuk menguji system}

• _{Orang yang melakukan evaluasi dapat menjelaskan kekacauan yang terjadi}

(33)

2. ANALISA PROTOKOL

Terdapat beberapa metode untuk merekam kegiatan user :

(34)

3. AUTOMATIC PROTOCOL

ANALYSIS TOOLS

 _{EVA (Experimental Video Annotator) System prototype yang}

berjalan pada multi-media workstation yang dihubungkan langsung ke video recorder

(35)

4. POST-TASK WALKTHROUGHS

 _{Terdapat beberapa keadaan yang menyebabkan subyek tidak}

dapat berbicara selama observasi sebenarnya seperti subyek sedang mengerjakan tugas yang sangat penting dan banyak.

 _{Pada keadaan ini post-task walkthroughs dapat melihat secara}

(36)

TEKNIK QUERY

 _Interview

Menginterview user tentang pengalaman mereka dengan system interaktif yang menyediakan informasi secara langsung dan terstruktur

 _{Questionnaire}

Metode alternatif yang agak kurang fleksibel dibandingkan dengan interview tetapi dapat meraih subyek yang banyak dan membutuhkan waktu yang tidak lama.

Terdapat beberapa jenis questionnaire :

• _General

• _Open-ended

• _Scalar

• _Multi-choice

(37)

TEKNIK QUERY (lanj.)

Questionnaire

 _Umum_{: Pertanyaan untuk mengetahui latar belakang user dan}

memasukkannya ke dalam subjek populasi.

 _Open-ended_{: pertanyaan yang membutuhkan jawaban atau opini sendiri,}

berguna untuk mengumpulkan informasi subjektif secara umum tetapi sulit untuk dianalisis.

 _Skala_{: user diminta memutuskan pertanyaan tertentu berdasarkan skala}

angka, biasanya berhubungan dengan setuju atau tidak setuju terhadap pertanyaan.

 _Pilihan _ganda_{: Responden diberikan pilihan respon secara eksplisit dan}

hanya boleh memilih satu atau sebanyak yang diperlukan.

 _Ranking_{: Mengurutkan item dalam daftar dan berguna untuk}

mengindikasikan preferensi user.

(38)

MEMILIH METODE EVALUASI

Faktor yang membedakan teknik evaluasi :

1) Tingkat siklus

2) Jenis evaluasi

3) Tingkat objektivitas dan subyektivitas

4) Jenis ukuran yang tersedia

5) Informasi yang tersedia

6) Kesiapan dari suatu respon

7) Tingkat gangguan yang tidak secara langsung

(39)

1).

TINGKAT SIKLUS

 _{Design VS. Implementation}

(40)

2).

JENIS EVALUASI

 _{Laboratory VS. Field studies}

(41)

3).

TINGKAT OBJEKTIVITAS DAN

SUBYEKTIVITAS

 _{Subyektif VS. Obyektif}

(42)

4).

JENIS UKURAN YANG

TERSEDIA

 _{Qualitative VS. Quantitative measures}

(43)

5).

INFORMASI YANG TERSEDIA

 _{Informasi yang tersedia}

(44)

6).

KESIAPAN DARI SUATU

RESPON

 _{Kesiapan suatu tindakan}

(45)

7).

TINGKAT GANGGUAN YANG TIDAK

SECARA LANGSUNG

 _{Intrusiveness}

(46)

8).

SUMBER YANG TERSEDIA

 _{Sumber-sumber}

(47)

(48)

(49)

(50)

TUGAS

 _{Buatlah sebuah daftar pertanyaan bagi responden yang}