BAB - IX TEKNIK EVALUASI

(1)

BAB - IX

TEKNIK

EVALUASI

By. Alan Dix, Janet

Finlay, Gregory D. Abowd,

Russell Beale

(2)

• Apakah evaluasi?

• Tujuan dari evaluasi

• Evaluasi melalui

analisa expert

• Evaluasi pengguna

melalui partisipasi

• Memilih metode

evaluasi

Evaluasi Evaluasi

(3)

• Evaluasi adalah bagian integral dari desain dan harus dilakukan di seluruh siklus hidup desain.

• Tujuannya adalah :

– untuk menguji fungsi dan kegunaan dari desain

– untuk mengidentifikasi dan memperbaiki masalah

– untuk menentukan sikap dan perilaku pengguna terhadap sistem.

• Dapat terjadi di laboratorium atau spesialis di tempat kerja pengguna, dan mungkin

tidak melibatkan partipasi aktif pada bagian pengguna.

Evaluasi Evaluasi

(4)

• _{Evaluasi digunakan untuk melihat} apakah hasil rancangan dengan proses uji coba system yang telah dibuat sesuai dengan permintaan pengguna (user)

• Proses ini tidak dikerjakan dalam satu fase proses perancangan tetapi

melalui perancangan dengan prinsip life cycle

Evaluasi Evaluasi

(5)

9.1. 9.1. Apakah Apakah Evaluasi ? Evaluasi ?

• _{Berkaitan dengan pengumpulan data} tentang kegunaan dari produk desain oleh kelompok tertentu untuk aktivitas tertentu dalam lingkungan tertentu

atau konteks pekerjaan

• Evaluasi adalah menguji dan menilai sistem untuk memastikan apakah

sistem berjalan seperti yang di harapkan dan berguna bagi

(6)

9.2. 9.2.

Tujuan Evaluasi

Tujuan Evaluasi • EVALUASI MEMILIKI TIGA

TUJUAN UTAMA

1. untuk menilai sejauh mana dan Aksesbilitas dari fungsi sistem

2. untuk menilai pengalaman pengguna yang berinteraksi 3. untuk mengidentifikasi dan

masalah tertentu dengan sistem

(7)

9.2. 9.2.

Tujuan Evaluasi

Tujuan Evaluasi • Fungsi sistem yang penting, harus

sesuai dengan kebutuhan pengguna.

• Rancangan sistem harus

memungkinkan pengguna untuk melakukan tugas mereka menjadi lebih mudah

(8)

9.2. 9.2.

Tujuan Evaluasi Tujuan Evaluasi

• Jika seorang petugas mengambil sebuah file pelanggan pada

address.

• Pos/pusat paling tidak harus

menyediakan dalam file komputer system.

• Evaluasi pada tingkat ini dapat juga mengukur kinerja pengguna dengan sistem dan dapat menilai efektivitas sistem dalam

(9)

9.2. 9.2.

Tujuan Evaluasi Tujuan Evaluasi

• Tujuan akhir dari evaluasi adalah untuk mengidentifikasi masalah-masalah spesifik dalam desain

(10)

9.3. 9.3. Evaluasi Evaluasi Melalui Analisa Melalui Analisa Expert Expert

• Evaluasi terjadi sepanjang proses desain.

• Secara khusus, yang pertama dari sebuah sistem evaluasi idealnya harus performed sebelum

pelaksanaan pekerjaan di mulai. • Jika desain sendiri dapat

dievaluasi, maka kesalahan dapat dihindari, karena desain dapat

diubah.

• Biasanya,dalam proses desain yang kesalahan itu harus

(11)

9.3. 9.3. Evaluasi Evaluasi Melalui Analisa Melalui Analisa Expert Expert

• Ada 4 macam evaluasi

a. Cognitive walkthrough b. Evaluasi heuristik

c. Evaluasi berbasis model d. Menggunakan penelitian

(12)

9.3.1. 9.3.1. Cognitive Cognitive Walkthrough Walkthrough • Walkthroughs memerlukan :

– tinjauan rinci dari urutan kode actions di dalam langkah-langkah,

– urutan mewakili segmen kode program, – harus teliti untuk memeriksa

karakteristik tertentu (misalnya, gaya pengkodean , konvensi untuk variabel ejaan prosedur versus panggilan, dan untuk memeriksa seluruh sistem yang invarian ),

– menggunakan langkah-langkah kognitif, – urutan langkah-langkah tindakan

mengacu pada suatu interface

– akan meminta user untuk tampil di error dalam menyelesaikan beberapa tugas

(13)

9.3.1. 9.3.1. Cognitive Cognitive Walkthrough

Walkthrough 1. Mempunyai prosedur Action

2. Menggunakan urutan kode action 3. Mempunyai kode program

4. Menggunakan langkah kognitif 5. Mengacu pada sebuah interface

yang akan menampilkan ERROR 6. Ada penyelesaian task/tugas

(14)

• Sebuah heuristik adalah sebuah pedoman atau prinsip umum

atau aturan yang dapat memandu keputusan desain atau digunakan untuk kritik sebuah keputusan

yang telah di buat.

• heuristic evaluasi, dikembangkan

oleh Jakob Nielsen dan Rolf Molich, adalah metode untuk menyusun

kritik terhadap sebuah system

menggunakan seperangkat relatif sederhana dan heuristics

9.3. 9.3.22. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa Expert Expert b. b. Evaluasi Evaluasi Heuristik Heuristik

(15)

• heuristic evaluasi,

dikembangkan oleh

Jakob Nielsen dan Rolf

Molich, adalah metode

untuk menyusun kritik

terhadap sebuah system

menggunakan

seperangkat relatif

sederhana dan

heuristics.

(16)

1. Merupakan sebuah

pedoman/prinsip umum

2. Merupakan sebuah aturan untukmemandu keputusan desain

3. Dapat menyusun kritik terhadap sistem

4. Menggunakan seperangkat alat yang relatif sederhana

5. Dikembangkan oleh Jakob Nielsen dan Rolf Molich

(17)

• NIELSEN'S SEPULUH HEURISTIK ADALAH:

1. Status.

2. Antara sistem dan dunia nyata. (user friendly)

3. User kontrol dan kebebasan. Pengguna

4. Konsistensi dan standar 5. Pencegahan Kesalahan

6. Pengakuan daripada pembuat 7. Fleksibilitas dan efisiensi

penggunaan

8. Minimalis design

9. Membantu pengguna mengenali, mendiagnosa dan mengoreksi

kesalahan

10. Bantuan dan sistem dokumentasi

(18)

• Certain Model Provie adalah

menggabungkan alat evaluasi

dan spesifikasi desain ke

framework.

• Contoh:

– GOMS (tujuan, operator , metode dan seleksi) pengguna

mem-prediksi model kinerja dengan interface tertentu dan dapat

digunakan untuk menyaring pilihan desain tertentu.

9.3.3 9.3.3. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa Expert Expert c. c. Evaluasi Evaluasi Berbasis Berbasis Model Model

(19)

1. Menggunakan desain framework

2. Merupakan penggabungan alat

evaluasi dan spesifkasi desain

3. Menggunakan prinsip GOMS

4. Mempunyai Tujuan 5. Mempunyai Operator 6. Mempunyai Metode 7. Mempunyai Penyeleksian 9.3.3 9.3.3. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa Expert Expert c. c. Evaluasi Evaluasi Berbasis Berbasis Model Model

(20)

• Eksperimental psikologi dan

manusia-komputer proses

interaksi antara hasil

eksperimen dan empiris.

• Khusus untuk domain

tertentu, banyak berurusan

dengan isu-isu umum yang

bergerak dalam berbagai

situasi

9.3.4 9.3.4. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa Expert Expert d. d. Menggu Menggu--nakan Pe nakan Pe nelitian nelitian Sebelum Sebelum Evaluasi Evaluasi

(21)

1. Proses interaksi antar

hasil eksperimen dan

empiris

2. Menggunakan domain

3. Khusus untuk domain

tertentu menggunakan

isu-isu umu

9.3.4 9.3.4. . Evaluasi Evaluasi Melalui Melalui Analisa Analisa Expert Expert d. d. Menggu Menggu--nakan Pe nakan Pe nelitian nelitian Sebelum Sebelum Evaluasi Evaluasi

(22)

• Teknik-teknik yang telah kita bahas sejauh ini berkonsentrasi pada desain atau mengevaluasi sistem melalui

analisis oleh perancang, atau seorang ahli penilai, bukan pengujian dengan pengguna yang sebenarnya.

• Teknik ini untuk menyaring dan menyempurnakan desain, mereka bukan pengganti pengujian.

• Menggunakan metode empiris atau eksperimental, metode observasi,

permintaan teknik, dan metode yang menggunakan pemantauan fisiologis

9.4 9.4. . Evaluasi Evaluasi Peng Peng--guna guna Melalui Melalui Partisi Partisi--pasi pasi

(23)

• Faktor-faktor yang membeda-kan teknik evaluasi:

– Tingkat siklus – Jenis evaluasi

– Tingkat objektivitas dan subyektivitas – Jenis ukuran yang tersedia

– Informasi yang tersedia

– Kesiapan dari suatu respon

– Tingkat gangguan yang tidak secara langsung

– Sumber yang tersedia

4. Memilih 4. Memilih Metode Metode Evaluasi Evaluasi

(24)

Design VS. Implementation

• Evaluasi pada tingkatan perancangan hanya

membutuhkan ahlinya dan akan dianalisa

sedangkan evaluasi pada tingkat implementasi membawa user sebagai subyek dari eksperimen. Laboratory VS. Field studies

• _{Secara ideal proses perancangan mencakup dua}

jenis evaluasi ini dimana pada laboratorium

merupakan awal tingkatan sedangkan field studies ditempatkan pada tingkatan implementasi.

(25)

Subyektif VS. Obyektif

• Pada teknik yang subyektif seperti pada cognitive

walkthrough maupun think aloud mempercayakan pada evaluator atau orang yang melakukan evaluasi. Hal ini dapat menyebabkan penilaian evaluator menjadi bias sehingga diperlukan lebih dari satu orang evaluator.

Sedangkan teknik obyektif seharusnya menghasilkan hasil yang berulang yang tidak tergantung pada evaluator.

Eksperimen yang terkontrol merupakan contoh pengukuran obyektif. Secara ideal pengukuran secara subyektif dan

obyektif seharusnya digunakan keduanya. Qualitative VS Quantitative measures

• Pengukuran menggunakan numeric lebih mudah digunakan

menggunakan teknik statistik sedangkan non-numerik lebih sulit dilakukan akan tetapi menghasilkan sesuatu yang

penting secara lengkap yang tidak dapat dilakukan secara numeric.

(26)

Informasi yang tersedia

• Tingkatan informasi yang tersedia untuk evaluator pada setiap tingkat

proses perancangan dimulai pada informasi yang rendah sampai dengan tingkatan yang tinggi.

Kesiapan suatu tindakan

• Faktor lain yang membedakan teknik evaluasi adalah kesiapan

mengambil tindakan yang tersedia. Seperti metode think aloud yang merekam perilaku user pada waktu interaksi. Sedangkan post task walkthrough mempercayakan pada pengumpulan kembali kegiatan user.

Intrusiveness

• Merupakan teknik yang menghasilkan pengukuran segera yang

dihasilkan user selama interaksi dan mempunyai resiko

mempengaruhi perilaku user. Evaluator harus sensitive untuk mengurangi masalah ini tetapi tidak dapat megubah semuanya. Sumber-sumber

• Hal terakhir yang perlu diperhatikan dalam memilih teknik evaluasi