Fakultas Ilmu Komputer
1991
Evaluasi dan Perbaikan
Usability
pada Dashboard PT.PLN (PERSERO)
APD Jawa Timur Berorientasi
Human Centered Design
dan
Key
Performance Indicators
Gayuh Syahqila Ravdania1, Ismiarta Aknuranda2, Retno Indah Rokhmawati3 Program Studi Sistem Informasi, Fakultas Ilmu Komputer, Universitas Brawijaya
Email: 1gsyahqila@gmail.com, 2i.aknuranda@ub.ac.id, 3retnoindahr@ub.ac.id
Abstrak
PT.PLN APD Jatim adalah sebuah organisasi pelaksana dari PT.PLN Distribusi Jatim yang bertugas sebagai pengatur pendistribusian. Hal tersebut membuat PLN APD Jatim memiliki banyak data untuk dikelola sehingga membutuhkan pemantauan sistem yang sesuai, seperti dashboard. Dashboard yang dimiliki untuk saat ini masih kurang dari segi antarmuka dan tidak sesuai dengan kebutuhan pengguna dilihat dari tidak adanya Key Performance Indikator (KPI). Oleh karena itu, penelitian ini membahas mengenai evaluasi dan perbaikan usability pada dashboard PT.PLN (Persero) APD Jatim berorientasi
human centered design dan key performance indicators. Pengumpulan informasi seperti identifikasi masalah dan konteks penggunaan didapatkan menggunakan metode wawancara dan tinjauan tampilan sistem karena hal tersebut dapat menggali informasi secara lebih detail. Kemudian untuk kerangka perbaikan, penelitian ini menggunakan Human Centered Design (HCD) karena pada setiap tahapan pada penelitian melibatkan pengguna. Prototipe dashboard dievaluasi menggunakan survei usabilitas sistem, diukur dengan System Usability Scale (SUS) dan pertanyaan terbuka. SUS bertujuan untuk menghasilkan nilai usabilitas sistem. Pertanyaan terbuka sebagai hasil pendukung guna melengkapi hasil SUS. SUS cocok digunakan karena dapat diterapkan secara luas untuk mengukur usabilitas menggunakan responden yang minim. Hasil evaluasi menyatakan bahwa desain solusi sudah cukup baik dan dapat memenuhi kebutuhan pengguna sehingga tidak diperlukan adanya perbaikan tersebut.
Kata kunci: Human Centered Design (HCD), Usability, System Usability Scale (SUS), Key Performance Indicator (KPI)
Abstract
PT.PLN APD Jatim is an organization of PT.PLN Distribution Jatim who served as a controller of distribution. This makes PLN APD Jatim has a lot of data to managed, so that need monitoring of the system such as the dashboard. The current dashboard is still less from interface side and does not match with needs of the user seen from Key Performance Indicators (KPI). Therefore, this research discusses about evaluation and usability improvement on dashboard PT.PLN (Persero) APD Jatim oriented human centered design and key performance indicators. Information gathering such as problem identification and usage context are obtained using interview method and system viewing for dig up information in more detail. Then for the framework of improvement, this research using Human Centered Design (HCD) because at each step of the research involves the user. The dashboard prototype was evaluated using a system usability survey and measured by System Usability Scale (SUS). SUS aims to generate the value of system usability. SUS is suitable for use because it can measure system using the minimal responden and can apply extensively. The evaluation results state that the solution design is good enough and according to needs of user so that no such repair.
1. PENDAHULUAN
PT. PLN APD Jatim adalah unit pelaksana dari PT.PLN Distribusi Jatim yang bertugas sebagai pengatur pendistribusian. Wilayah kerja PT.PLN APD Jatim dibagi menjadi tiga wilayah yaitu wilayah barat, wilayah tengah dan wilayah timur. Hingga tahun 2012, Area Pengatur Distribusi Jawa Timur melayani 16 area pelayanan dengan jumlah gardu induk 93 buah dan jumlah penyulang 976 yang tersebar di wilayah kerja Distribusi Jawa Timur. Banyak nya wilayah dibawah naungan APD Jatim membuat data yang dikelola pun juga banyak. Oleh karena itu penting adanya sebuah
dashboard yang digunakan sebagai media pengelola data.
PT. PLN APD Jatim sendiri saat ini sudah memiliki dashboard yang telah dijalankan semenjak beberapa bulan yang lalu. Dashboard
tersebut berfungsi untuk memudahkan jalannya proses bisnis dan menghemat waktu dalam pengelolaan data.Tetapi sistem dashboard yang ada saat ini dapat dikatakan masih kurang terlihat dari konten yang kurang inovasi. Tetapi ketiadaan sebuah Key Performance Indicator
(KPI) menjadi salah satu kendala terpenting dalam dashboard.Oleh karena itu perlu dilakukan evaluasi dan perbaikan usability agar pengguna dapat memahami informasi-informasi pada dashboard dan mengambil keputusan dengan baik.
Berdasarkan latar belakang tersebut maka dapat diambil rumusan masalah diantaraya adalah Apakah masalah antarmuka pengguna
dashboard PT.PLN APD Jatim dari evaluasi awal menggunakan metode wawancara, lalu Bagaimanakah rancangan perbaikan usability
pada dashboard yang sesuai dengan kebutuhan PT.PLN APD Jatim dan Bagaimana hasil evaluasi perbaikan usability pada dashboard
menggunakan survei usabilitas sistem.
Tujuan dari penelitian ini yaitu Mengetahui masalah antarmuka pengguna dashboard
PT.PLN APD Jatim dari evaluasi awal mengunakan metode wawancara, mengetahui rancangan perbaikan usability pada dashboard
yang sesuai dengan kebutuhan PT.PLN APD Jatim dan yang terakhir mengetahui hasil evaluasi perbaikan usability pada dashboard
menggunakan survei usabilitas sistem.
2. TINJAUAN PUSTAKA
2.1 Kajian Pustaka
Penelitian sebelumnya seperti penelitian Model Pengembangan Dashboard Berbasis
User-Centered Design (Padita, Nugroho, & Santosa, 2015). Dalam jurnal tersebut
membahas mengenai usulan model
pengembangan dashboard berbasis UCD Kemudian pembuatan Dashboard Berbasis Web Sebagai Sarana Evaluasi Diri Berkala Untuk Persiapan Penilaian Akreditasi Berdasarkan Standar Badan Akreditasi Nasional Perguruan Tinggi (Saputro, Anggraeni, dan Muklason, 2012). Paper tersebut menjelaskan mengenai pembuatan dashboard berbasis web berdasarkan kriteria penilaian akreditasi program studi.
Lalu penelitian Designing Manufacturing Dashboards on the Basis of a Key Pefomance Indicator Survey (Tokola, Groger, Jarvenpaa, & Niemi, 2016). Paper ini mempelajari mengenai desain dashboard manufaktur yang berfokus pada KPI sebuah perusahaan manufaktur.
2.2 Dashboard
Dashboard merupakan alat yang dapat memberikan tampilan antarmuka visual, menyajikan data sesuai Key Performance Indicators (KPI) secara sekilas dalam satu layar sehingga pengguna dapat memantau status ketika ada perubahan kinerja (Eckerson, 2006).
Adapun empat komponen pengembangan : 1. Key Performance Indicators (KPI)
Merupakan komponen utama berfungsi sebagai indikator penilaian kinerja untuk pengukuran kinerja. (Parmenter, 2007) 2. Personalisasi
Merupakan komponen utama yang
mengatur siapa saja pengguna dan hak aksesnya.
3. Basis data
Dalam pengelolaan berbagai jenis data atau informasi pada dashboard perlu adanya teknik dan media tertentu seperti contohnya database.
4. Desain Visual
Desain visual digunakan untuk membantu pengguna dalam memahami informasi yang ditampilkan pada dashboard. (Malik, 2005).
2.3 Human Centered Design (HCD)
fokus utama dengan mempertimbangkan kemampuan teknologi dan sumber daya perusahaan (ISO 9241-210, 2010). Tahapan-tahapan tersebut adalah sebagai berikut:
Gambar 1. Tahapan HCD (ISO 9241-210)
Pada gambar 1. menjelaskan tahapan HCD yaitu sebagai berikut:
a. Understand and specify the context of use
Memahami dan menentukan konteks penggunaan.
b. Specifying the user requirements
Mengidentifikasi kebutuhan pengguna dan menentukan persyaratan pengguna sebagai acuan dalam desain..
c. Producing design solutions
Merancangan solusi desain dengan tujuan memenuhi user experience yang baik. d. Evaluating the design
Evaluasi rancangan berfokus pada kebutuhan pengguna
2.4 System Usability Scale (SUS)
System usability Scale adalah sebuah metode survei yang digunakan untuk pengujian
usability berbagai produk maupun layanan. Bersifat memiliki sepuluh macam pertanyaan, mudah diterapkan dapat digunakan secara luas dan mudah dimengerti (Brooke, 1996). SUS terdiri dari sepuluh pertanyaan dengan skala lima poin dari mulai sangat tidak setuju sampai sangat setuju (Bangor, Kortum, and Miller, 2009), seperti gambar 2. Daftar pertanyaan SUS berikut ini:
Gambar 2. Daftar pertanyaan SUS
Pada gambar 2 menjelaskan bahwa daftar pertanyaan diatas memiliki skala like untuk setiap jawaban yang nantinya dari skala tersebut akan diukur dan dianalisis berdasarkan skala tertentu.
3. METODOLOGI
Pada gambar 3 menggambarkan mengenai alur penelitian dari awal sampai akhir, seperti yang dijelaskan dibawah ini:
3.1. Mengumpulkan Informasi
Ini adalah tahapan awal, dimana pengumpulan informasi dilakukan dengan metode wawancara dan studi literatur. Wawancara digunakan untuk mengetahui
gambaran dashboard yang telah ada
sebelumnya pada PT.PLN APD Jawa Timur. Dan pengumpulan informasi menggunakan kajian studi literatur mengenai teori dan studi pustaka yang terkait.
3.2. Mengidentifikasi Konteks Penggunaan Identifikasi kegunaan dapat dilakukan dengan mengidentifikasi stakeholder dan kelompok pengguna baik fungsi maupun karakteristik, mengidentifikasi aktivitas-aktivitas yang dapat dilakukan oleh stakeholder dan mengidentifikasi lingkungan sistem. Untuk mengetahui hal tersebut, penelitian ini menggunakan metode wawancara.
3.3 Mengidentifikasi Persyaratan Pengguna Menentukan persyaratan pengguna dengan menggunakan metode wawancara kepada salah satu staff PT.PLN APD Jawa Timur selaku pengguna. Penentuan persyaratan pengguna
dashboard disini adalah dengan mengidentifikasi Key Performance Indicators
(KPI) dan pemodelan use case.
3.4 Rancangan Solusi Desain
Rancangan solusi desain beracuan pada buku pedoman Research-Based Web Design & Usability Guidelines. Guidelines tersebut berdasarkan persyaratan interaksi . Kemudian membuat rancangan desain berdasarkan kesesuaian interaksi dengan aturan desain. Setelah itu rancangan desain tersebut diimplementasikan dalam bentuk prototipe menggunakan framework bootstrap.
3.5 Evaluasi Solusi Desain
Rancangan solusi desain yang sudah jadi akan dievaluasi menggunakan survei usabilitas sistem. Pengukuran usabilitas sistem menggunakan System Usability Scale (SUS) dan didukung dengan pertanyaan terbuka. SUS sendiri menjadi pilihan dikarenakan penggunaannya mudah dan dapat digunakan dengan sampel yang kecil.
4. IDENTIFIKASI KONTEKS
PENGGUNAAN
4.1 Identifikasi Stakeholder dan Karakteristik Pengguna
Dalam penelitian ini penulis
mengidentifikasi stakeholder dan karakteristik pengguna berdasarkan hasil wawancara dengan staf APD Jatim. Dengan pengelompokan pengguna yang dibedakan berdasarkan jabatan dan aktivitas pengguna pada dashboard, seperti berikut:
1. Divisi rencana operasi (renop, pengelola gambar, opgi, dispatcher)
2. Divisi pemeliharaan dan relay 3. Divisi scada
4. Area
5. Admin
6. Pengunjung dashboard
Dengan karakteristik mayoritas laki-laki dengan rentang usia 20-55 tahun, dapat menggunakan komputer dan berlatarbelakang studi teknik.
4.2 Identifikasi Tugas (task)
Informasi ini didapatkan dengan melakukan wawancara kepada staf PT.PLN APD Jatim mengenai aktivitas apa yang dapat dilakukan pengguna dan stakeholder pada system. Untuk tugas yang dilakukan pengguna dapat melakukan:
- Mengelola informasi umum - Masuk ke dalam sistem
- Mengelola data rencana operasi - Mengelola data gangguan - Mengelola data oeprasi dan har - Mengelola data beban penyulang - Mengelola data scada
- Mengelola data energi kwh - Mengelola history kopel - Mengelola work order
Khusus untuk pengguna pengunjung hanya dapat melakukan aktifitas mengelola informasi umum. Contoh identifikasi task:
Tabel 1. Identifikasi Goal dan Task Pengguna
Penggu- n data operasi
dan har baru. dan task sebagai aktivitas yang dilakukan untuk mencapai goal, sehingga pada tabel tersebut apa yang dapat dilakukan pengguna disesuaikan dengan hirarki goal atau task.
4.3 Identifikasi Lingkungan Sistem
Identifikasi lingkungan sistem menjelaskan mengenai perangkat keras, perangkat lunak, dan kelengkapan lainnya yang dapat digunakan dalam penggunaan dashboard APD Jatim.
Tabel 2. Karakteristik sistem
Karakteristik Sistem
Perangkat keras Komputer atau laptop RAM
minimal 64 MB, harddisk
10GB, prosesor Dual core.
Perangkat lunak Sistem operasi:windows,
windows server, linux dan MacOS
Browser: Mozilla firefox,
Chrome, Internet explorer, Opera
Kelengkapan sistem lain
Menggunakan koneksi seperti jaringan internet, modem atau wifi. menggunakan wifi.
Pada tabel 2 menjelaskan karakteristik sistem, seperti apa yang dibutuhkan oleh sistem dari lingkungan. Karakteristik sistem terdapat perangkat keras meliputi device yang digunakan seperti laptop atau komputer, perangkat lunak terdapat sistem operasi dan browse, dan kelengkapan sistem lain beupa jaringan.
5. IDENTIFIKASI PERSYARATAN
PENGGUNAAN DAN DESAIN
SOLUSI
5.1 Persyaratan Penggunaan 5.1.1 Menentukan Key Perfomance
Indicators (KPI)
KPI digunakan untuk membantu
rancangan solusi desain sistem, yang mana KPI sendiri juga masih belum dapat ditemukan pada
sistem tersebut. Sehingga perlu adanya identifikasi KPI apa saja yang dibutuhkan oleh pengguna. Melalui wawancara kepada salah satu staf yang mengetahui KPI setiap divisi sehingga dapat diketahui KPI apa saja yang dibutuhkan pada dashboard.
Tabel 3. Identifikasi KPI
Pada tabel 3, menjelaskan mengenai KPI dari Pemeliharaan dan Relay yang mana sumber data dan periode seperti pada tabel. KPI ini salah satu yang dibutuhkan.
5.1.2 Identifikasi Skenario
Penelitian ini dibutuhkan skenario untuk menggambarkan task yang dapat dilakukan oleh
pengguna pada sistem. Digunakannya
pemodelan use case untuk menjelaskan persyaratan fungsional sesuai dengan task
sebelumnya. Tetapi disini hal tersebut tidak menjadi fokus, lebih kepada membantu perancangan desain usulan.
Gambar 4. Use case dashboard APD Jatim
Gambar 4. dideskripsikan dengan dua aktor yaitu pengunjung dashboard dan staff
PLN yang merupakan generalisasi dari beberapa aktor (Admin, Renop, Dispatcher, Pengelola gambar, Opgi, HAR Relay, Scada dan Area). Kelompok pengguna Divisi Operasi Sistem meliputi aktor Renop, Dispatcher, Pengolah gambar dan Opgi. Kelompok pengguna Divisi Pemeliharaan dan Relay meliputi aktor Har Relay. Scada temasuk ke dalam kelompok pengguna Divisi Scada dan Area masuk ke kelompok pengguna Area.
5.1.3 Persyaratan Interaksi
Setelah persyaratan fungsional diketahui dengan menggambarkan use case sesuai task. Maka selanjutnya elemen antarmuka dashboard
akan digambarkan dengan persyaratan interaksi. Persyaratan interaksi disesuai dengan use case
dan task pengguna.
Tabel 4. Persyaratan interaksi
Pengguna Persyaratan
interaksi informasi data operasi dan har.
Direalisasikan dengan adanya menu Informasi Data dan submenu Data Operasi dan Har pada halaman home dashboard.
Tabel 4 menjelaskan elemen antarmuka dari pengguna Pemeliharaan dan Har yang mana direalisasikan dengan adanya menu informasi data dan submenu data operasi dan har pada halaman dashboard.
5.2 Membuat Desain Solusi 5.2.1 Desain Navigasi
Penelitian ini desain navigasi digambarkan dengan sitemap. Desain navigasi dilakukan guna mengetahui halaman dan perangkat yang saling terkait satu dengan yang lain berdasarkan kesesuaian persyaratan interaksi sebelumnya. Sitemap sendiri adalah cara yang digunakan untuk menggambarkan tampilan grafis atau text dari hirarki situs web
dan memiliki sifat clickable
(https://www.usability.gov/what-and-why/glossary/site-map.html), seperti gambar 5 berikut:
Gambar 5. Sitemap pengguna har dan relay
Gambar 5 menggambarkan sitemap dari kelompok pengguna divisi Har Relay. Sitemap tersebut dimulai dari situs web APD Jatim kemudian melakukan login untuk masuk ke
dashboard. Pada dashboard operasi dan har dapat mengakses informasi data, halaman home, ataupun work order. Didalam menu informasi data terdapat data yang diperlukan dan dapat dikelola. Menu work order sendiri digunakan untuk olahpesan antar kelompok pengguna.
5.2.2 Aturan Desain
Menurut buku Research-Based Web Design & Usability Guidelines, sebuah pedoman disini digunakan untuk memperbaiki desain dan fungsi situs web berbasis informasi.
5.3 Desain Prototipe
Membuat desain prototipe pertama, berdasarkan persyaratan interaksi dengan aturan desain yang telah dijelaskan sebelumnya. Dengan menggunakan framework bootstrap, prototipe akan berfokus kepada desain antarmuka saja.
Tabel 5. Kesesuaian interaksi dan aturan desain
Tabel 5 menjelaskan kesesuaian interaksi pada tabel 4 dengan aturan desain HHS. Sehingga dapat digunakan untuk acuan dalam desain prototipe menggunakan framework bootstrap.
6. EVALUASI SOLUSI DESAIN 6.1 Menentukan Responden
Penting untuk menyamakan karakteristik pengguna dengan responden, karena responden perlu memiliki latar belakang yang sama sehingga dapat menilai dengan tepat. Kemudian peran responden sendiri disini yaitu melakukan survei usabilitas sistem dashboard dan menjawab beberapa pertanyaan terbuka.
Tabel 6. Responden survei
Nama Divisi Umur Jenis
Kelamin
Singgih Pemeliharaan dan Relay
26 tahun Laki-laki
Tiyok Pengelola Gambar
28 tahun Laki-laki
Difa Scada 26 tahun Laki-Laki
Reza Area 33 tahun Laki-laki
Sanggar Renop 51 tahun Perempuan
Rony Opgi 22 tahun Laki-laki
Asep Dispatcher 20 tahun Laki-laki
Adi Umum 34 tahun Laki-laki
Dimas Admin 35 tahun Laki-Laki
Pada tabel 6 dengan beracuan pada karakteristik pengguna maka responden diambil di dalam lingkungan PLN APD Jatim yaitu staff
pegawai. Responden akan menjawab
pertanyaan survei sesuai dengan kelompok pengguna masing-masing, untuk membedakan daftar task yang akan diberikan. Pada kolom divisi, divisi disesuaikan dengan kelompok pengguna.
6.2 Task Scenario
Penelitian ini menentukan task skenario berdasarkan pekerjaan atau aktivitas yang biasa dilakukan oleh responden pada dashboard.
Tabel 7. Daftar task responden
pengguna Task
scenario
Daftar task
Har Relay Mengelola
informasi data Operasi dan HAR.
Melihat data operasi dan har
Menambahkan data operasi dan har
baru.
Mengubah data operasi dan har.
Menghapus data operasi dan har
Pada tabel 7 menjelaskan pengguna Har Relay memiliki task scenario mengelola informasi data operasi dan HAR yang mana task scenario tersebut memiliki beberapa daftar task yang akan diujikan.
6.3 Survei
Survei sistem dilakukan dalam lingkup kantor PLN APD Jatim. Responden melakukan pengisian survei berdasarkan lembar task
skenario yang diterima.
Tabel 8. Lama waktu pengerjaan responden
Peng
Mengubah data operasi dan har.
Menghapus data operasi dan har
63 pengerjaan dari task scenario oleh pengguna yang disini adalah Har Relay dengan waktu pengerjaan seperti pada tabel 8 tersebut. Lama waktu tidak menjadi acuan dalam perhitungan hanya sebagai keterangan dalam survei.
Tabel 9. Daftar pertanyaan terbuka
No Pertanyaan
1.
2.
Menurut anda dari desain yang sudah anda coba, bagian mana yang perlu diperbaiki?
Menurut anda, pada bagian mana yang paling sesuai dengan kebutuhan anda?
Tabel 9 menampilkan daftar pertanyaan terbuka untuk mendukung hasil dari SUS. Berisikan pendapat dari responden selama melakukan survei usabilitas. Dan hasil dari taggapan responden adalah seperti contoh tabel 10 dibawah ini:
Tabel 10. Contoh hasil tanggapan responden
Responden P tanggapan tiga responden sesuai perhitungan skala like. Yang kemudian adanya perhitungan jumlah skor per item pertanyaan untuk masing-masing responden. Dengan rumus perhitungan SUS pada persamaan (1):
Total skor SUS = skor SUS x 2,5 (1)
Skor SUS didapatkan dari perhitungan skala liker dan nilai 2,5 sendiri adalah nilai kali yang berasal dari aturan SUS. Sehingga contoh perhitungan dari responden 1 adalah seperti pada tabel 11 berikut:
Tabel 11. Perhitungan responden 1 dengan SUS
P
dengan persamaan (1), dijumlahkan
keseluruhan dan di kali dengan nilai 2,5 dan menghasilkan total skor 72,5. Total skor inilah yang akan dianalisis menggunakan skala perhitungan SUS, seperti pada gambar 6:
Gambar 6. Skala perhitungan SUS
Hasil tersebut kemudian dianalisis menggunakan perkiraan rating. Sesuai dengan perkiraan rating, skor SUS 72,5 untuk
acceptable ranges berarti dapat diterima (acceptable), untuk grade scale berarti bernilai C, dan untuk adjective ratings bernilai Good.
Sehingga, untuk responden 1 dapat dikatakan desain usability nya cukup baik dengan tingkat
acceptable yang baik dan adjective ratings yang cukup. Walaupun grade scale bernilai C, cukup untuk desain usability dikatakan baik.
6.4 Hasil Analisis
Penilaian skor SUS didukung dengan adanya pernyataan dari responden mengenai sistem seperti yang tertera pada lembar kuisioner berdasakan petanyaan terbuka.
Tabel 12. Contoh hasil jawaban responden 1
Respon den
Yang perlu diperbaiki Yang dapat
membantu
1 Tidak ada. Cukup baik, karena ada penambahan data sesuai kebutuhan.
Work order, operasi dan har
Tabel 12 menunjukkan hasil pengukuran yang menunjukkan bahwa desain usability
dapat diterima dengan nilai C hingga B dan rating Good sampai Excellent. Menanggapi jawaban responden yang menginginkan sedikit perubahan tersebut, dapat dijadikan saran untuk penelitian berikutnya.
7. KESIMPULAN
Melihat dari latar belakang dan rumusan masalah dari penelitian maka dapat diambil kesimpulan sebagai berikut:
1. Permasalahan yang didapat yaitu data yang ditampilkan terlalu banyak, tidak adanya
Key Performance Indikator (KPI), penyampaian informasi kurang interaktif,
penggunaannya masih cenderung
membingungkan.
disesuaikan dengan desain navigasi berupa sitemap sistem dan aturan desain..
3.
Evaluasi solusi desain atau prototipe dilakukan dengan survei usabilitas sistem yang berisikan penentuan responden, penentuan task scenario, pelaksanaan survei, penilaian usabilitas sistem berdasarkan survei menggunakan metodeSystem Usability Scale dan pertanyaan
terbuka. Contoh hasil analisis
menunjukkan skor SUS sebesar 72,5. Kemudian hasil pertanyaan terbuka menunjukkan tidak perlunya perbaikan desain, karena sistem sudah cukup baik. Berdasarkan itu dinyatakan bahwa tidak ada perubahan atau perbaikan yang perlu dilakukan.
8. DAFTAR PUSTAKA
Brooke, J. (1996). SUS - A quick and dirty usability scale. United Kingdom: Redhatch Consulting Ltd.
Eckerson, W. 2006. Deploying Dashboard and Scorecards. United States: TDWI Best Practices Report.
Malik, S. 2005. Enterprise Dashboards :
Design and Best Practices for IT. Canada: John Wiley & Sons, Inc.
Parmenter, D. 2007. Developing, Implementing, and Using Winning KPIs. New Jersey: John Willey & Sons, Inc.
