6 BAB II PEMBAHASAN 2.1 Evaluasi
Evaluasi merupakan bagian dari sistem manajemen yaitu perencanaan,
organisasi, pelaksanaan, monitoring dan evaluasi. Tanpa evaluasi, maka tidak
akan diketahui bagaimana kondisi objek evaluasi tersebut dalam rancangan,
pelaksanaan serta hasilnya. Istilah evaluasi sudah menjadi kosa kata dalam bahasa
Indonesia, akan tetapi kata ini adalah kata serapan dari bahasa Inggris yaitu
evaluation yang berarti penilaian atau penaksiran (Echols dan Shadily 2000, 220).
Sedangkan Yunanda (2009, 17), mengemukakan “evaluasi merupakan kegiatan
yang terencana untuk mengetahui keadaan sesuatu obyek dengan menggunakan
instrumen dan hasilnya dibandingkan dengan tolak ukur untuk memperoleh
kesimpulan.”
Arikunto (2009, 3) bahwa mengukur adalah membandingkan sesuatu
dengan satu ukuran (bersifat kuantitatif), menilai adalah mengambil suatu
keputusan terhadap sesuatu dengan ukuran baik buruk (bersifat kualitatif), dan
evaluasi meliputi kedua langkah tersebut di atas.
Pendapat lain yang dikemukakan oleh Matthews (2007,7) bahwa evaluasi
adalah “Proccess of delineating, obtaining and providing useful information for
judging decision alternatives.” Artinya, evaluasi merupakan proses
menggambarkan, memperoleh dan menyajikan informasi yang berguna untuk
merumuskan suatu alternatif keputusan. Ada beberapa unsur evaluasi yaitu adanya
7
(providing), informasi yang berguna (useful information) dan alternatif keputusan
(decision alternatives).”
Menurut Djali dan Pudji (2008, 1) evaluasi merupakan “proses menilai
sesuatu berdasarkan kriteria atau tujuan yang telah ditetapkan yang selanjutnya
diikuti dengan pengambilan keputusan atas obyek yang dievaluasi”.
Dari uraian di atas maka pengertian evaluasi ialah sebuah proses penilaian
yang terstuktur berdasarkan data kuantitatif yang digunakan sebagai penentuan
kebijakan dalam mengambil sebuah keputusan.
2.1.1 Tujuan dan Fungsi Evaluasi
Setiap kegiatan yang dilaksanakan pasti mempunyai tujuan, demikian juga
dengan evaluasi. Menurut Arikunto (2002, 13), ada dua tujuan evaluasi yaitu
tujuan umum dan tujuan khusus. Tujuan umum diarahkan kepada program secara
keseluruhan, sedangkan tujuan khusus lebih difokuskan pada masing-masing
komponen.Crawford (2000, 30), tujuan dan atau fungsi evaluasi adalah :
1. Untuk mengetahui apakah tujuan tujuan yang telah ditetapkan telah tercapai dalam kegiatan.
2. Untuk memberikan objektivitas pengamatan terhadap prilaku hasil. 3. Untuk mengetahui kemampuan dan menentukan kelayakan.
4. Untuk memberikan umpan balik bagi kegiatan yang dilakukan.
Dari pendapat diatas tujuan akhir evaluasi adalah untuk memberikan
bahan-bahan pertimbangan untuk menentukan suatu kebijakan atau untuk membuat
kebijakan tertentu, yang diawali dengan suatu proses pengumpulan data yang
8 2.1.2 Standar Evaluasi
Standar yang dipakai untuk mengevaluasi suatu kegiatan tertentu dapat
dilihat dari tiga aspek utama (Umar, 2002, 40), yaitu;
1. Utility (manfaat)
Hasil evaluasi hendaknya bermanfaat bagi manajemen untuk pengambilan keputusan atas program yang sedang berjalan.
2. Accuracy (akurat)
Informasi atas hasil evaluasi hendaklah memiliki tingkat ketepatan tinggi.
3. Feasibility (layak)
Hendaknya proses evaluasi yang dirancang dapat dilaksanakan secara layak.
2.1.3 Teknik Evaluasi
Terdapat beberapa teknik evaluasi sistem yang dapat dilakukan untuk
mengetahui sistemtelah berjalan sesuai dengan kebutuhan perpustakaan atau
tidak. Suatu sistem informasi dapat dievaluasi menurut 3 ukuran (Davis, 1988, 3)
yaitu :
1. Evaluasi Teknis
Evaluasi teknis atas aplikasi baru menyelidiki apakah secara teknis layak untuk menjalankan pengolahan informasi yang di usulkan. Banyak aplikasi yang di luar jangkauan kemampuan teknis dari peangkat keras dan perangkat lunak yang tersedia untuk pemakaian.
2. Evaluasi Operasional
Pertimbangan kelayakan operasional bertahan dengan masalah apakah data masukan dapat disediakan dan keluaran dapat diutamakan dan benar dipakai. Misalnya, secara teknis adalah mungkin bagi penjual untuk mengadakan hubungan telepon dengan pebei dalam setiap penjualan, tetapi secara operasional hal ini tidak praktis.
3. Evaluasi Ekonomis
Bilamana suatu proyek diusulkan, proyek tersebut perlu mengalami pengujian kelayakan ekonomis. Setelah pemasangannya, proyek tersebut perlu ditelaah secara periodik menurut ukuran biaya/efektifitas dalam menilai kelayakan ekonomis sistem informasi manajemen.
9 2.2 Sistem Automasi Perpustakaan
Menurut McLeod (2001, 12), “A System is a group of elements that are
integrated with the common purpose of achieving an objective.” Secara garis
besar dapat diartikan bahwa sistem adalah sekelompok elemen-elemen yang
terintegrasi dengan maksud yang sama untuk mencapai suatu tujuan.
Pendapat James Hall (2001, 5), yang diterjemahkan oleh Amir Abadi
Jusufsistem adalah sekelompok atau lebih komponen-komponen yang saling
berkaitan (inter-related) atau subsistem-subsistem yang bersatu untuk mencapai
tujuan yang sama (common purpose).
Sistem dapat diartikan sebagai sekumpulan elemen yang saling berinteraksi
dan bekerja sama untuk mencapai suatu tujuan bersama.
Sementara itu, di perpustakaan terdapat istilah sistem automasi. Istilah untuk
automasi banyak dipakai untuk menyatakan konsep pemanfaatan Teknologi
Informasi di perpustakaan adalah otomasi perpustakaan (library automation).
Sistem automasi perpustakaan sering disebut dengan sistem perpustakaan
terintegrasi (Integrated Library System) sering juga diistilahkan dengan
penggunaan teknologi informasi pada perpustakaan, di mana kegiatan
perpustakaan dilakukan dengan menggunakan teknologi informasi.
Beberapa defenisi dari Otomasi perpustakaan menurut para ahli sesuai
kajian Miyarso Dwie Aji :
Automasi adalah pengorganisasian mesin untuk mengerjakan tugas-tugasrutin, sehingga hanya dibutuhkan sedikit campur tangan manusia (Harrod, 1990:47). Concise Oxford Dictionary (1982:59), bahwa Otomasi adalah penggunaan peralatan yg dioperasikan secara automasi, untuk menghemat tenaga fisik dan mental manusia. Dalam kamus Ilmu Perpustakaan Elsevier (Clason, 1976), otomasi dinyatakan sebagai proses atau kegiatan yang dihasilkan oleh mesin. Menurut Sulistyo Basuki
10
(1994:96), pengertian automasi mencakup konsep proses atau hasil membuat mesin swatindak dan atau swakendali dengan menghilangkan campur tangan manusia dalam proses tersebut. Salim (1991:1067), Otomasi perpustakaan adalah suatu sistem atau metode yang menggunakan peralatan untuk menggantikan tenaga manusia dalam pekerjaan rutin.
Dari penjelasan diatas maka pengertian automasi ialah proses perubahan
dari konvensional menggunakan tenaga manusia kedalam bentuk digital dengan
menggunakan alat atau mesin.
2.2.1 Alasan Melakukan Automasi
Setiap perpustakaan memiliki alasan untuk menggembangkan sistem
kerumahtanggannya dari sistem konvensional menjadi sistem menggunakan
komputer, baik berupa alasan sfesifik maupun alasan yang berlaku umum bagi
semua perpustakaan.
Duval dan Main (1992) menyatakan dari berbagai alasan untuk melakukan automasi di perpustakaan, alasan berikut adalah alasan yang paling sering digunakan dan dikutip yaitu meningkatkan efisiensi pemrosesan (increased processing efficiency), memperbaiki layanan kepada pengguna (improved service for users), penghematan dan penekanan biaya (saving money and containing cost), memperbaiki administrasi dan informasi manajemen (improved administrative and management information).
Duval dan Main menyatakan memperbaiki administrasi dan informasi
manajemen dalam teorinya. Administrasi dan informasi manajemen sangat
penting didalam perpustakaan atau organisasi lainnya dikarenakan kegagalan dari
sebuah perpustakaan dalam melaksanakan tugasnya ialah perpustakaan tidak di
11 2.2.2 Tujuan Automasi
Automasi perpustakaan diperlukan untuk meningkatkan mutu layanan
kepada pengguna dan dapat meningkatkan kemampuan perpustakaan agar dapat
mengikuti pertambahan banyaknya koleksi, banyaknya transaksi, dan resource
sharing dengan perpustakaan lainnya. Menurut Widodo Adapun tujuan automasi
perpustakaan adalah:
1. Untuk meningkatkan pelayanan, mempercepat, mengefisienkan dan mengakurasi pekerjaan
2. Untuk memberi keleluasaan akses informasi 3. Untuk meningkatkan akses ke perpustakaan lain 4. Untuk memenuhi tuntutan perkembangan TI 5. Untuk meningkatkan prestise/citra
6. Agar perpustakaan tidak terisolasi 7. Untuk menyebarkan informasi
8. Untuk mengembangakan kerjasama dan “resource sharing”
2.2.3 Penerapan Sistem Automasi Perpustakaan
Aplikasi Teknologi Informasi (TI) di perpustakaan sering disebut juga
sebagai automasi perpustakaan. Akan tetapi, penggunaan istilah aplikasi TI di
perpustakaan lebih luas daripada istilah automasi perpustakaan. TI biasanya
diartikan ssbagai, perpaduan antara (a) komputer, mencakup perangkat kerasn dan
perangkat lunak, (b). Komunikasi data yang memungkinkan komputer berdiri
sendiri terintegrasi pada jaringan komputer baik yang bersifat lokal maupun
internasional (c). Media penyimpanan dan metode utnuk mempresentasikan data,
dengan tujuan utnuk memperoleh, mengolah, menyimpan serta menyampaikan
informasi (Keen, 1995,1-2, dan Longley, 1983,165) yang dikutip oleh Hasugian
12
Para pakar menyatakan TI adalah 3C yaitu Communication, Computer, dan
Content. Dalam ruang lingkup perpustakaan TI diartikan sebagai aplikasi
komputer dan teknologi lain untuk pengadaan, pengolahan, penyimpanan, temu
kembali, dan penyebaran informasi (Duval, 1992, 245) dalam kajian Hasugian
(2009,167). Pemanfaatan komputer pada sistem kerumahtanggaan perpustakaan
bukanlah merupakan suaatu fenomena baru.
Pola tradisional atau konvensional untuk mengelola perpustakaan semakin
hari semakin dirasakan tidak dapat lagi menghandel ledakan informasi dalam
rangka pemenuhan kebutuhan pengguna. Pola tradisional mengolah perpustakaan
berangsur-angsur harus dialihkan kepada pola pengelolaan yang berorientasi
kepada penerapan TI. Di sisi lain, pengguna perpustakaan telah mulai familiar
dengn TI khususnya komputer untuk melakukan pencarian informasi yang
dibutuhkannya.
Kebutuhan akan penerapan TI di perpustakaan sudah lama dirasakan
sangat penting oleh perpustakaan di berbagai negara maju, negara berkembang,
maupun negara terbelakang. Penerapan komputer untuk sistem kerumahtanggaan
perpustakaan bagi beberapa perpustakaan di Indonesia, dewasa ini sudah
merupakan kebutuhan yang mendesak karena berbagai alasan. Perpustakaan yang
berkembang dengan pesat dan dinamis, telah merasakan sistem manual tidak lagi
memadai untuk penanganan beban kerja, khususnya utnuk kegiatan rutin yang
bersifat klerikal, misalnya untuk bidang pengadaan, pengatalogan, pengawasan
13
Di sisi lain, ternyata masih banyak perpustakaan yang belum mempunyai
pengalaman pada pemanfaatan komputer. Para pustakawan di berbagai jenis
perpustakaan diperkirakan masih banyak yang belum memiliki pengetahuan yang
memadai dalam bidang ini. Ironisnya, diduga masih ada iantara elit pengelola
perpustakaan yang masih merasa alergi dengan TI. Mereka secara konservatif
bercokol mempertahankan pola pengelolaan konvensional dengan memunculkan
berbagai alasan yang irasional.
Keadaan yang demikian menyebabkan pengembangan perpustakaan dirasa
lamban karena pustakawan masih enggan bahkan mungkin tidak mampu
berkomunikasi dengan baik dengan para profesional di bidang komputer yang
seharusnya menjadi mitra kerja yang dapat diajak bekerjasama untuk
pengembangan sistem kerumahtanggaan perpustakaan yang berbasis TI.
Perpustakaan mengaplikasikan komputer untuk sistem
kerumahtanggaannya dengan berbagai tujuan antara lain, untuk meningkatkan
produktivitas dan efisiensi kerja, memperluas atau menanmbah jenis layanan baru
yang tidak bisa dilakukan dengan sistem manual (Duval, 1993, 249) yang dikutip
oleh Hasugian (2009, 169). Akan tetapi jika dikaji secara mendalam, tujuan
penerapan komputer pada sistem kerumahtanggaan perpustakaan pada
peningkatan kualitas layanan perpustakaan yang dapat memberikan kepuasan
terhadap pengggunanya. Untuk itu, diperlukan suatu perencanaan yang matang
dan sistematis, karena banyak faktor yang harus dipertimbangkan sebelum suatu
14
tentang konsep dasar sistem kerumahtanggan perpustakaan, dan faktor pemilihan
sistem.
2.2.4 Pemilihan Sistem Automasi
Proses pemilihan sistem adalah salah satu faktor penting yang harus dilalui
dalam usaha mengembangkan sistem kerumahtanggaan perpustakaan yang
berbasis komputer. Metode pengembangan sistem kerumahtanggaan perpustakaan
yang berbasis komputer ini disebut juga sebagai metode automasi perpustakaan.
2.2.4.1 Metode Pemilihan Sistem
Metode adalah cara untuk mencapai suatu tujuan. Automasi perpustakaan
pada hakekatnya untuk meningkatkan kualitas perpustakaan kepada pengguna.
Untuk mencapai tujuan itu perpustakaan dapat melakukan berbagai cara atau
metode dalam pemilihan sistem yang sesuai.
Corbin (1985, 9-14) yang dikutip membagi metode automasi perpustakaan
menjadi 4 (empat) yaitu sebagai berikut :
1. Membeli sistem jadi (Turnkey Systems)
2. Mengadaptasi sistem dari perpustakaan lain ( AdaptedSystem)
3. Mengembangkan sistem lokal (locally development )
4. Menggunakan bersama sistem dari perpustakaan lain (shared
systems)
Dari beberapa metode pemilihan sist diatas. Terdapat kelebihan dan
15
dalam melilih sistem yang akan digunakan sesuai dengan kebutuhan perpustakaan
itu sendiri.
2.3 Kerangka PIECES (Framework)
Dalam melakukan evaluasi sistem informasi, terdapat bermacam-macam
pengukuran, salah satu diantaranya adalah PIECES. Kerangka kerja PIECES
terdiri dari Performance, Information/Data, Economic, Control/Security,
Efficiency, Service. Kerangka kerja ini dapat digunakan untuk menganalisa baik
pada sistem manual maupun sistem yang berbasis komputer.
Al fatta (2007,51) menyatakan bahwa analisis PIECES terdiri dari:
1. Kinerja
Adalah kemampuan menyelesaikan tugas pelayanan dengan cepat sehingga sasaran tujuan dapat tercapai. Kinerja diukur dengan jumlah produksi dan waktu tanggap. Jumlah produksi adalah jumlah pekerjaan yang bisa diselesaikan selama jangka waktu tertentu. Bagian pemasaran kinerjanya diukur berdasarkan volume pekerjaan atau pangsa pasar yang diraih atau citra perusahaan. Waktu tanggap adalah keterlambatan rata-rata antara suatu transaksi dengan tanggapan yang diberikan kepada transaksi tersebut.
2. Informasi
Informasi merupakan kemampuan sistem informasi dalam menghasilkan informasi yang bermanfaat untuk menangani masalah dan peluang dalam mengatasi masalah tersebut. Dalam hal ini meningkatkan kualitas informasi tidak dengan menambah jumlah informasi, karena terlalu banyak informasi juga menghasilkan masalah baru. Situasi dalam analisis ini meliputi:
1. Akurasi, informasi harus bebas dari kesalahan dan tidak bias
2. Relevan, informasi memiliki manfaat bagi pihak pemakai maupun pihak pengelola.
3. Ekonomi
Adalah penilaian sistem atas biaya dan keuntungan yang didapat dari sistem yang diterapkan. Hal yang diperlukan dalam analisis ini meliputi biaya dan keuntungan
4. Keamanan
Sistem keamanan harus dapat mengamankan data dari kerusakan, misalnya dengan mem-back up data. Hal yang diperhatikan pada segi
16
keamanan yaitu ketepatan waktu, kemudahan akses, dan ketelitian data yang diproses. Selain itu juga keamanan data dari akses yang tidak di izinkan.
5. Efisiensi
Adalah sumberdaya yang ada guna meminimalkan pemborosan. Efisiensi menyangkut bagaimana menghasilkan output sebanyak-banyaknya dengan input yang sekecil mungkin.
6. Servis
Adalah mengkoordinasikanaktifitas dalam pelayanan yang ingin dicapai sehingga tujuan dan sasaran pelayanan dapat tercapai.
Sehubungan dengan pendapat di atas, James Wheterbe (Whitten, 2007)
mengembangkan kerangka untuk mengelompokan masalah (problem), peluang
(opportunities) dan perintah (directives) yang dikutip oleh Wijaya, yaitu sebagai
berikut :
1. Performance
Produksi-jumlah kerja selama periode tertentu
Waktu respon- penundaan rata-rata antara transaksi atau permintaan denganrespon ke transaksi atau permintaan tersebut.
2. Information Output
1. Kurangnya informasi yang diperlukan 2. Kurangnya informasi yang relevan
3. Terlalu banyak informasi-“kelebihan informasi” 4. Informasiyang tidak dalam format yang berguna 5. Informasi yang tidak akurat
6. Informasi yang sulit untuk di produksi
7.Informasi yang tidak tepat waktunya untuk penggunaan selanjutnya.
Input
1. Data tidak terambil
2. Data tidak terambil secara akurat-terdapat error 3. Data sulit terambil
4. Data terambil secara berlebihan- data yang sama diambil lebih darisatu kali
5. Data ilegal diambil Data tersimpan
1. Data disimpan secara berlebihan dalam banyak file dan/atau database
2. Item data yang sama memiliki nila berbedadalam file berbeda (integrasi data yang jelek)
17
4. Data tidak aman dari kecelakaan atau vandalisme 5. Data tidak di organisasikan dengan baik
6. Data tidak fleksibel- tidak mudah untuk memenuhi kebutuhan informasi baru dari data tersimpan
7. Data tidak dapat diakses 3. Ekonomi
a.Biaya
1. Biaya tidak diketahui
2. Biaya tidak dapat dilacak kesumber 3. Biaya terlalu tinggi
b. Keuntungan
1. Pemasaran saat ini dapat diperbaiki 2. Pesanan dapat ditingkatkan.
4. Keamanan
a. Keamanan atau kontrol terlalu lemah 1. Input data tidak diedit dengan cukup 2. Kejahatan (penggelapan atau pencurian)
3. Etika dilanggar pada data atau informasi- mengacu padadata atau informasi yang mencapai orang-orang yang tidak memiliki wewenang.
4. Data disimpan secara berlebihan,tidak konsisten dalam file atau database yang berebeda.
5. Deraturan data atau privasi dapatdilanggar
6.Kesalahan pemrosesan terjadi oleh manusia,mesin ataupun perangkat lunak
7. Error pembuatankeputusan terjadi b.kontrol atau keamanan terjadi
1. prosedur birokrais emperlambat sistem
2. pengendalian mengganggu para pelanggan atau karyawan 3. pengendalian berlebihan menyebabkan penundaan pemrosesan 5. Efisiensi
a.orang,mesin atau computer membuang waktu 1. data secara berlebihandi iput atau disalin 2. data secara berlebihandi proses
3. pengendalian berlebihanmenyebabkan penundaan pemrosesan b. orang atau mesin membuang material dan persediaan
c. usaha yang diperlukan untuk tugas-tugas terlalu berlebihan. d. material yang dibutuhkan untuk tugas-tugas terlalu berlebihan 6. Servis
a. sistem menghasilkan produk yang tidak akurat b. sistem menghasilkan produk yang tidak konsisten c. sistem menghasilkan produk yang tidak dapat dipercaya d. sistem tidak mudah dipelajari
e. sistem tidak mudah digunakan f. sistemm canggung untuk digunakan
18 h sistemtidak fleksibel untuk berubah
i. sistem tidak kompatibel dengan sitem lain.
Sedangkan dari penelitian oleh Riana (2006), kerangka PIECES yang
dibagi lagi menjadi beberapa kriteria :
a. Performance/Penampilan, diperlukan untuk menilai kinerja dari sisteminformasi yang telah dirancang, terdiri dari:
1. Throughput, dimana sistem dinilai dari banyaknya kerja yang dilakukan pada beberapa periode waktu.
2. Respon time, yaitu waktu tunda rata-rata antara transaksi dan respon dari transaksi tersebut.
3. Audibilitas, yaitu kecocokan dimana keselarasan terhadap standar dapat diperiksa.
4. Kelaziman komunikasi, yaitu tingkat dimana interface standar, protokol, dan bandwith digunakan.
5. Kelengkapan, yaitu derajat di mana implementasi penuh dari fungsi yang diharapkan telah tercapai.
6. Konsistensi, yaitu penggunaan desain dan teknik dokumentasi yang seragam pada keseluruhan proyek pengembangan perangkat lunak. 7. Toleransi kesalahan, yaitu kerusakan yang terjadi pada saat program
mengalami kesalahan.
8. Generalitas, yaitu luas aplikasi potensial dari komponen program. b. Information and Data / Informasi dan Data, untuk menilai informasi yang dihasilkan dan data yang digunakan, terdiri dari :
1. Accuracy (akurat), dimana Informasi atas hasil evaluasi hendaklah memiliki tingkat ketepatan tinggi.
2. Relevansi Informasi, dimana informasi yang dihasilkan sesuai dengan kebutuhan.
3. Penyajian Informasi, dimana informasi disajikan dalam bentuk yang sesuai.
4. Fleksibilitas Data, dimana informasi mudah disesuaikan dengan kebutuhan
5. Kelaziman data, yaitu penggunaan struktur dan tipe data standar pada seluruh Program.
6. Ekspandibilitas, yaitu tingkat dimana arsitektur, data, atau desain prosedural dapat diperluas.
c. Economic / Ekonomi
1. Reusability, tingkat dimana sebuah program atau bagian dari program tersebut dapat digunakan kembali di dalam aplikasi yang lain.
2. Sumber Daya, jumlah sumber daya yang digunakan dalam pengembangan sistem, meliputi sumber daya manusia serta sumberdaya ekonomi.
19
d. Control and Security / Kontrol dan Keamanan
1. Integritas, tingkat dimana akses ke perangkat lunak atau data oleh orang yang tidak berhak dapat dikontrol.
2. Keamanan, yaitu mekanisme yang mengontrol atau melindungi program dan data.
e. Efficiency / Efisiensi
1. Usability, Usaha yang dibutuhkan untuk mempelajari,
mengoperasikan, menyiapkan input, dan menginterpretasikan output suatu program
2. Maintainability, Usaha yang diperlukan untuk mencari dan membetulkan kesalahan pada sebuah program.
f. Service / Pelayanan, untuk mengetahui bagaimana meningkatkan kepuasan pelanggan, pegawai dan manajemen.
1. Akurasi, yaitu ketelitian komputasi dan kontrol.
2. Reliabilitas, tingkat dimana sebuah program dapat dipercaya melakukan fungsi yang diminta.
3. Kesederhanaan, yaitu tingkat dimana sebuah program dapat dipahami tanpa kesukaran.
Analisis PIECES dapat digunakan sabagai alat untuk mengevaluasi sebuah
sistem. Dari ke tiga teori diatas menjelaskan hal-hal yang dapat di ukur dari
sebuah sistem yang ada berdasarkan Performance (kinerja), Information
(informasi), Economic (Ekonomi), Control (kontrol), Efficiency (Efisiensi), serta
Service (servis). Al Fatta lebih menjelaskan kepada pengertian dari
masing-masing bagian kerangka PIECES, sedangkan Wheterbe lebih memperinci untuk
menevaluasi sistem berdasarkan setiap bagian dari kerangka PIECES. Sementara
Riana, lebih memperluas cangkupan bahasan dari setiap bagian kerangka PIECES
