DAFTAR ISI
KATA PENGANTAR...2
BAB I...4
PENDAHULUAN...4
I. Latar Belakang...4
II. Rumusan Masalah...4
III. Tujuan...4
BAB II...5
PEMBAHASAN...5
A. Pendekatan Berorientasi Keahlian...5
B. Pengembang Evaluasi Berorientasi Keahlian Pendekatan Dan Kontribusinya...6
C. Pengaruh Berorientasi Keahlian...7
D. Pendekatan Evaluasi Berorientasi Konsumen...9
E. Pengembang Berorientasi Konsumen...9
F. Menerapkan Pendekatan Berorientasi Konsumen...11
G. Pengaruh Berorientasi Konsumen...13
BAB III...17
PENUTUP...17
A. KESIMPULAN...17
B. SARAN...17
DAFTAR PUSTAKA...18
BAB I
PENDAHULUAN
I. Latar BelakangEvaluasi seperti itu termasuk semuanya mulai dari makanan yang baru saja kita selesaikan atau film atau konser yang kita tonton minggu lalu hingga upaya yang lebih serius program untuk membantu siswa berisiko putus sekolah di sekolah menengah kami atau program kontak orang tua untuk orang tua yang baru di sekolah kami. Fokus kami di sini bukan pada penilaian individu kami sesuatu, tetapi pada evaluasi yang lebih formal, terstruktur, dan publik. Kami hubungkan evaluasi pribadi ini dengan yang lebih formal di sini, karena pendekatan evaluasi paling awal yang bersangkutan, hampir secara eksklusif, dengan menilai kualitas sesuatu. Penilaian tersebut sering diturunkan oleh sekelompok individu berkumpul untuk mempertimbangkan kriteria dan program mereka atau produk yang akan dinilai.
Pendekatan modern pertama untuk evaluasi berorientasi pada keahlian dan evaluasi berorientasi konsumen. Pendekatan ini terus digunakan hari ini, meskipun tidak begitu luas di bidang evaluasi profesional. Namun, mereka punya mempengaruhi cara berpikir kita tentang evaluasi dan tujuan serta metodenya. Kami akan tinjau masing-masing secara singkat, dengan fokus pada metode saat ini yang paling banyak digunakan akreditasi untuk mengilustrasikan prinsip-prinsip kunci dari pendekatan ini dan bagaimana pendekatan tersebut terpengaruh, dan terus mempengaruhi, praktik evaluasi.
II. Rumusan Masalah
1. Apa yang dimaksud dengan Pendekatan Berorientasi Keahlian?
2. Bagaimana Pengembang Evaluasi Berorientasi Keahlian Pendekatan Dan Kontribusinya?
3. Apa yang Mempengaruhi Berorientasi Keahlian?
4. Apa yang dimaksud dengan Pendekatan Evaluasi Berorientasi Konsumen?
5. Bagaimana Pengembang Berorientasi Konsumen?
6. Bagaimana Cara Menerapkan Pendekatan Berorientasi Konsumen?
7. Apa yang saja Pengaruh Berorientasi Konsumen?
III. Tujuan
1. Untuk mengetahui dan memahami Pendekatan Berorientasi Keahlian
2. Untuk mengetahui dan memahami Pengembang Evaluasi Berorientasi Keahlian Pendekatan Dan Kontribusinya
3. Untuk mengetahui dan memahami Pengaruhi Berorientasi Keahlian
4. Untuk mengetahui dan memahami Pendekatan Evaluasi Berorientasi Konsumen 5. Untuk mengetahui dan memahami Pengembang Berorientasi Konsumen
6. Untuk mengetahui dan memahami Penerapan Pendekatan Berorientasi Konsumen 7. Untuk mengetahui dan memahami Pengaruh Berorientasi Konsumen
BAB II PEMBAHASAN
A. Pendekatan Berorientasi KeahlianPendekatan berorientasi keahlian untuk evaluasi mungkin merupakan tipe formal tertua, evaluasi publik dan, seperti namanya, itu bergantung terutama pada profesional keahlian untuk menilai mutu suatu lembaga, program, produk, atau kegiatan. Untuk misalnya, manfaat dari program pelatihan kepemimpinan untuk kepala sekolah bisa jadi dinilai oleh para ahli dari berbagai bidang termasuk kepemimpinan, administrasi pendidikan, dan pelatihan yang akan mengamati program dalam tindakan, memeriksa materi dan teori yang mendasarinya, mungkin mewawancarai beberapa pelatih dan peserta, atau, dengan cara lain, dapatkan informasi yang cukup untuk membuat penilaian yang dipertimbangkan nilainya.
Dalam kasus lain, kualitas rumah sakit dapat dinilai dengan melihat program khususnya, fasilitas operasinya, operasi IGDnya, rawat inapnya. operasionalnya, apoteknya, dan sebagainya, oleh para ahli di bidang kedokteran, pelayanan kesehatan, dan administrasi rumah sakit. Mereka dapat memeriksa fasilitas dan perlengkapan/persediaan rumah sakit, prosedur operasionalnya di atas kertas dan dalam tindakan, data tentang frekuensi dan hasil dari berbagai prosedur, kualifikasi personelnya, catatan pasien, dan aspek lain dari rumah sakit untuk menentukan apakah itu memenuhi standar profesional yang sesuai.
Meskipun penilaian profesional terlibat sampai tingkat tertentu dalam semua pendekatan evaluasi, yang satu ini jelas berbeda dari yang lain karena langsung, ketergantungan terbuka pada keahlian profesional sebagai strategi evaluasi utama. Seperti keahlian dapat diberikan oleh evaluator atau oleh ahli materi pelajaran, tergantung pada siapa yang mungkin menawarkan sebagian besar substansi atau prosedur yang sedang dievaluasi.
Biasanya satu orang tidak akan memiliki semua pengetahuan yang dibutuhkan secara memadai mengevaluasi program, lembaga, atau lembaga. Tim ahli yang melengkapi satu sama lain jauh lebih mungkin untuk menghasilkan evaluasi suara.
Beberapa proses evaluasi khusus adalah varian dari pendekatan ini, termasuk ujian doktor yang diselenggarakan oleh komite, panel peninjau proposal, situs kunjungan dan kesimpulan yang ditarik oleh asosiasi akreditasi profesional, tinjauan lembaga atau individu oleh lembaga perizinan negara, tinjauan kinerja staf untuk keputusan tentang promosi atau masa jabatan, ulasan sejawat dari artikel yang dikirimkan ke jurnal profesional, kunjungan situs program pendidikan yang dilakukan atas perintah sponsor program, ulasan dan rekomendasi oleh pita biru bergengsi.
TABEL 5.1 Beberapa Fitur dari Empat Jenis Pendekatan Evaluasi Berorientasi Keahlian
Jenis
Beriorientasi Keahlian Pendekatan Evaluasi
Yang ada Struktur
Diterbitkan Standar
Ditentukan Jadwal
Opini dari Banyak Pakar
Status
Terpengaruh oleh Hasil Sistem tinjauan
formal Ya Ya Ya Ya Biasanya
Sistem peninjauan
informal Ya Jarang
Kadang-
kadang Ya Biasanya
Tinjauan panel ad
hoc Tidak Tidak Tidak Ya
Kadang- kadang Tinjauan individu
ad hoc Tidak Tidak Tidak Tidak
Kadang- kadang
panel, dan bahkan kritik yang ditawarkan oleh ahli di mana-mana yang bertugas di peran pengawas.
Untuk memaksakan beberapa urutan pada berbagai kegiatan evaluasi berorientasi keahlian, kami telah mengorganisir dan akan membahas manifestasi ini dalam empat kategori:
(1) sistem tinjauan profesional formal, (2) sistem tinjauan profesional informal,
(3) tinjauan panel ad hoc, dan (4) tinjauan individu ad hoc. Perbedaan dalam hal ini kategori ditunjukkan pada Tabel 5.1, dengan dimensi sebagai berikut:
1. Apakah sudah ada struktur untuk melakukan tinjauan?
2. Apakah standar yang dipublikasikan atau eksplisit digunakan sebagai bagian dari tinjauan?
3. Apakah tinjauan dijadwalkan pada interval tertentu?
4. Apakah ulasan mencakup pendapat dari beberapa ahli?
5. Apakah hasil review berdampak pada status apapun yang sedang dilakukan dievaluasi?
B. Pengembang Evaluasi Berorientasi Keahlian Pendekatan Dan Kontribusinya Sulit untuk menentukan asal-usul pendekatan ini, karena telah bersama kami selama ini Waktu yang sangat lama. Itu secara resmi digunakan dalam pendidikan pada tahun 1800-an, ketika sekolah mulai menstandarkan persyaratan masuk perguruan tinggi. Secara informal, itu telah digunakan sejak pertama kali seorang individu yang keahliannya diberikan kepada publik memberikan penilaian tentang kualitas suatu usaha dan sejarah dibungkam ketika itu
terjadi. Beberapa gerakan dan individu telah memberikan dorongan untuk berbagai jenis evaluasi berorientasi keahlian.
Elliot Eisner, seorang evaluator awal yang dibahas nanti di bab ini, menekankan peran keahlian dan kritik dalam evaluasi, peran yang membutuhkan keahlian dalam materi pelajaran yang akan dievaluasi. James Madison dan Alexander Hamilton mengambil peran sebagai
"ahli evaluator" dalam berdiskusi dan mengelaborasi tentang arti dan manfaat dari Konstitusi yang baru diusulkan di The Federalist Dokumen. (Mereka ahli karena sama-sama hadir dan aktif di Konvensi Konstitusional yang menyusun dokumen tersebut. Karena itu, mereka juga evaluator internal!) Tulisan mereka berpengaruh pada saat itu dan masih digunakan oleh para ahli hukum di pengadilan AS untuk menafsirkan makna Konstitusi, menggambarkan tindakan penting yang dapat berasal dari penilaian beralasan oleh ahli tentang suatu produk. Akreditasi institusi pendidikan tinggi adalah penerapan utama evaluasi berorientasi keahlian saat ini.
Yang baru Asosiasi Sekolah dan Kolese Inggris, yang memberikan akreditasi pertama dan melanjutkan akreditasi untuk perguruan tinggi dan universitas di New England hari ini, dimulai pada tahun 1885 ketika sekelompok kepala sekolah menengah persiapan sekolah mulai bertemu dengan presiden perguruan tinggi di New England untuk berdiskusi apa lulusan harus tahu untuk dipersiapkan untuk kuliah. Jadi, lebih dari 100 tahun yang lalu, para pemimpin sekolah dan perguruan tinggi berbicara tentang cara menyelaraskan mereka kurikulum!
C. Pengaruh Berorientasi Keahlian
Pendekatan: Kegunaan, Kekuatan, dan Keterbatasan
Pendekatan berorientasi keahlian, umumnya disebut dengan nama lain, digunakan secara luas di Amerika Serikat dan negara-negara lain saat ini. Upaya akreditasi adalah berubah dan meluas. Pemerintah terus menunjuk komisi ahli untuk mempelajari masalah dan membuat rekomendasi. Seringkali, komisi semacam itu membantu melindungi pemimpin pemerintah dari kemarahan warga ketika pemerintah perlu untuk mengatasi a isu kontroversial. Misalnya, penutupan pangkalan militer di Amerika Serikat masalah kontroversial, terlepas dari kenyataan bahwa ada terlalu banyak pangkalan. Kongres dan presiden terpaksa menunjuk komisi ahli untuk memberikan "objektif, tinjauan non-partisan, dan independen” terhadap rekomendasi untuk penutupan pangkalan utama (http:www.brac.gov, beranda). Proses ini telah digunakan lima kali sejak yang pertama komisi diangkat pada tahun 1988, terakhir pada tahun 2005. Seperti banyak pita biru panel, komisi telah memasukkan para ahli di berbagai bidang yang terkait dengan masalah. Komisi melakukan kunjungan lapangan, mencari masukan dari masyarakat dan lainnya ahli, mengkaji informasi, dan memberikan rekomendasi kepada Presiden. Itu rekomendasi berlaku kecuali Kongres menolak proposal dalam waktu 45 hari. Komisi-komisi ini telah mampu mengambil tindakan penting untuk meningkatkan efisiensi dan efektifitas penempatan pangkalan militer.
Secara kolektif, pendekatan evaluasi yang berorientasi pada keahlian telah menekankan peran sentral penilaian ahli, pengalaman, dan kebijaksanaan manusia dalam evaluative proses dan
telah memusatkan perhatian pada isu-isu penting seperti standar siapa (dan tingkat transparansi apa) harus digunakan dalam memberikan penilaian tentang program. Sebaliknya, kritik dari pendekatan ini menunjukkan bahwa hal itu memungkinkan evaluator untuk membuat penilaian yang mencerminkan sedikit lebih dari bias pribadi. Orang lain telah mencatat bahwa dugaan keahlian para ahli merupakan kelemahan potensial. Mereka yang menggunakan atau kontrak untuk evaluasi berorientasi keahlian harus mempertimbangkan dengan hati-hati berbagai bidang keahlian yang dibutuhkan untuk tim juri ahli mereka. Terlalu sering tim hanya berisi ahli konten, orang yang mengetahui berbagai elemen subjek penting untuk dinilai, tetapi mungkin kekurangan ahli dalam proses evaluasi itu sendiri. Artikulasi standar, baik oleh organisasi kontraktor atau oleh tim ahli, juga penting untuk mengklarifikasi kriteria dan metode yang digunakan untuk membuat penilaian diminta. Tentu saja, seperti yang dikatakan Elliot Eisner, para ahli harus melihat melampaui standar dan menggunakan keahlian mereka untuk mendeskripsikan, menafsirkan, dan menilai dimensi yang mereka tahu penting untuk kualitas produk. Tetapi, standar yang diartikulasikan membantu memperkenalkan beberapa konsistensi di seluruh pakar dan untuk memfasilitasi diskusi yang berguna di antara para ahli ketika perbedaan pendapat memang terjadi.
Tulisan-tulisan Eisner mempengaruhi evaluator untuk lebih memikirkan tentang hakikat penilaian evaluasi dan peran yang dapat dimainkan oleh pengalaman dan keahlian dalam membantu mereka untuk memperhatikan unsur-unsur penting dari program atau produk yang akan dibuat dievaluasi. Namun, Eisner tidak lagi aktif di bidang evaluasi, dan Pendekatan ini jarang digunakan, umumnya oleh murid-murid langsungnya. Tetap saja, kami terus mempelajari tulisan-tulisannya karena pengaruhnya terhadap evaluasi praktek hari ini.
Donmoyer (2005) mencatat bahwa kontribusi Eisner mendorong para evaluator untuk mempertimbangkan berbagai pendekatan evaluasi dan implikasi dari setiap. Eisner juga memberikan alasan penting untuk metode kualitatif pada suatu waktu ketika metode kuantitatif mendominasi lapangan. Karyanya berguna dalam mendorong kita untuk mempertimbangkan apa yang kita perhatikan dalam suatu objek. Penikmat tahu yang penting elemen dari hal tertentu dan belajar bagaimana membentuk pendapat yang berpendidikan tentang elemen-elemen itu. Pendekatan connoisseurship-criticism juga memiliki kritik.
Mengikuti Proposal awal Eisner, House (1980) mengeluarkan keberatan yang kuat, memperingatkan hal itu analogi kritik seni tidak berlaku untuk setidaknya satu aspek evaluasi:
Bukan hal yang aneh bagi seorang kritikus seni untuk mengemukakan pandangan kontroversial — pembaca bisa memilih untuk mengabaikan mereka. Bahkan, pembaca dapat memilih untuk membaca kritik saja yang dia setujui. Evaluasi publik terhadap suatu program tidak dapat begitu saja diabaikan, Namun. Beberapa pembenaran — apakah kritik, prinsip kritik, atau kritik—perlu. Tuntutan akan kejujuran dan keadilan semakin ketatevaluasi program publik. (hal.237).
Namun, baru-baru ini, Stake dan Schwandt menekankan pentingnya evaluasi tidak hanya mengukur kualitas tetapi juga menyampaikan kualitas apa adanya berpengalaman.
Mengingatkan pada pengakuan Eisner tentang keahlian, mereka mengamati bahwa “kami tidak memiliki standar yang cukup baik untuk mengenali praktik evaluator pengetahuan yang
muncul dari kombinasi keterampilan pengamatan, keluasan melihat, dan mengontrol bias”
(2006, p. 409). Mereka menyimpulkan bahwa “seperti halnya para penikmat dan panel pita biru terbaik, beberapa contoh terbaik dari nilai sintesis di berbagai kriteria adalah mereka yang mengandalkan pribadi, penilaian praktis yang adil dan informasi individu” (2006, p.
409).
D. Pendekatan Evaluasi Berorientasi Konsumen
Seperti pendekatan berorientasi keahlian, evaluasi berorientasi konsumen telah ada dalam praktik individu membuat keputusan tentang apa yang akan dibeli, atau diperdagangkan, selama berabad-abad. Pendekatannya serupa dengan cara lain: Tujuan utamanya adalah untuk menilai kualitas sesuatu, untuk menetapkan nilai, jasa atau nilai, dari a produk, program, atau kebijakan. Meskipun semua evaluasi berkaitan dengan penentuan pantas atau layak, menilai adalah komponen kunci dari kedua pendekatan ini. Audiens utama mereka adalah publik.
Berbeda dengan pendekatan yang akan dibahas di bab lain di bagian ini, evaluasi yang mengandalkan pendekatan ini sering dilakukan tidak memiliki audiens lain — yayasan, manajer, pembuat kebijakan, atau warga negara kelompok — yang telah mempekerjakan evaluator untuk memberi mereka informasi yang berguna untuk membuat keputusan atau penilaian. Sebaliknya, audiens untuk berorientasi pada konsumen dan pendekatan berorientasi keahlian adalah pendekatan yang lebih luas—pembelian atau minat publik — dan tidak diketahui secara langsung oleh evaluator. Oleh karena itu, evaluator adalah utama, seringkali satu-satunya, pengambil keputusan dalam penelitian karena dia tidak memilikinya penting lainnya, audiens langsung untuk melayani. Tapi pendekatan berorientasi konsumen dan pendekatan berorientasi keahlian berbeda secara dramatis dalam metodologi mereka, dengan yang terakhir mengandalkan penilaian para ahli dan seni sebagai model. Di sisi lain, evaluasi berorientasi konsumen mengandalkan lebih transparan dan kuantitatif metode, dengan penilaian biasanya dibuat oleh evaluator, a orang dengan keahlian dalam menilai sesuatu, tetapi tidak dengan konten tertentu evaluasi keahlian berorientasi keahlian atau connoisseur.
Contoh populer evaluasi berorientasi konsumen yang disukai pembaca tahu termasuk Laporan Konsumen dan peringkat Berita AS dan Laporan Dunia perguruan tinggi dan universitas, tetapi contoh ada di seluruh dunia. Yang? Adalah majalah dan situs web di Inggris Raya yang melayani misi serupa dengan Serikat Konsumen, sponsor dari Laporan Konsumen dan webnya situs, di Amerika Serikat. Kedua organisasi bertindak sebagai advokat konsumen dan uji produk untuk memberikan informasi kepada konsumen tentang efektivitas berbagai produk
E. Pengembang Berorientasi Konsumen Pendekatan Evaluasi
Evaluasi berorientasi konsumen pertama kali menjadi penting dalam evaluasi pendidikan pada pertengahan hingga akhir 1960-an ketika produk pendidikan baru membanjiri pasar dengan masuknya dana dari pemerintah federal untuk pengembangan produk. Michael Scriven adalah
evaluator yang terkenal karena mendorong evaluator professional untuk berpikir lebih hati- hati tentang evaluasi berorientasi konsumen atau produk (1974b, 1991c). Scriven, tentu saja, dikenal karena banyak hal dalam evaluasi, dan evaluasi berorientasi konsumen atau berorientasi produk hanya mewakili salah satunya kontribusi. Kontribusinya yang paling penting termasuk membuat evaluator menyadari arti dan pentingnya menilai dalam evaluasi (Shadish et al. 1991; Alkin, 2004). Dia sering menggunakan contoh evaluasi produk dalam tulisannya untuk mengilustrasikan sifat menilai dan proses menurunkan nilai dalam evaluasi.
Selama bertahun-tahun, dia menganggap Laporan Konsumen sebagai “hampir sempurna paradigma” dalam evaluasi produk. Namun, dia telah menyatakan kekecewaannya dengan keengganan mereka untuk mendiskusikan dan meningkatkan metodologi mereka dan telah diakui PC Magazine dan Software Digest berkembang lebih baik secara metodologis prosedur (Scriven, 1991a, hal. 281). Namun, pendekatan Scriven untuk menentukan nilai suatu produk cukup berbeda dengan pendekatan connoisseur Eisner. Nyatanya, pandangan kritis Scriven tentang Pendekatan Eisner mengilustrasikan prioritasnya sendiri. Dia menyatakan bahwa evaluasi menggunakan model connoisseurship “mungkin menghasilkan perspektif yang berharga, tetapi meninggalkan banyak hal dari persyaratan validitas. Secara khusus itu rentan terhadap kekeliruan yang tidak relevan keahlian, karena penikmat paling-paling adalah panduan yang buruk untuk pantas bagi pemula— dan juga dipengaruhi oleh ayunan pendulum mode” (Scriven, 1991a, hal. 92). Jadi, sementara model Eisner bertumpu pada kemampuan memperhatikan yang dicapai oleh penikmat, Metode Scriven untuk evaluasi produk tidak berkaitan dengan keahlian dalam konten produk, tetapi dengan keahlian evaluator dalam menguji dan menilai komponen utama produk. Lebih lanjut, meskipun Eisner menekankan pada penafsiran dan mengevaluasi produk, dia percaya bahwa nilai tambah dari pendekatannya ada di dalamnya deskripsi—dalam membantu orang lain memahami, dan mengalami, elemen kunci yang mereka miliki mungkin telah diabaikan. Perhatian Scriven adalah menjawab pertanyaan, “Seberapa baik produk ini?” Untuk melakukannya, dia mengumpulkan informasi untuk menilai kinerja produk dan para pesaingnya pada kriteria kritis yang eksplisit dan bekerja untuk menghapus subjektivitas dari pendekatan. Karena itu, ia mencatat prosedur yang digunakan oleh dua orang majalah berorientasi konsumen yang dia kagumi mewakili pendekatan “'pengujian murni', yaitu adalah, salah satu yang meminimalkan jumlah penilaian subjektif dalam kasus tertentu” (Scriven, 1991a, hlm. 281).
Stake dan Schwandt (2006), dalam diskusi tentang pentingnya evaluator kualitas yang tajam, menyoroti perbedaan dalam Eisner dan Scriven pendekatan. Mereka mengidentifikasi dua pendekatan untuk mengkonseptualisasikan kualitas: kualitas sebagai terukur dan berkualitas seperti yang dialami. Kualitas seperti yang dialami berasal dari pengetahuan praktis dan pengalaman pribadi, dan signifikan, menurut mereka, karena itu adalah cara yang digunakan banyak orang untuk menentukan kualitas. keahlian Eisner model akan muncul sebagai contoh evaluasi yang dibangun di atas itu kualitas, melalui mata dan pengalaman seorang penikmat.
Sebaliknya, kualitas sebagai diukur diilustrasikan dalam logika evaluasi Scriven dan
metodenya untuk mengevaluasi produk. Ini termasuk menentukan kriteria penting untuk dipertimbangkan mengevaluasi produk, menetapkan standar kriteria, memeriksa atau
mengukur kinerja produk dan pesaingnya terhadap kriteria menggunakan standar, dan mensintesis hasil untuk menentukan kualitas produk kunci. Kedua pandangan kualitas memiliki peran. Kami telah membahas Eisner mendekati. Sekarang mari kita uraikan lebih banyak tentang model Scriven untuk menilai kualitas produk.
F. Menerapkan Pendekatan Berorientasi Konsumen
Langkah kunci dalam menilai suatu produk adalah menentukan kriteria yang akan digunakan.
Dalam model berorientasi konsumen, kriteria ini eksplisit dan mungkin dihargai oleh konsumen. Meskipun Scriven menulis tentang kemungkinan melakukan penilaian kebutuhan untuk mengidentifikasi kriteria, penilaian kebutuhannya bukan survei formal konsumen untuk menentukan apa yang mereka inginkan. Sebaliknya, penilaian kebutuhannya fokus pada
"analisis fungsional" yang dia tulis adalah "seringkali merupakan pengganti kebutuhan penilaian dalam hal evaluasi produk” (Scriven, 1983, hal. 235). Secara fungsional analisis, Scriven berarti menjadi akrab dengan produk dan mempertimbangkan
dimensi apa yang penting untuk kualitasnya:
Setelah seseorang memahami sifat evaluand, . . . seseorang akan sering mengerti
cukup lengkap apa yang diperlukan untuk menjadi contoh yang lebih baik dan lebih buruk dari jenis evaluasi tersebut. Memahami apa itu jam tangan secara otomatis akan memahami apa itu dimensi jasa untuk seseorang adalah — menjaga waktu, akurasi, keterbacaan, kekokohan, dll.(1980, hlm. 90–91)
Dengan demikian, kriterianya diidentifikasi dengan mempelajari produk yang akan dievaluasi, bukan dengan pengalaman sebelumnya yang diperluas dengan produk tersebut. Standar, selanjutnya dikembangkan, adalah tingkatan kriteria yang akan digunakan dalam proses pengukuran dan penilaian. Mereka sering dibuat atau dikenali ketika membandingkan objek evaluasi dengan objeknya pesaing. Karena tujuannya adalah untuk membedakan satu produk dari yang lain untuk menginformasikan konsumen tentang kualitas, standar mungkin relatif berdekatan ketika kinerja pesaing pada kriteria serupa. Sebaliknya, standar mungkin terpisah cukup jauh ketika pesaing sangat berbeda. Standar, tentu saja, dapat dipengaruhi oleh faktor selain pesaing, seperti masalah keselamatan, persyaratan peraturan, dan faktor efisiensi yang menjadi tolok ukur umum.
Pekerjaan Scriven dalam evaluasi produk berfokus pada penjelasan proses ini dan, sebagian karena mengidentifikasi kriteria bisa jadi sulit, dalam mengembangkan daftar periksa kriteria bagi orang lain untuk digunakan dalam mengevaluasi produk. Daftar periksa produknya diterbitkan pada tahun 1974 mencerminkan potensi luasnya kriteria yang dia rekomendasikan menggunakan dalam mengevaluasi produk pendidikan (Scriven, 1974b). Daftar periksa produk ini, yang tetap berguna hingga saat ini, merupakan hasil ulasan yang ditugaskan oleh pemerintah federal, dengan fokus pada produk pendidikan yang dikembangkan oleh federal
pusat penelitian dan pengembangan yang disponsori, dan laboratorium pendidikan regional.
Itu digunakan dalam pemeriksaan lebih dari 90 produk pendidikan, sebagian besar mengalami banyak revisi selama peninjauan. Scriven menekankan bahwa item-item dalam checklist ini adalah necessitata, bukan desiderata. Mereka termasuk pengikut:
1. Kebutuhan: Jumlah yang terpengaruh, signifikansi sosial, tidak adanya pengganti, efek perkalian, bukti kebutuhan
2. Pasar: Rencana sosialisasi, ukuran, dan pentingnya pasar potensial
3. Performa—Uji coba lapangan sesungguhnya: Bukti keefektifan versi final dengan pengguna biasa, dengan bantuan biasa, dalam pengaturan biasa, dalam kerangka waktu biasa 4. Performa—Konsumen sejati: Pengujian dijalankan dengan semua konsumen yang relevan, seperti siswa, guru, kepala sekolah, staf distrik sekolah, pejabat negara bagian dan federal, Kongres, dan pembayar pajak
5. Performa—Perbandingan kritis: Data komparatif diberikan pada hal-hal penting pesaing seperti kelompok tanpa perlakuan, pesaing yang ada, diproyeksikan pesaing, pesaing yang diciptakan, dan pesaing yang dihipotesiskan.
6. .Kinerja — Jangka Panjang: Bukti efek dilaporkan pada waktu yang tepat, seperti seminggu hingga sebulan setelah penggunaan produk, sebulan hingga setahun kemudian, setahun hingga beberapa tahun kemudian, dan melewati tahapan karier yang kritis
7. Performa—Efek samping: Bukti studi independen atau mencari hasil yang tidak diinginkan selama, segera setelah, dan selama penggunaan jangka panjang dari produk
8. Performa—Proses: Bukti penggunaan produk diberikan untuk memverifikasi produk deskripsi, klaim kausal, dan moralitas penggunaan produk
9. Kinerja—Penyebab: Bukti keefektifan produk diberikan melalui studi eksperimental acak atau melalui studi kuasi-eksperimental, ekspos fakta, atau korelasional yang dapat dipertahankan
10. Kinerja—Signifikansi statistik: Bukti statistik keefektifan produk untuk menggunakan teknik analisis yang tepat, tingkat signifikansi, dan interpretasi.
11. Kinerja—Pentingnya pendidikan: Signifikansi pendidikan ditunjukkan melalui penilaian independen, penilaian ahli, penilaian berdasarkan analisis item dan skor mentah tes, efek samping, efek jangka panjang dan keuntungan komparatif, dan penggunaan yang mendidik 12. Keefektifan biaya: Analisis biaya komprehensif dilakukan, termasuk ahlinya penilaian biaya, penilaian independen biaya, dan perbandingan dengan biaya pesaing
13. Dukungan yang Diperpanjang: Rencana yang dibuat untuk pengumpulan dan peningkatan data pascapemasaran, pelatihan in-service, pemutakhiran alat bantu, dan studi penggunaan baru dan data pengguna.
Aplikasi Lain dari Pendekatan Berorientasi Konsumen
Evaluasi produk juga digunakan oleh organisasi dan industri untuk mengevaluasi produk pada berbagai tahapan. Perusahaan teknologi tinggi yang sukses seperti Apple telah mengamati dan mempelajari reaksi konsumen terhadap iPhone dan toko Apple dan menggunakan data ini
untuk membuat perubahan pada produk mereka, sehingga menggunakan orientasi konsumen evaluasi untuk tujuan formatif untuk merevisi produk mereka. Amazon.com melakukan proses serupa dengan buku elektroniknya, Kindle. Jonathan Morrel, an evaluator yang telah bekerja dengan industri untuk melakukan banyak evaluasi produk,baru-baru ini menggambarkan penggunaan evaluasi produk saat ini di industri. Meskipun Scriven berfokus pada evaluasi produk untuk sumatif, keputusan pembelian oleh konsumen, Morrell mencatat bahwa sebagian besar evaluasi produk dalam industri bersifat formatif di alam, seperti contoh Apple dan Amazon.com. Evaluasi berlangsung melalui siklus hidup produk dari desain awal dan proses produksi hingga pemasaran dan sirkulasi. Para pemangku kepentingan untuk evaluasi tidak hanya mencakup manajer organisasi dan konsumen, tetapi orang lain yang terkait dengan proses produk juga. Morrell memberi contoh pilot sebagai pemangku kepentingan untuk pesawat terbang. Pendapat mereka tentang masalah faktor manusia penting dalam menciptakan suatu produk yang m
G. Pengaruh Berorientasi Konsumen
Pendekatan: Kegunaan, Kekuatan, dan Keterbatasan
Seperti disebutkan sebelumnya, pendekatan evaluasi berorientasi konsumen telah digunakan secara luas oleh lembaga pemerintah dan advokat konsumen independen untuk menyediakan informasi tentang ratusan produk. Salah satu contoh paling terkenal dalam pendidikan saat ini adalah What Works Clearinghouse (WWC), dimulai pada tahun 2002 oleh Institut Ilmu Pendidikan (IES) Departemen Pendidikan AS.(Lihat http://ies.ed.gov/ncee/wwc.) WWC adalah sumber informasi evaluasi yang berorientasi pada konsumen tentang hasil program dan produk pendidikan. Tujuannya, seperti pendekatan berorientasi konsumen yang diulas di sini, adalah untuk membantu konsumen-guru, psikolog sekolah, dan administrator pendidikan—
membuat pilihan tentang produk pendidikan mana yang akan digunakan.
Namun, WWC berbeda secara dramatis dari Scriven yang lebih komprehensif proses evaluasi karena kriteria untuk menentukan keberhasilan program adalah terbatas pada hasil program, dan standarnya berkaitan dengan kepercayaan penelitian pada hasil tersebut. Misi WWC yang dinyatakan adalah “untuk menilai kekuatan bukti mengenai keefektifan program.”6 Produk dipelajari menggunakan percobaan kontrol acak (RCT) atau desain diskontinuitas regresi, yaitu dipandang oleh IES sebagai superior untuk membangun hubungan sebab akibat antara produk atau program dan hasilnya, menerima peringkat tertinggi. Studi yang menggunakan desain kuasi-eksperimental dapat didukung dengan reservasi. Daftar periksa dan tulisan Scriven berpendapat untuk menggunakan beberapa kriteria berbeda untuk mencerminkan unsur-unsur produk atau program yang sangat penting untuk kinerja yang sukses. Meskipun banyak dari Kriteria Scriven berkaitan dengan hasil atau kinerja (lihat kriteria penilaiannya produk pendidikan yang tercantum sebelumnya), prosesnya menekankan komprehensif penilaian produk, termasuk kebutuhan, efek samping, proses, dukungan bagi pengguna,dan biaya, serta beberapa kriteria mengenai hasil atau kinerja. WWC standar menyangkut sejauh mana penelitian menetapkan efek kausal, melalui desain yang disukai, antara program atau
produk dan hasil yang diinginkan. Meskipun kami mengeluhkan penyempitan rentang kriteria dan standar untuk menilai kriteria tersebut, upaya WWC memang mendorong calon pengguna untuk mempertimbangkan keefektifan program dalam mencapai hasil dan menyediakannya lokasi sentral untuk mengakses informasi yang sebanding pada program pendidikan dan produk. Pendidik saat ini berada di bawah banyak tekanan untuk meningkatkan prestasi, dan produk dapat menyesatkan dalam pemasaran mereka. Namun, upaya WWC untuk memberi tahu konsumen tentang keberhasilan program dan produk yang ditunjukkan adalah aplikasi paling sukses saat ini dari pendekatan berorientasi konsumen dalam pendidikan dalam hal visibilitas dan jumlah pengguna. Konsumen dapat mencari situs web berdasarkan bidang minat, dengan topik antara lain Pendidikan Anak Usia Dini, Awal Membaca, Matematika Sekolah Menengah, Pencegahan Putus Sekolah, dan Pembelajar Bahasa Inggris. Banyak produk yang dinilai tidak memiliki cukup bukti penelitian untuk penyebabhubungan antara produk dan hasil. Satu-satunya informasi yang disediakan pada produk ini adalah penunjukan
“tidak ada studi yang memenuhi kelayakan.
Dalam kombinasi ironis pendekatan berorientasi konsumen dan berorientasi keahlian, panel pita biru diadakan pada tahun 2008 untuk menentukan apakah proses peninjauan dan laporan WWC “secara ilmiah valid” dan “memberikan informasi yang akurat tentang kekuatan bukti efek yang berarti dalam hasil pendidikan yang penting.” Lihat http://ies.ed.gov/director/board/pdf/panelreport.pdf. Mengomentari bahwa tugas mereka bukan untuk meninjau misi tetapi untuk menentukan apakah informasi itu valid, panel menyimpulkan bahwa informasi yang diberikan itu valid.
standar.” Namun, untuk produk dengan studi yang memenuhi standar kelayakan,laporan memberikan gambaran singkat tentang program atau produk, penelitian yang dilakukan terhadapnya, dan penilaian akhir tentang keefektifannya dalam mencapai hasil yang diinginkan. Contoh lain yang menonjol dari pendekatan berorientasi konsumen yang menggambarkan tumpang tindih antara itu dan pendekatan berorientasi keahlian adalah tes ulasan dari Institut Pengukuran Mental Buros. Institut ini didirikan pada tahun 1938 dan sejak saat itu telah melakukan tinjauan tes pendidikan dan psikologis yang sangat dihormati. Saat ini menghasilkan dua seri: Buku Tahunan Pengukuran Mental, sekarang dalam edisi ke-17, dan Ulasan Tes Online (lihat www.unl.edu/buros). Institut ini berorientasi pada konsumen karena “berdedikasi untuk memantau kualitas tes yang diterbitkan secara komersial . . . mempromosikan yang sesuai pemilihan tes, penggunaan, dan praktik”
(http://www.unl.edu/buros/bimm/html/catalog.html, paragraf 1).Ini dirancang untuk memberi konsumen informasi tentang kualitas tes yang digunakan dalam pendidikan dan psikologi.
Setiap ulasan tes memberikan ringkasandeskripsi tes dan diskusi tentang pengembangan dan fitur teknisnya, termasuk informasi reliabilitas dan validitas, komentar, ringkasan, dan referensi. Namun, tinjauan mengandung unsur pendekatan berorientasi keahlian karena dilakukan oleh para ahli di bidang psikometri dan, meskipun tinjauan menggunakan format yang ditentukan, kriteria dan standar untuk meninjau setiap pengujian dan pesaingnya tidak secara eksplisit diidentifikasi seperti yang akan dilakukan dalam pendekatan Scriven. Institut
mendorong peninjaunya untuk menggunakan The Standards for Educational and Psychological Testing (1999), yang dikembangkan bersama oleh American Educational Research Association (AERA), American Psychological Association (APA), dan National Council on Measurement in Education (NCME), sebagai panduan, tetapi kriteria utama Institut untuk memberikan informasi tentang kualitas adalah dalam pemilihan peninjau ahlinya.
Meskipun pendekatan evaluasi berorientasi konsumen terus berlanjut digunakan oleh majalah dan situs web yang mengulas produk, pendekatannya bukan satu yang terus dibahas secara luas dalam literatur evaluator profesional. Namun, tulisan Scriven tentang evaluasi produk pada tahun 1970-an, serta tulisan Eisner tentang keahlian dan kritik, penting dalam memengaruhi evaluasi pada tahap awalnya untuk mempertimbangkan perannya dalam menilai program, kebijakan, atau produk dan dalam mempertimbangkan metode selain tradisional.
metode penelitian ilmu sosial, untuk melakukannya. Setiap pendekatan memengaruhi praktik evaluasi saat ini.
Konsep dan Teori Utama
1. Ciri pendekatan evaluasi berorientasi keahlian adalah ketergantungan langsungnya pada penilaian profesional di bidang program yang sedang dievaluasi.
2. Variasi dalam jenis evaluasi yang berorientasi pada keahlian mencakup sistem tinjauan formal dan informal dan panel ad hoc atau tinjauan individual. Evaluasi ini bervariasi, apakah mereka ditempatkan di bawah struktur atau organisasi yang ada, telah menerbitkan standar yang digunakan untuk mengevaluasi program atau produk, menggunakan jadwal yang telah ditentukan untuk ditinjau, mempekerjakan ahli tunggal atau ganda, dan secara langsung mempengaruhi status program.
3. Sistem akreditasi di pendidikan tinggi, meluas ke sekolah K-12, adalah contoh yang menonjol dari pendekatan evaluasi berorientasi keahlian di Amerika Serikat dan saat ini sedang dalam proses diskusi dan perubahan. Perbedaan antara asosiasi akreditasi regional di Amerika Serikat dan pemerintah federal mengenai tujuan evaluasi ini, sifat data yang dikumpulkan atau ditinjau (hasil,proses, dan masukan), independensi atau netralitas evaluator ahli, dan transparansi proses menggambarkan banyak kontroversi dan isu politik yang dapat muncul dalam evaluasi berorientasi keahlian dan lainnya.
4. Model penikmat dan kritik pendidikan Elliot Eisner membuat evaluator lebih menyadari keterampilan seorang ahli, atau penikmat, dalam memperhatikan dimensi kritis dari produk atau program dan dalam menggunakan metode di luar pengukuran ilmu sosial tradisional, khususnya metode observasi dan deskripsi kualitatif, untuk menyediakan gambaran lengkap tentang program atau produk.
5. Pendekatan evaluasi berorientasi konsumen berbeda dengan berorientasi keahlian pendekatan yang tidak bergantung pada ahli konten, atau penikmat produk, tetapi melainkan pada ahli dalam evaluasi. Pendekatan ini juga lebih terpusat pada evaluasi logika dan metode kuantitatif.
6. Michael Scriven, yang banyak menulis tentang evaluasi semacam itu, menjelaskan kuncinya langkah-langkah seperti mengidentifikasi kriteria penting untuk menilai produk atau program, mengembangkan standar untuk menilai kriteria tersebut, mengumpulkan informasi atau data, dan mensintesis informasi untuk membuat penilaian akhir yang memungkinkan konsumen untuk membandingkan produk dengan kemungkinan alternatif.
7. Pendekatan berorientasi keahlian dan berorientasi konsumen membuat para evaluator sadar akan pentingnya penilaian dalam pekerjaan mereka. Itu membantu mereka menyadari bahwa tugas utama evaluasi adalah membuat penilaian tentang nilai suatu program, produk, atau kebijakan. Pendekatan tersebut menganjurkan metode yang sangat berbeda untuk membuatnya penilaian dan, oleh karena itu, masing-masing ditambahkan secara terpisah ke pertimbangan evaluator tentang metode kualitatif dan kriteria, standar, dan daftar periksa sebagai metode potensial untuk mengumpulkan data.
8. Kedua pendekatan terus digunakan secara umum oleh organisasi dan industri publik, nirlaba, dan swasta, tetapi tidak banyak ditulis dalam evaluasi profesional saat ini. Tidak adanya literatur evaluasi pada subjek sangat disayangkan. Kami berharap evaluator akan mengembalikan perhatian mereka pada pendekatan yang biasa digunakan oleh orang lain untuk membawa cara berpikir evaluatif ke penerapan pendekatan saat ini.
BAB III
PENUTUP
A. KESIMPULAN
Dapat kita simpulkan bahwa Pendekatan berorientasi keahlian untuk evaluasi mungkin merupakan tipe formal tertua, evaluasi publik dan, seperti namanya, itu bergantung terutama pada profesional keahlian untuk menilai mutu suatu lembaga, program, produk, atau kegiatan. Untuk misalnya, manfaat dari program pelatihan kepemimpinan untuk kepala sekolah bisa jadi dinilai oleh para ahli dari berbagai bidang termasuk kepemimpinan, administrasi pendidikan, dan pelatihan yang akan mengamati program dalam tindakan, memeriksa materi dan teori yang mendasarinya, mungkin mewawancarai beberapa pelatih dan peserta, atau, dengan cara lain, dapatkan informasi yang cukup untuk membuat penilaian yang dipertimbangkan nilainya. Tapi pendekatan berorientasi konsumen dan pendekatan berorientasi keahlian berbeda secara dramatis dalam metodologi mereka, dengan yang terakhir mengandalkan penilaian para ahli dan seni sebagai model. Di sisi lain, evaluasi berorientasi konsumen mengandalkan lebih transparan dan kuantitatif metode, dengan penilaian biasanya dibuat oleh evaluator, a orang dengan keahlian dalam menilai sesuatu, tetapi tidak dengan konten tertentu evaluasi keahlian berorientasi keahlian atau connoisseur.
B. SARAN
Disini kami sebagai penyusun makalah mengucapkan mohon maaf apabila terdapat kekurangan dan kekeliruan dalam penyusunan makalah tersebut, oleh karena itu kami mohon atas kritik dan sarannya agar makalah yang kami buat menjadi lebih baik lagi kedepannya.
DAFTAR PUSTAKA
Fitzpatric, Jody L. James R. Sanders.,dan Blaine R. Worthen.(1997). Program Evaluation Alternative Approaches and Practical Guidelines.PEARSON. Boston Columbus Indianapolis New York San Francisco Upper Saddle River Amsterdam Cape Town Dubai
London Madrid Milan Munich Paris Montreal Toronto Delhi Mexico City São Paulo Sydney Hong Kong Seoul Singapore Taipei Tokyo.
