Kuadran I dikelompokkan pada Layanan Non Akademik dan diselenggarakan oleh UT pada setiap tahun. Kegiatan pada Kuadran II, merupakan Layanan Non Akademik dalam bentuk dukungan terhadap proses akademik. Sementara pada kuadran III, kegiatan difokuskan pada kegiatan pendukung proses belajar mengajar, dalam bentuk penyediaan layanan tutorial, baik tutorial tatap muka maupun tutorial online. Layanan Akademik, terdapat pada aktifitas di Kuadran IV, karena disinilah inti kegiatan akademik. Kegiatan kademik difokuskan pada terjadinya proses belajar mandiri, interaksi belajar berkelompok dan aktifitas tutorial. Sedangkan pada kuadran IV difokuskan pada proses evaluasi hasil belajar.
2.2.Balanced Scorecard dalam
Pendidikan
Awal perkembangan konsep balanced scorecard didesain untuk organisasi bisnis, namun dalam perkembangan selanjutnya mulai diterapkan pada organisasi sektor publik dan dan organisasi non profit lainnya. Perbedaan antara sektor publik dengan bisnis terutama
terletak pada tujuannya. Sektor publik lebih berorientasi pada kepentingan pelayanan publik, sementara sektor bisnis lebih berorientasi pada laba. Meskipun tujuan organisasi publik tidak bertujuan untuk mencari laba, tetapi diperlukan satu metode pengukuran efektifitas dan efisiensinya dalam memberikan pelayanan kepada masyarakat.
Agar dapat memenuhi kebutuhan sektor publik yang berbeda dengan sektor bisnis, ada beberapa perubahan yang dilakukan dalam konsep balanced scorecard. Perubahan tersebut adalah 1) perubahan framework dimana yang menjadi driver dalam balanced scorecard untuk organisasi publik adalah misi untuk melayani masyarakat; 2) perubahan posisi antara perspektif finansial dan perspektif pelanggan; 3) perspektif customers menjadi perspektif customers & stakeholders; 4) perubahan perspektif learning dan growth menjadi perspektif employess and organization capacity[7].
Mahmudi menjelaskan perbandingan perspektif balanced scorecard pada sektor publik dan swasta.
Tabel 1 Perbandingan Balanced Scorecard Sektor Publik dan Bisnis [8]
Perspektif Sektor Bisnis Sektor Publik
Keuangan Bagaimana kita melihat pemegang saham? Bagaimana kita meningkatkan pendapatan dan mengurangi biaya? Bagaimana kita melihat pembayar pajak? Pelanggan Bagaimana pelangganmelihat kita? Bagaimana masyarakat pengguna pelayanan publik melihat kita? Proses
Internal
Keunggulan apa yang harus kita miliki? Bagaimana kita membangun keunggulan? Pertumbuhan dan Pembelajaran Bagaimana kita terus memperbaiki dan menciptakan nilai? Bagaimana kita terus melakukan perbaikan dan menambah nilai bagi pelanggan dan stakeholders?
Perubahan prioritas dalam pencapaian tujuan organisasi, dimana perspektif pelanggan diletakkan paling atas yang langsung menunjang pencapaian misi organisasi. Sebaliknya, strategi tetap merupakan pusat pengaturan kegiatan, yang mempengaruhi penentuan keempat perspektif. Niven menjelaskan bahwa perbedaan utama antara organisasi publik dengan bisnis adalah penempatan Misi organisasi di atas kerangka balanced scorecard. Berdasarkan misi organisasi perhatian utama ditujukan pada pelanggan, bukan financial. Organisasi harus menentukan siapa yang akan dilayani dan bagaimana memenuhi kebutuhan mereka. Penempatan perspektif pelanggan di atas menujukkan, bahwa apapun yang dilakukan organisasi baik dari sisi financial, pengembangan organisasi dan internal proses ditujukan untuk
Konvensi Nasional Pendidikan Indonesia (KONASPI) VIII Tahun 2016
126 mendukung perspektif pelanggan. Balanced
Scorecard pada sektor publik dan non profit digambarkan pada Gambar 2.6 berikut [9] .
Strategy COSTUMER
How do we create an impact for our costumers?
FINANCIAL
How do we effectively manage and allocate resource to maximize our
impact?
INTERNAL PROCESS
To create an impact for customers while meeting budgetary constrains, at
what businesss processes must we exel ?
EMPLOYEE LEARNING AND GROWTH
How do we align our intangible assets to improve our ability to support our
strategy?
MISSION
Gambar 2. Balanced Scorecard pada Sektor Organisasi Publik dan Non Profit
Fokus utama dalam organisasi publik adalah misi organisasi, secara umum misi suatu organisasi publik adalah melayani dan meningkatkan kesejahteraan masyarakat. Dari misi tersebut diformulasikan strategi-strategi yang akan dilakukan untuk pencapaian misi tersebut. Strategi tersebut kemudian diterjemahkan kedalam 4 perspektif, yaitu: perspektif customers & stakeholders, perspektif financial, perspektif internal business process dan perspektif employees & organization capacity. Perspektif customers & stakeholders mengambarkan pelayanan yang berkualitas kepada masyarakat. Perspektif financial mengidentifikasikan pemberian pelayanan yang efiesien. Perspektif internal business process menggambarkan proses-proses yang penting bagi organisasi untuk meningkatkan kualitas hidup masyarakat. Perspektif employees &
organization capacity mengambarkan
kompetensi dan kemampuan semua anggota organisasi [10].
Sektor pendidikan, khususnya Perguruan Tinggi dapat dikategorikan sebagai salah satu bagian dari sektor publik. Karena Perguruan Tinggi umumnya didirikan oleh oleh pemerintah maupun swasta, bukan untuk mencari keuntungan, tetapi untuk melayani masyarakat dan menyediakan sarana prasarana dalam bidang pendidikan tinggi demi mencerdaskan kehidupan bangsa. Motivasi utamanya adalah menyediakan pendidikan tinggi bagi para pelajar lulusan Sekolah Menengah Atas yang ingin meneruskan pendidikannya ke pendidikan tinggi[11].
Dunia bisnis dan dunia pendidikan memiliki persamaan dalam perlunya pengelolaan yang efisien agar output yang dihasilkan oleh organisasi mempunyai mutu yang tinggi. Disamping itu tren globalisasi
memerlukan daya saing yang tinggi, sehingga diperlukan pengelolaan dan manajemen yang baik.
Perbedaan yang mendasar antara dunia bisnis dengan dunia pendidikan adalah pada dunia pendidikan organisasinya mempunyai visi dan misi yang jelas disertai dengan idealisme yang tinggi, yaitu membantu proses memanusiakan manusia. Budaya pendidikan (educational culture) mengandung nilai-nilai kemanusiaan yang kental. Proses humanis ini sering terlepas dari visi memperoleh keuntungan yang sebesar-besarnya. Sehingga aplikasi manajemen modern dalam dunia bisnis harus disesuaikan dengan budaya pendidikan. Aplikasi manajemen modern sudah mulai dicoba diterapkan dalam dunia pendidikan, namun penerapannya disamakan saja dengan penerapan pada dunia bisnis tidak sampai tuntas. Penerapan manajemen modern dalam dunia pendidikan perlu dikaji lebih dalam lagi dan diperlukan kehati-hatian alam penerapannya. Namun diakui bahwa teori-teori menejemen modern memperkuat pentingnya interaksi dalam pelaksanaan kegiatan-kegiatan pendidikan lainnya [12].
Perbedaan antara penerapan balanced
scorecard pada sektor bisnis dan pendidikan
berdampak pada divinisi setiap perspektif. Mahasiswa dapat dikategorikan sebagai customer dalam Universitas, akan tetapi mahasiswa juga terlibat dalam proses internal, karena secara intens mengikuti setiap proses yang terjadi di dalam universitas, seperti pembuatan produk pendidikan, pembelajaran, penguasaan ilmu pengetahuan dan proses pendidikan. Keterlibatan ini mempengaruhi mutu produk universitas tersebut. Sehingga tidak begitu mudah mendeteksi apa sebenarnya produk universitas dan siapa customer nya. Dalam hal ini, Indrajit menyatakan bahwa pelanggan universitas pada dasarnya adalah mahasiswa dan masyarakat pengguna lulusan universitas [13].
Pengukuran perspektif financial pada organisasi publik dapat dilakukan dengan menghitung net income, gross revenue, net asset, Timeliness of financial reports, Income (or expense) per employe, Budget or forecasting accuracy [14]. Akan tetapi pengukuran ini tidak dapat diterapkan sepenuhnya pada sektor pendidikan. Komponen pendapat dan penerimaan pada sektor pendidikan sebagian besar bersumber dari mahasiswa meskipun ada yang berasal dari sumber lainnya dalam jumlah yang terbatas.
Prinsip pendapatan dalam bidang pendidikan berarti adanya ketersediaan dana yang diperoleh dari berbagai macam sumber untuk membiayai pelaksanaan misinya. Lembaga pendidikan yang dapat mengumpulkan dana yang mampu menutupi pembiayaannya, maka akan berhasil. Sebaliknya organisasi yang devisit akan gagal menjalankan misinya.
Konvensi Nasional Pendidikan Indonesia (KONASPI) VIII Tahun 2016
127 Perspektif proses internal pada Perguruan
Tinggi hampir sama dengan usaha bisnis, berupa satu pola umum suatu proses. Proses tersebut terdiri dari tiga tahap, berupa tahap proses inovasi, tahap proses operasi dan tahap proses pemberian layanan purna jual. Proses inovasi pada perguruan tinggi dalam proses internal adalah proses yang secara terus menerus dilakukan untuk menangapi kebutuhan pelanggan dan menciptakan ide baru berupa konsep satu produk atau jasa baru secara tepat waktu, efisien, dan efektif.
Perspektif pertumbuhan dan pembelajaran pada perguruan tinggi terutama ditujukan pada peningkatan kapasitas SDM. Ada tiga kategori prinsip yang penting dalam perspektif pertumbuhan dan pembelajaran yaitu kapabilitas karyawan, kapabilitas sistem informasi, serta kapabilitas motivasi, pemberdayaan, dan penyelarasan [15].
2.3 Key Performance Indikator pada
Pendidikan Tinggi Jarak Jauh
Pendidikan jarak jauh dewasa ini masih memiliki beberapa keterbatasan terkait dengan perumusan tujuan, perencanaan jangka panjang
dan feedback systems. Balance Scorecard
diharapkan mampu mengatasi keterbatasan ini. Santovec dan Lou menyatakan Balanced Scorecard tool is “a catalyst for linking today’s distributed learning actions with tomorrow’s
goals.” Balanced Scorecard dapat
menghubungkan antara program dan tujuan operasional dengan misi perguruan tinggi dan visi Departemen. Scorecard secara efektif dapat mengidentifikasi pertanyaan strategis dan tindakan yang dilakukan untuk menambah nilai pendidikan serta membantu institusi memperjelas visi dan strategi dan menerjemahkannya ke dalam tindakan.
Balanced scorecard memberikan gambaran
yang jelas bagaimana lembaga harus mengukur dengan perspektif yang seimbang [18].
Menurut Parmenter, David ukuran kinerja mengacu pada indikator yang digunakan oleh manajemen untuk mengukur, melaporkan, dan memperbaiki kinerja [19]. Ukuran kinerja dikelompokkan dalam 1) Key Result Indicator
(KRI), yang merupakan ukuran dari banyak
tindakan yang dilakukan oleh manajemen. KRI mencakup: kepuasan pelanggan, laba bersih sebelum pajak, profitabilitas atas pelanggan, kepuasan pelanggan dan tingkat pengembalian atas modal yang digunakan; 2) Result Indicator
(RI), yang lebih banyak merupakan pengukuran
secara financial; 3) Performance Indicator atau
Key Performance Indicators (KPI) yang
merupakan seperangkat ukuran yang fokus terhadap aspek kinerja organisasi yang paling
kritis bagi kesuksesan organisasi saat ini maupun di masa mendatang.
Secara umum Key Performance Indicators
(KPI) merupakan ukuran non financial dan
dilaksanakan sesering mungkin oleh CEO. KPI menunjukkan tindakan apa yang harus dilakukan. Sebelum menjadi KPI ukuran kinerja harus diuji terlebih dahulu untuk memastikan KPI tersebut dapat menghasilkan perilaku yang diinginkan [20]
.
Penggunaan indikator kinerja dalam pendidikan tinggi telah dipublikasi dalam Jarratt Report pada tahun 1985 di Inggris. Mereka telah mengidentifikasi sejumlah besar indikator dan sebanyak 264 telah terdaftar oleh Bottrill dan Borden (1994). Namun, validitas, keandalan dan utilitasnya masih banyak dipertanyakan Karena indikator kinerja tidak bersifat universal dalam penerapannya dan harus melihat tujuan dan sasaran lembaga dan institusi. Sistem pendidikan merupakan bagian dan data-base yang available.
The UGC/CVCP Working Group (1988)
mengidentifikasi tiga jenis indikator kinerja di Perguruan Tinggi :
a. Indikator input yang berhubungan dengan sumber daya dan faktor-faktor yang digunakan untuk menghasilkan output suatu lembaga (sumber daya keuangan, fasilitas fisik, mahasiswa dan profil staf).
b. Indikator proses yang berhubungan dengan bagaimana sumber daya dan faktor digabungkan dan digunakan untuk menghasilkan output suatu lembaga (pengelolaan pengajaran, penelitian dan jasa), dan
c. Indikator output yang menggambarkan output yang dihasilkan oleh lembaga (produk dari pengajaran, penelitian dan jasa). Sebagian besar indikator digunakan berhubungan dengan input dan proses [21].
Penilaian kinerja Perguruan Tinggi menurut Indrajit dan Djokopranoto dengan menggunakan
Balanced Scorecard diaplikasikan pada empat
perspektif, yaitu perspektif pelanggan, perspektif keuangan, perspektif proses bisnis internal, dan perspektif pembelajaran dan pertumbuhan [22].
Indikator kinerja pada pendidikan jarak jauh belum begitu banyak mendapat perhatian sejak dipublikasikannya Jarrat Report, 1985. Akan tetapi Chandrashekhara Rao telah mengidentifikasi indikator kinerja untuk sistem Pendidikan Jarak Jauh. Indikator Kinerja tersebut terdiri dari tiga jenis, yaitu mikro indicators, makro indicators dan mega indicators. Mikro indicators terkait dengan operasi tertentu dalam sub-sistem yang memiliki pengaruh pada keseluruhan kinerja. Makro indicators meliputi bidang-bidang kinerja yang mendasar, seperti entry-exit performance mahasiswa. Mega indicators berkaitan dengan kinerja yang ada pada sub system, interaksi antar
Konvensi Nasional Pendidikan Indonesia (KONASPI) VIII Tahun 2016
128 subsistem sebagai satukesatuan. Misalnya rasio
antara program pendidikan formal dan non formal dan ekesitensi serta interaksi lembaga dengan dunia industry [23].
Tujuan utama indikator kinerja seyogyanya adalah untuk mengevaluasi kinerja sistem, institusi atau struktur organisasi dan institusi. Sedangkan pada institusi akademik, secar internal adalah untuk meningkatkan kualitas pembelajaran, penelitian atau layanan sosial yang diberikan oleh institusi. Pada layanan pendidikan jarak jauh ada enam indikator dan sub indikator yang diukur:[24]
a.Administrasi dan Managemen - Manajemen registrasi mahasiswa
- Manajemen pengembangan materi pembelajaran dan distribusinya
- Manajemen Student Support Service - Manajemen Penilaian dan Evaluasi b.Pengembangan materi pembelajaran c.Produksi materi pembelajaran
- Produksi materi pembelajaran dalam bentuk bahan ajar cetak (modul)
- Produksi materi pembelajaran dalam bentuk bahan ajar non cetak (audio dan video)
- Penyimpanan, stock management dan inventory control
d. Mekanisme Delivery - Distribusi bahan ajar - Pemasaran bahan ajar e. Student Support System
- Support System di Regional Centre
(UPBJJ) Student Support System di kantor pusat
- Student
- Student Support System di Pusat Belajar Mahasiswa
f.Registrasi Mahasiswa dan Evaluasi - Publisitas sebelum registrasi - Evaluasi
- Tabulasi Nilai
Ukuran kinerja yang digunakan dalam penelitian ini menggunakan indikator kinerja
(Key Performance Indicators) yang
dikembangkan oleh R. Eko Indrajit dan R Djokopranoto [25], Powar, K.B., Panda, Santosh., Bhalla, Veena [20] dan Kaye Shelton [26] dan disesuaikan dengan Rencana Strategis Universitas Terbuka. No Perspektif BSC Sub Perspektif 1 Kinerja Universitas Terbuka dari perspektif pelanggan
1.1 Kegunaan Bagi Pelanggan 1.2 Pengembangan Mahasiswa
yang berkualitas 1.3 Evaluasi Hasil Belajar 1.4 Mutu jasa yang ditawarkan. 1.5 Harga jasa yang ditawarkan 1.6 Waktu Pemberian Jasa 2 Kinerja 2.1 Teaching Excellence
No Perspektif BSC Sub Perspektif 1 Kinerja Universitas Terbuka dari perspektif pelanggan
1.1 Kegunaan Bagi Pelanggan 1.2 Pengembangan Mahasiswa
yang berkualitas 1.3 Evaluasi Hasil Belajar 1.4 Mutu jasa yang ditawarkan. 1.5 Harga jasa yang ditawarkan 1.6 Waktu Pemberian Jasa Universitas Terbuka dilihat dari perspektif bisnis internal 2.2 Excellence dalam
pengembangan learning dan learning skills
2.3 Curriculum excellence dan innovasi 3 Kinerja Universitas Terbuka dari perspektif pertumbuhan dan pembelajaran 3.1 Pengembangan Fakultas 3.2 Penggunaan,
pengembangan dan aplikasi teknologi 3.3 Kualitas Fasilisitas Pendukung 3.4 Kualitas SDM 4 Kinerja Universitas Terbuka dari perspektif keuangan 4.1 Sumber Pendanaan 4.2 Pendapatan dari kegiatan
Akademik
4.3 Financial management
Empat perspektif, Komponen, Kriteria dan Key
Performance IndicatorBalanced Scorecard dapat
digunakan untuk penyusunan Strategy Map Layanan Akademik UT. Strategy Map merupakan visualisasi keterkaitan antara sejumlah sasaran srtategis dalam bentuk hubungan sebab akibat.
Strategy Map menjelaskan kriteria layanan akademik UT pada setiap perspektif Balanced
Scorecard secara detail serta hubungan antar
kriteria dan perspektif.
Financial Perspective Internal BusinessProcess Perspective Learning and Growth Perspective Customer Perspective
Besaran biaya per unit
kegiatan Efektifitas Pelayanan terhadap mahasiswa % anggaran yang diberikan secara
langsung untuk kegiatan pembelajaran Peningkatan jumlah
pembiayaan yang berasal dari
mahasiswa Anggaran dapat membiayai keseluruhan kebutuhan pembiayaan
layanan pembelajaran
Dana yang diterima dari kegiatan lain sehubungan dengan layanan akademik dan non akademik
Jumlah dana yang diterima
dari dana penelitian Efisiensi Biaya pengajaran/ siswa
Selalu mendorong SDM UT agar selalu belajar melalui proses belajar secara mandiri
Pengembangan prinsip-prinsip budaya organisasi yang inovatif Pengembangan sistem penjaminan mutu terintegrasi yang memenuhi standar Kecukupan fasilitas Sistem Penjaminan Mutu melalui audit SDM Pengembangan budaya
organisasi yang berorientasi pada kinerja berkualitas
Peningkatan citra institusi Peningkatan dan pemantapan jaringan kemitraan dengan pihak ketiga Rasio komputer/ Karyawan/ Dosen Peningkatan kualitas penelitian Kualitas pelaksanaan registrasi akademik online Rasio publikasi ilmiah Peningkatan kualitas Abdimas Kepuasan mahasiswa Standar grade point
Akses terhadap layanan tutorial online
Kualitas layanan tutorial
Kepuasan pemberi kerja Jumlah program studi baru
yang dikembangkan Aplikasi teknologi dalam pembelajaran Akreditasi tutor Kurikulum yang up to date Tingkat inovasi Model pengembangan materi pembelajaran jarak
jauh
Jumlah Program internasional Adanya penelaahan program secara berkala Peningkatan
kualitas lulusan Ketepatan model pengembangan materi pembelajaran Jumlah mahasiswa Ketepatan desain Pembelajaran Kualitas pengembangan dan Distribusi Learning Material
Keberimbangan
daerah geografis Akreditasi program studi Peringkat Universitas IPK mahasiswa Rata-rata Waktu penyelesaian studi di masing-masing fakultas Sertifikasi ISO 9000 Sistem penyelenggaraan ujian
Gambar 3. Strategy Map Universitas Terbuka dalam Perspektif Balanced Scorecard
Hasil Evaluasi terhadap kinerja layanan akademik Universitas Terbuka dengan mengunakan Key Performance Indicators (KPI) yang dikembangkan menunjukkan bahwa KPI tersebut telah dapat mengukur kinerja layanan akademik dengan tepat. Hal ini menujukkan bahwa penggunaan KPI dalam konteks BSC dapat diaplikasikan oleh Perguruan Tinggi untuk mengevaluasi kinerja.
Konvensi Nasional Pendidikan Indonesia (KONASPI) VIII Tahun 2016
129
3. SIMPULAN
Key Performance Indicators (KPI) yang
digunakan sebagai salah satu indikator kinerja pada Balanced Scorecard secara teoritis dan aplikatif dapat diterapkan di Perguruan Tinggi. KPI yang disusun disesuaikan dengan Visi, Misi, dan Tujuan yang terdapat pada Renstra Perguruan Tinggi. Identifikasi dan model pengukuran yang tepat akan dapat menggambarkan kinerja yang dicapai oleh Perguruan Tinggi pada keempat perspektif Balanced Scorecard.
REFERENSI
[1]. Vetthzal Rivai, Performance Appraisal, (Jakarta: PT Raja Grafindo, 2005), h. 456- [2] Armstrong, Michael. Performance
Management : Key Strategies and Practical
Guidelines. London: Kogan Page Ltd, 2006. h.
7
[3] Kaye Shelton , “A Quality Scorecard for the Administration of Online Education Programs: A Delphi Study” Dissertation Available from ProQuest,UMI Dissertations Publishing, 2006, 3423965.
[4] David Parmenter, Key Performance Indicators, (New Jersey: Jhon Wiley & Sons, 2010), h.24
[5] K.B. Powar, Santosh Panda and Veena Bhalla, Performance Indicators in Distance Higher Education (New Delhi: Aravali Books International (P) Ltd., 2000, h 46-53
[6] Laporan Akuntabilitas Kinerja Universitas Terbuka, (Jakarta: Universitas Terbuka, 2012) [7] Renstra Universitas Terbuka 20110 – 2013, (Jakarta: Universitas Terbuka)
[8] Helfert, 1996 dalam Veithzal Rivai,
Performance Appraisal (Jakarta: PT Raja
Grafindo, 2005), h. 456.
[9] Rohm (2003) dalam Imelda, “Implementasi
Balanced Scorecard pada Organisasi Publik,”
Jurnal Akuntansi dan Keuangan Vol. 6 No.2, (Surabaya: November 2004), hh. 106-122
[10] Mahmudi, Manajemen Kinerja Sektor Publik, (Yogyakarta: UPP STIM YKPN, 2010) h.19 [11] Paul R Niven, Balanced Scorecard Step-By-
Step for Government and Nonprofit Agencies, (New
Jersey: Wiley, 2008), hh. 31-33.
[12] Imelda, “Implementasi Balanced Scorecard pada Organisasi Publik,” Jurnal Akuntansi & Keuangan Vol. 6, No. 2, Nopember 2004, hh. 106- 122.
[13] R. Eko Indrajit dan R Djokopranoto, Manajemen Perguruan Tinggi Modern (Yogyakarta: Andi, 2006), h. 135
[14] H.A.R Tilaar, Perubahan Sosial dan Pendidikan Pengantar Pedagogik Transformatif untuk Indonesia (Jakarta: Rineka Cipta, 2012), hh. 470-474
[15] R. Eko Indrajit dan R Djokopranoto, Manajemen Perguruan Tinggi Modern (Yogyakarta: Andi, 2006), hh.137-139.
[16] Niven, h. 227
[17] Indrajit dan Djokopranoto, hh.137-221. [18] Santovec, Mary Lou, “Assessing Online Programs with the Balanced Scorecard,” Distance Education Report, June 1, 2004
[19] David Parmenter, Key Performance Indicators, (New Jersey: Jhon Wiley & Sons, 2010), h.24. [20] h. 2-11
[20] K.B. Powar, Santosh Panda and Veena Bhalla, hh. 46-52
[21] R. Eko Indrajit dan R Djokopranoto, Manajemen Perguruan Tinggi Modern (Yogyakarta: Andi, 2006), hh 143
[22] hh. 143-201.
[23] Powar, K.B., Panda, Santosh., Bhalla, Veena., hh. 54-97.
[24]Kaye Shelton “A Quality Scorecard for the Administration of Online Education Programs: A
Delphi Study”, Dissertation Available from
ProQuest, UMI Dissertations Publishing, 2006. 3423965.
[25] K.B. Powar, Santosh Panda and Veena Bhalla, op. cit., h. 50
Konvensi Nasional Pendidikan Indonesia (KONASPI) VIII Tahun 2016
130