Pertemuan Pertama
Penelitan dan Pengembangan dalam Pendidikan
(Educational Research and Development)
Selamat Datang
dalam
Program Penyegaran Wawasan Dosen UT Menuju PTNBH-UT:
Berbagi Konsep Teoritik dan Pengalaman
Tentang Penelitian dan Pengembangan dalam Pendidikan
(R & D in Education)
Tujuan Pembelajaran Umum
Setelah mengikuti Program Penyegaran ini Anda diharapkan dapat mengidentifikasi penerapan konsep, prinsip, dan prosedur penelitian dan pengembangan untuk peningkatan kualitas
akademik sistem pembelajaran UT yang meliputi:
1. Analisis masalah pembelajaran dalam mata kuliah ampuan Anda
2. Model-model R & D in Education
3. Perbedaan proses R & D dengan pelaksanaan pengembangan bahan belajar (modul) UT
selama ini
4. Menampilkan gagasan penerapan R & D in Education dalam mengembangkan modul UT pada masa yad
5. Menampilkan garis besar gagasan proposal R
& D in Education tentang pengembangan
bahan pembelajaran generasi baru UT sesuai dengan konsep, prinsip, dan prosedur R & D in Education
Lanjutan
Tujuan Pembelajaran Khusus
Setelah mengikuti Program Penyegaran ini Anda diharapkan akan dapat mendeskripsikan:
1. Definisi dan maksud Penelitian dan Pengembangan untuk pendidikan.
2. Prosedur yang sistematik dalam R & D untuk pendidikan
3. Konsep-konsep dan prosedur research and information collecting sebagai Langkah awal dalam R & D in Education
4. Konsep dan prosedur penentuan tujuan
pembelajaran umum untuk mata kuliah yang Anda ampu
5. Konsep dan prosedur analisis pembelajaran (analisis tujuan pembelajaran umum) untuk MK yang Anda ampu
6. Konsep dan prosedur analisis peserta didik (mahasiswa UT) dan konteks pembelajaran mahasiswa UT
Lanjutan
7. Teknik penulisan tujuan kinerja (tujuan pembelajaran khusus) dengan format ABCD dan format AB
8. Konsep dan prosedur pengembangan instrumen asesmen untuk hasil belajar peserta didik dan proses pembelajaran
Lanjutan
9. Konsep dan prosedur pengembangan strategi pembelajaran untuk satu atau beberapa tujuan kinerja
10. Konsep dan prosedur pengembangan dan pemilihan bahan pembelajaran berdasarkan strategi pembelajaran yang telah disusun sebelumnya.
Lanjutan
11. Konsep dan prosedur desain dan
pelaksanaan evaluasi formatif terhadap
pembelajaran (terhadap bahan dan proses pembelajaran)
12. Konsep dan prosedur revisi bahan
pembelajaran dan proses pembelajaran 13. Konsep dan prosedur desain dan
pelaksanaan evaluasi sumatif
Lanjutan
14. Menampilkan gagasan penerapan R & D in Education dalam mengembangkan modul UT pada masa yad
15. Penampilan garis besar gagasan tentang penulisan proposal R & D untuk
menghasilkan modul generasi baru UT yang sesuai dengan kebutuhan dan
lingkungan pembelajaran terkini dari mahasiswa UT (Tugas Individual)
Lanjutan
Materi, Sumber, dan Media
A. Bahan presentasi yang dikembangkan Tim Narasumber B. Buku teks yang digunakan sebagai referensi:
1. Borg, Walter R., and Gall, Meredith Darmein (1983).
Educational Research : An Introduction. 4th ed. New York:
Longman Inc
2. Gall, Meredith Darmein, Gall, Joyce P., Borg, Walter R.
(2007). Educational Research: An Introduction. 8th ed.
New York: Longman Inc
3. Dick W., Carey Lou, and Carey James O. (2015). The Systematic Design of Instruction. New York: Pearson.
4. Gay, L.R., Mills, Geofttrey E. and Airasian, Peter (2009).
Educational Research: Competencies for analysis and Applications. 9th ed.. New Jersey : Pearson Education, Inc.
Kegiatan Peserta
1. Aktif menghadiri proses pembelajaran 2. Mendiskusikan dalam kelompok dan
mempresentasikan hasil diskusi kelompok tentang penelitian dan pengumpulan data informasi yang berkaitan dengan
pengembangan dan penggunaan modul UT bagi mahasiswa UT (tugas kelompok)
3. Mendiskusikan dalam kelompok dan
mempresentasikan hasil diskusi tentang akurasi dan relevansi tujuan pembelajaran umum MK UT yang Anda ampu bagi tingkat Pendidikan tinggi S1, S2, dan S3 (tugas kelompok)
Lanjutan
4. Mendiskusikan dalam kelompok dan
mempresentasikan hasil diskusi tentang akurasi
kesesuaian, dan variasi strategi pembelajaran yang digunakan dalam modul MK ampuan Anda untuk tujuan pembelajaran MK tsb (tugas kelompok)
5. Mendiskusikan dalam kelompok dan
mempresentasikan hasil diskusi tentang kualitas, akurasi, dan relevansi proses dan isi pembelajaran dalam modul UT dilihat dari kesesuaiannya dengan tujuan pembelajaran modul tsb (tugas kelompok)
Lanjutan
6. Menuliskan dan menyerahkan garis besar gagasan (ide) tentang proposal R & D untuk menghasilkan bahan pembelajaran UT yang sesuai dengan kebutuhan dan kondisi
pembelajaran terkini mahasiswa UT dalam ± 2 halaman (tugas individual)
7. Kegiatan butir 6 tsb di atas menjadi salah satu syarat untuk mendapatkan sertifikat pencapaian (certificate of achievement), disamping hadir
minimal 4 kali pertemuan
Lanjutan
8. Sedangkan peserta yang hadir minimal 4 kali pertemuan tanpa membuat gagasan proposal akan mendapat sertifikat
partisipasi (sertificate of Participation)
9. Kedua jenis sertifikasi tsb di atas di tanda tangani oleh Rektor UT.
Lanjutan
Pada akhir pertemuan pertama Anda diharapkan dapat:
1. Mendeskripsikan klasifikasi penelitian menurut metodenya dan menurut maksudnya
2. Mendeskripsikan peran dan fungsi dosen UT dalam melaksanakan dharma penelitian
Perguruan Tinggi
3. Mendeskripsikan konsep dan prosedur R & D dalam Pendidikan baik skala makro maupun mikro
4. Mendeskripsikan manfaat R & D dalam
pendidikan skala mikro bagi pengembangan karir dosen UT dan bagi pengembangan
lembaga UT
Pertemuan Pertama (Sesi
1)
Klasifikasi Penelitian Menurut Metodenya
1. Penelitian Kuantitatif
Digunakan untuk menjelaskan kondisi saat ini, investigasi hubungan, dan studi fenomena sebab akibat. Studi eksperimental dan korelasional,
penelitian survey termasuk dalam golongan ini
Gay, L.R., Mills, Geofttrey E. and Airasian, Peter (2009). Educational
Research: Competencies for analysis and Applications. 9th ed.. New Jersey : Pearson Education, Inc. (pp.6-28)
2. Penelitian Kualitatif
Digunakan untuk menguji secara mendalam
pemahaman tentang keberadaan suatu fenomena, mengapa keberadaan seperti itu, dan bagaimana pihak yang terlibat memandang fenomena
tersebut. Termasuk dalam penelitian ini studi kasus, etnografi, grounded theory (induktif), fenomenologi, dan penelitian sejarah
Gay, L.R., Mills, Geofttrey E. and Airasian, Peter (2009). Educational
Research: Competencies for analysis and Applications. 9th ed.. New Jersey : Pearson Education, Inc. (pp.6-28)
Lanjutan
Klasifikasi Penelitian Menurut Maksudnya
2. Evaluation Research (Penelitian Evaluasi) Adalah proses yang sistematik dalam
mengumpulkan dan menganalisa data tentang kualitas, efektivitas, manfaat atau nilai dari
suatu program, produk, atau praktek
Gay, L.R., Mills, Geofttrey E. and Airasian, Peter (2009). Educational
Research: Competencies for analysis and Applications. 9th ed.. New Jersey : Pearson Education, Inc. (pp.6-28)
3. Research and Development (R & D)
Adalah proses meneliti kebutuhan konsumen dan kemudian mengembangkan produk untuk
memenuhi kebutuhan tersebut
4. Action Research (Penelitian Tindakan)
untuk mengumpulkan informasi tentang cara-cara pelaksanaan kegiatan dalam rangka memecahkan masalah
Gay, L.R., Mills, Geofttrey E. and Airasian, Peter (2009). Educational
Research: Competencies for analysis and Applications. 9th ed.. New Jersey : Pearson Education, Inc. (pp.6-28)
Lanjutan
1. Salah satu tugas pokok & fungsi dosen
pada umumnya, termasuk dosen UT adalah PENELITI (bagian dari Tri Dharma Perguruan Tinggi). Sebagai peneliti ia dapat
melibatkan banyak nara sumber, termasuk para pakar materi, pakar desain
pembelajaran, pakar desain visual, pakar desain web, pakar bahasa, dan para teknisi administrasi. Semua nara sumber dan
teknisi itu dibawah koordinasinya; mereka bukan peneliti
Peran Dosen Dalam Research &
Development Bahan Pembelajaran UT
Prof. Dr. M.Atwi Suparman, M.Sc
2. Peneliti berfungsi sebagai:
a. penyusun proposal penelitian,
b. mencari dan melibatkan nara sumber yang dibutuhkan dalam melaksanakan penelitian c. membuat instrumen penelitian,
d. merekrut dan menugaskan petugas lapangan untuk mengumpulkan data,
Prof. Dr. M.Atwi Suparman, M.Sc
Lanjutan
e. mengolah data,
f. menyusun laporan penelitian,
g. mendesiminasikan hasil penelitian, dan
h. mempertanggungjawabkan hasil penelitian
kepada semua pihak terkait, termasuk kepada publik dan penyedia dana.
Lanjutan
Ke delapan tugas peneliti tersebut di atas tidak boleh diwakilkan kepada pihak lain
Prof. Dr. M.Atwi Suparman, M.Sc
3. Para pakar berfungsi sebagai nara sumber (bukan peneliti) dalam beberapa keahlian seperti:
a. ahli materi (beberapa orang)
b. ahli desain pembelajaran (dapat dirangkap peneliti)
c. ahli desain media audio visual/ahli desain grafis
d. ahli desain web,
e. ahli bahasa komunikatif,
f. dan ahli lain yg diperlukan peneliti.
Lanjutan
Mereka itu nara sumber yang berfungsi sebagai
“pembantu” bagi peneliti dalam proses penelitian
4. Responden penelitian (bukan peneliti) berasal dari dari:
a.Tutor
b.Mahasiswa dan lulusan
c.Pengguna lulusan (masyarakat/perusahaan
pemakai, atasan lulusan, Ketua Prodi, Pengampu matakuliah terkait pada tingkat diatasnya dan atau dibawahnya)
d.Pengelola UPBJJ dan UT
e.Teknisi IT dan teknisi administrasi, dll
Lanjutan
Mereka menjadi nara sumber dalam pengumpulan data dan informasi yang
dibutuhkan peneliti
1. Hasil akhir penelitian dan pengembangan (R&D) ini adalah bahan pembelajaran generasi baru (BP GERU) UT atau dapat kita sebut sebagai modul UT versi masa kini, yang sesuai dengan kondisi terkini mahasiswa UT.
Pengembangannya melibatkan langkah- langkah desain sistem pembelajaran yang sudah Anda pelajari
(Atwi Suparman, 2013)
Hasil R & D in Education
2. Bahan pembelajaran yang dihasilkan
melalui proses R & D adalah produk ilmiah (scientific products) sehingga dapat
dipertanggungjawabkan penggunaannya kepada pemangku kepentingan dan publik (memenuhi public accountability) .
Jenis penelitian R & D dimaksudkan
menghasilkan produk baru yang mampu memenuhi harapan consumers.
(Atwi Suparman, 2013)
Lanjutan
3. Melalui proses R & D itu Anda dapat membuat banyak sekali karya tulis ilmiah (artikel) yang diterbitkan oleh jurnal ilmiah berkualitas tinggi (antara lain memenuhi persyaratan untuk diterima oleh jurnla terkareditasi scopus)
(Atwi Suparman, 2013)
Lanjutan
1. Apa, Mengapa, dan
Bagaimana Educational R&D?
Prof. Dr. M.Atwi Suparman, M.Sc
a. R&D is a process used to develop and validate educational
products.
Borg, Walter R., and Gall, Meredith Darmein (1983).
Educational Research : An Introduction. 4th ed.
New York: Longman Inc. (pp. 772-798)
Prof. Dr. M.Atwi Suparman, M.Sc
Apa Educational Research and Development (R&D) or Research-Based Development
Apa Educational Research and Development
(R&D) or Research-Based Development
b. Research and development is an industry – based development model in which the finding of research are used to design new products and procedures, which then are systematically, evaluated and refined field–tested until they meet specified criteria of effectiveness, quality, or similar standars.
Educational R & D holds great promise for improving education because it involves a close connection between systematic program evaluation and program development.
Gall, Meredith Darmein, Gall, Joyce P., Borg, Walter R. (2007).
Educational Research : An Introduction. 8th ed. New York: Longman Inc.
(pp. 589-596)
Prof. Dr. M.Atwi Suparman, M.Sc
Lanjutan
Lanjutan
c. R&D is the process of researching consumer needs and then developing products to fulfill those needs.
Although the R & D cycle is expensive it result in quality products designed to meet specific educational needs.
Gay, L.R., Mills, Geofttrey E. and Airasian, Peter (2009). Educational
Research: Competencies for analysis and Applications. 9th ed.. New Jersey : Pearson Education, Inc. (pp.17-19)
Prof. Dr. M.Atwi Suparman, M.Sc
Lanjutan Lanjutan
The educational products : Training materials, learning materials, media materials, or management systems.
Consumers: Mahasiswa sebagai pengguna utama, tutor, institusi UT, Pemerintah, perusahaan dan organisasi pengguna lulusan.
d) Bila dilihat dari jenis media yang digunakan terdiri
dari salah satu atau kombinasi dari beberapa media sebagai berikut.
• media cetak (text and still picture)
• realia (benda sesungguhnya)
• audio-video
• video conference
• multimedia (berbasis standalone computer)
• online (berbasis internet www atau intranet)
Lanjutan Lanjutan
Prof. Dr. M.Atwi Suparman, M.Sc
Lanjutan Lanjutan
Catatan:
Pembelajaran online banyak digunakan untuk simulasi pada perangkat simulator (untuk pilot, pengemudi kapal, pengemudi mobil, operator mesin industri, sistem
manajemen, studi kasus) yang kemudian ditindaklanjuti dengan praktikum lapangan (latihan kerja nyata) dengan praktek
menggunakan perangkat kerja sebenarnya (real equipment, infrastructure, and
environment).
Prof. Dr. M.Atwi Suparman, M.Sc
Jadi : Jadi :
1. R & D UT adalah suatu proses ilmiah yang:
a. dimulai dari mengidentifikasi kebutuhan atau masalah pembelajaran UT selama ini, dilanjutkan dengan kegiatan:
b. Mendesain sistem pembelajaran untuk
menghasilkan draft awal atau format awal bahan pembelajaran jarak jauh secara
sistematik
• Selanjutnya dilakukan dengan validasi, ujicoba, dan merevisi bahan tersebut sehingga menjadi produk yang terbukti mampu memecahkan masalah
pembelajaran yang telah diidentifikasi pada awal penelitian ini (hasil research and information collecting)
• Bahan pembelajaran yang dihasilkan sesuai dengan karakteristik mahasiswa UT terkini.
• terbukti menjadi pembelajaran yang engaging, efektif, dan efisien.
• dapat dipertanggungjawabkan kualitas proses dan hasilnya kepada stakeholders dan public.
Lanjutan
Lanjutan
2. Produk baru itu berupa Bahan Pembelajaran Generasi Baru UT yang memenuhi kriteria kualitas standar efektivitas, efisiensi, dan menimbulkan engaging
learning bagi berbagai kategori mahasiswa UT terkini menurut akses terhadap internet dan
kemampuannya belajar dengan online.
Lanjutan
Lanjutan
3. Proses R & D untuk BP Generasi Baru UT merupakan kombinasi dari
penelitian dasar dan terapan untuk menciptakan (creating) bahan
pembelajaran baru yang:
a. sesuai dengan standar produk, proses/layanan pembelajaran jarak jauh terbaik,
b. memungkinkan proses dan hasil belajar yang maksimal bagi
mahasiswa UT masa kini bila usaha belajarnya sesuai alokasi waktu yang ideal.
Lanjutan
Lanjutan
4. Yang akan Anda kembangkan adalah BP Generasi Baru UT untuk menggantikan modul matakuliah ampuan Anda yang telah digunakan UT selama ini (38 tahun terakhir sampai 2022) atau menciptakan bahan pembelajaran yang sama sekali baru karena masih belum pernah dibuat.
5. Melihat produk R&D seperti itu maka semua dosen UT yang bertugas
mengampu matakuliah UT
membutuhkan kompetensi dalam mengembangkan bahan pembelajaran UT yang sesuai dengan kebutuhan terkini mahasiswa UT.(Atwi Suparman,
2022)
Lanjutan
Lanjutan
Ada dua model R & D yang paling dikenal dalam pendidikan yaitu
1. Major Steps in the R & D Cycle
2. Steps of Systems Approach Model of Educational R & D
Lanjutan
Lanjutan
1. MAJOR STEPS IN THE R & D CYCLE
Borg, Walter R. and Gall, Meredith D. (1983) 4 ed. ( p.775)
1. Research and Information
Collecting
2. Planning
3. Develop Preliminary
Form of Product
4.
Preliminary Field testing (1-3 schools)
5. Main Product Revision
10.
Dissemination and
Implementati on
9. Final Product Revision
8.
Operational Field Testing (10-
30 schools)
7.
Operational Product Revision
6. Main Field Testing
(5-15 schools)
Cirinya :
1. Penggunaan hasilnya untuk skala makro. Biayanya bisa jutaan dolar
2. Step 2 sangat general, kurang detail, tahapannya kurang sistematik
3. Step 4 sampai 8 diujicobakan di wilayah luas sehingga sesuai untuk UT
1. R, D, & D sesuai untuk penelitian skala besar misalnya untuk menghasilkan
model/ bahan pembelajaran atau model pendidikan yang akan diterapkan pada tingkat nasional, provinsi, atau minimal kabupaten
2. Sesuai untuk penelitian multi-years
Catatan
3. Membutuhkan sumber daya tenaga, waktu, dan dana yang sangat besar (sampai
puluhan milyar rupiah).
4. Model yang dihasilkan dengan siklus lengkap R, D, & D itu misalnya berupa model
pembelajaran mata kuliah tertentu yang akan digunakan untuk skala nasional.
Lanjutan
Lanjutan
Educational R & D project require substansial resources. It is highly unlikely that a graduate student will be able to find the financial and personnel support to complete a major R & D project.
If you plan to do an R & D project or a thesis or dissertation, you should keep these cautions in mind.
Gall, Meredith, D., Gall, Joyce, P. and Borg, Walter R. (2007).
Educational Research: An Introduction 8th ed. Boston, MA: Pearson Education. (p. 592)
Perlu Diperhatikan
!!!
Jadi, kesepuluh langkah R, D, & D tersebut di atas dianggap oleh pengarangnya (Gall, Meredith Darmein, Gall, Joyce P., Borg, Walter R., 2007, pp.589-596) tepat bila digunakan untuk skala luas, namun terlalu sulit dilaksanakan oleh mahasiswa yang akan menyusun tesis atau disertasi (karena perlu biaya dan tenaga sangat besar serta waktu yang lama). Pandangan pendapat tersebut berlaku pula bagi pengembangan dan penelitian modul UT.
Lanjutan
Lanjutan
Sebagai alternatif mereka mengadaptasi model The Systematic Design of Instruction (Dick, W., Carey, L.,
& Carey, J. O., 2005) sebagai R & D yang dipandang lebih mungkin diterapkan untuk penulisan tesis dan disertasi bagi mahasiswa S2 dan S3. Model The Systematic Design of Instruction ini paling popular di dunia bila dibandingkan dengan model-model desain sistem pembelajaran yang lain (jumlahnya lebih dari 100 model)
Lanjutan
Lanjutan
Borg dan Gall menyebut model Dick and Carey itu sebagai Steps of Systems Aproach Model of Educational Research and Development karena sangat sistematik Langkah-langkahnya dan sistemik yang berarti memerpahtikan seluruh sub sistem pembelajaran. Prosedur dari model tersebut sebagai berikut.
Lanjutan
Lanjutan
Prosedur R & D untuk Skala
Mikro
2. STEPS of SYSTEMS APPROACH MODEL of EDUCATIONAL RESEARCH and DEVELOPMENT
(Gall, Joyce & Borg, 2007, ed 8 )
Identify Instructional
Goal (s)
Conduct Instructio nal
Analysis
Analyze Learners and
Contexts
Write Performanc
e Objectives
Revise Instruction
Develop Assess-
ment Instrumen
t
Develop Instructi-
onal Strategy
Develop and Select Instruction
al Materials
Design and Conduct Formative Evaluation
of Instruction
Design and Conduct Summativ e
Evaluation
Step 1
Step 2
Step 3
Step
4 Step
5
Step 9
Step 6
Step 8
Step 7
Step 10
Source: Adapted from Figur 6 on pp. xxii-1 in: Dick, W., Carey, L., &
Carey, J. O (2005). The systematic design of instruction (6th ed.).
New York: Allyn & Bacon, Published by Allyn and Bacon, Boston, MA.
Copyright 2005 by Pearson Education. Adapted with permission from the publisher.
Penggunaan Model Desain Sistem Pembelajaran ini mencengangkan dunia Pendidikan, karena
dua hal sbb:
1. Seluruh proses desain pembelajaran Dick,
Carey, and Carey secara utuh diadaptasi oleh Gall, Gall, and Borg (2007) sebagai
educational research and development.
(p.590).Mereka merekomendasikan penggunaan model ini untuk mahasiswa yang menyusun tesis dan disertasi.
Gall, Meredith, D., Gall, Joyce, P. and Borg, Walter R. (2007).
Educational Research: An Introduction 8th ed. Boston, MA: Pearson Education. (pp. 590-594)
Lanjutan
Lanjutan
2. Model the systematic design of instruction ciptaan Dick, Carey, and Carey diadopsi pula oleh pakar PJJ dan diberi judul
Instructional Design for Distance
Education. Mereka merekomendasikan agar model ini digunakan dalam
mengembangkan bahan pembelajaran jarak jauh
Lanjutan Lanjutan
Simonson, Michael., Smaldino, Sharon., Albright, Michael., and Zvacek, Susan. Teaching and Learning at a Distance:
Fundations of Distance Education. (2015) pp. 126-162
Asses Needs to
Identify Goal(s)
Conduct Instructi onal Analysis
Analyze Learners and
Contexts
Write Performa
nce Objective
s
Revise Instruction
Develop Assessmen
t Instrument
s
Develop Instruction al Strategy
Develop and Select Instruction al Materials
Design and Conduct Formative Evaluation
of Instruction
Design and Conduct summati
ve Evaluatio Source: Dick et.al (2001). Published by Allyn and Bacon, Boston, MA. n
In Simonson, Michael., Smaldino, Sharon., Albright, Michael., and Zvacek, Susan. Teaching and Learning at a Distance: Fundations of Distance Education. (2015) pp. 126-162
3. Instructional Design for Distance
Education
Model R & D yang Akan Digunakan UT dalam Penelitian Ini
Adalah Kombinasi dari
1. Major Steps in The R & D Cycle (Borg & Gall, 1983) sesuai untuk sebaran mahasiswa UT yang berskala nasional (diambil step 1 dan 6-10)
2. Steps of Systems Aproach Model of Educational
Research and Development (Gall, Joyce & Borg, 2007) yang adaptasi Instructional Design (Dick & Carey, 2005) (diambil seluruhnya dan dikombinasikan dengan R & D cycle 6-10)
Kombinasi kedua model itu disebut MODEL R & D untuk Pengembangan BP GERU UT
Preliminary Field Testing (cukup di Satu lokasi
UT Pusat) Preliminary
Product Revision Operational
Field Testing
(6-12 UPBJJ)
Operational Product Revision
Main Field Testing (3-6 UPBJJ) Identify
Instructional Goal (s)
Conduct Instruction al Analysis
Analyze Learners and
Contexts
Write Performanc
e Objectives
Develop Assessmen
t Instrument
Develop Instruction al Strategy
Develop and Select Instruction al Materials
Model R & D untuk Pengembangan BP GERU UT
(Kombinasi dari Model R & D Skala Makro dan Skala Mikro)
Step 2 Step 1
Step 3
Step 4
Step 5
Step 6
Step 7
Step 8
Step 9 Step 10
Step 11 Step 12
Step 13
Research and Information
Collecting
Dissemina- tion and Implement
a-tion
Final Product Revision
Step 14 Step 15
Para pakar 3 mahasiswa 20 Mhs
per UPBJJ 20 Mhs
Per UPBJJ
Revise Instruction
Formative Evaluation