See discussions, stats, and author profiles for this publication at: https://www.researchgate.net/publication/328600462
Modul Uji Validitas dan Reliabilitas
Chapter · October 2018
CITATIONS
27
READS
444,000
1 author:
Dian Ayunita Nugraheni Nurmala Dewi Universitas Diponegoro
23PUBLICATIONS 52CITATIONS SEE PROFILE
All content following this page was uploaded by Dian Ayunita Nugraheni Nurmala Dewi on 30 October 2018.
The user has requested enhancement of the downloaded file.
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 1
MODUL III: UJI VALIDITAS DA N RELIA BILITASNama: ...
NIM: ... Ttd: ...
Pengantar Teori Praktikum
A. Uji Validitas
Validitas adalah ketepatan atau kecermatan suatu instrument dalam pengukuran. Dalam pengujian instrument pengumpulan data, validitas dibedakan menjadi validitas factor dan validitas item. Validitas faktor diukur bila item yang disusun menggunakan lebih dari satu faktor (antara faktor satu dengan yang lain ada kesamaan. Pengukuran validitas faktor ini dengan cara mengkorelasikan antara skor faktor (penjumlahan item dalam satu faktor) dengan skor total faktor (total keseluruhan faktor). Pengukuran validitas item dengan cara mengkorelasikan antara skor item dengan skor total item. Validitas item ditunjukkan dengan adanya korelasi atau dukungan terhadap item total (skor total). Bila kita menggunakan lebih dari satu faktor, berarti pengujian validitas item dengan cara mengkorelasikan antara skor item dengan skor faktor, kemudian dilanjutkan mengkorelasikan antara item dengan skor total faktor (penjumlahand ari beberapa faktor). Dari hasil perhitungan korelasi akan di dapat suatu koefisien korelasi yang digunakan untuk mengukur tingkat validitas suatu item dan menentukan apakah suatu item layak digunakan atau tidak. Dalam menentukan layak atau tidaknya suatu item yang digunakan, biasanya digunakan uji signifikansi valid jika berkorelasi signifikan terhadap skor total. Teknik pengujian SPSS sering digunakan untuk uji validitas adalah menggunakan korelasi Bivariate Pearson (Produk Momen Pearson) dan Corrected Item-Total Correlation.
Bivariate Pearson (Korelasi Produk Momen Pearson)
Analisis ini dilakukan dengan mengkorelasikan masing-masing skor item dengan skor total.
Skor total adalah penjumlahan dari keseluruhan item. Item-item pertanyaan yang berkorelasi signifikan dengan skor total menunjukkan item-item tersebut mampu memberikan dukungan dalam mengungkap apa yang ingin diungkap, rumus korelasi produk moment dari pearsons yang digunakan:
Keterangan :
rxy = koefisien korelasi antara variabel X dan Y N = jumlah responden
ΣX = jumlah skor butir soal ΣY = jumlah skor total soal
ΣX2 = jumlah skor kuadrat butir soal ΣY2 = jumlah skor total kuadrat butir soal
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 2
Nilai r hitung dicocokkan dengan rtabel product moment pada taraf signifikan 5%. Jika r hitung lebih besar dari rtabel 5%. Maka butir soal tersebut valid.B. UJI RELIABILITAS
Uji reliabilitas digunakan untuk mengetahui konsistensi alat ukur, apakah alat pengukur yang digunakan dapat diandalkan dan tetap konsisten jika pengukuran tersebut diulang. Ada beberapa metode pengujian reliabilitas di antaranya metode tes ulang, formula Flanagan, Cronbach’s Alpha, metode formula KR (Kuder-Richardson) – 20, KR – 21, dan metode Anova Hoyt. Metode yang sering digunakan dalam penelitian adalah metode Cronbach’s Alpha. Metode ini sangat cocok digunakan pada skor dikotomi (0 dan 1) dan akan menghasilkan perhitungan yang setara dengan menggunakan metode KR-20 dan Anova Hoyt. Reliabilitas berarti dapat dipercaya” Artinya, instrumen dapat memberikan hasil yang tepat. Alat ukur instrument dikategorikan reliabel jika menunjukkan konstanta hasil pengukuran dan mempunyai ketetapan hasil pengukuran sehingga terbukti bahwa alat ukur itu benar-benar dapat dipertanggung jawabkan kebenarannya.
a. Reliabilitas Skala.
Untuk mengukur reliabilitas skala atau kuosioner dapat digunakan rumus Cronbach’s Alpha sebagai berikut:
Formula
Keterangan :
rtt = koefisisien reliabilitas instrument (total tes) k = banyaknya butir pertanyaan yang sahih Σδ2b = jumlah varian butir
Σδ2t = varian skor total
Perhitungan uji reliabilitas skala diterima, jika hasil perhitungan rhitung > rtabel 5%.
b. Reliabilitas Tes
Untuk mengukur reliabilitas tes menggunakan rumus KR-20. Karena skor tes bersifat dikotomi yaitu untuk jawaban benar diberi skor 1 dan jawaban salah diberi skor 0. Adapun rumus KR-20 adalah sebagai berikut.
Formula:
Keterangan :
rtt = reliabilitas tes
k = banyaknya butir soal yang sahih νt = varian total
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 3
p = proporsi subyek yang menjawab soal dengan benarq = proporsi subyek yang menjawab soal dengan salah Σpq = jumlah hasil perkalian antara p dan q
Instrumen dapat dikatakan valid jika memenuhi kriteria bahwa rhitung > rtabel 5%.
Kategori koefisien reliabilitas (Guilford, 1956: 145) adalah sebagai berikut:
0,80 < r11 1,00 reliabilitas sangat tinggi 0,60 < r11 0,80 reliabilitas tinggi 0,40 < r11 0,60 reliabilitas sedang 0,20 < r11 0,40 reliabilitas rendah
-1,00 r11 0,20 reliabilitas sangat rendah (tidak reliable) Tujuan
Setelah menyelesaikan mata acara praktikum ini, mahasiswa mampu melakukan dengan benar:
a. membuat hipotesis dan melakukan pengujian dengan validitas dan reliabilitas
b. menggunakan software SPSS sebagai alat bantu menghitung nilai statistik untuk menghitung nilai r Bivariate Pearson (Korelasi Produk Momen Pearson) dan cronbach’s alpha
c. menganalisis hasil perhitungan untuk menarik kesimpulan berdasarkan hipotesis yang telah dibuat Kompetensi
1. Mampu memasukkan data ke dalam worksheet program SPSS dengan benar 2. Mampu menjalankan program SPSS untuk uji validitas dan reliabilitas
3. Terampil membaca hasil analisis uji uji validitas dan reliabilitas dari program SPSS 4. Mengambil Kesimpulan berdasarkan hasil analisis dari program SPSS
Prosedur Kerja a. Bahan
1. Kertas 2. CD
3. Software SPSS 20 b. Alat
1. Komputer 25 buah ( 1 untuk 1 praktikan) 2. Printer 1 buah
3. Program SPSS terlisensi 4. Program Microsoft Office 5. Lembar kerja simulasi
c. Sumberdaya
1. Asisten ( 1 untuk 25 mahasiswa)
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 4
MetodaValiditas maupun reliabilitas angket dapat dihitung menggunakan SPSS.
Contoh: Angket motivasi berprestasi dengan 15 butir yang diujikan kepada 32 responden.
ANGKET MOTIVASI BERPRESTASI
Petunjuk: Berikut disajikan pernyataan-pernyataan atau statemen tentang Motivasi Berprestasi.
Silahkan menyatakan persepsi Anda tentang Motivasi Berprestasi di sekolah tempat Anda bekerja dengan melingkari pada kolom skala.
Sejauh mana persetujuan Anda dengan pernyataan ini? , Jika anda pilih:
1 = sangat tidak setuju (STS) 2 = tidak setuju (TS)
3 = setuju (S)
4 = sangat setuju (SS)
No Pernyataan STS TS S SS
1 2 3 4
1 Tujuan belajar mengajar tercapai apabila
siswa tuntas dalam belajar
2 Saya yakin dengan kemampuan diri sendiri dalam mencapai keberhasilan pengajaran
3 Saya yakin dapat bersaing dengan rekan sejawat dengan wajar demi meningkatkan
karir
4 Saya merasa bangga menjadi seorang guru tanpa mempertimbangkan pendapatan karena hanya untuk pengabdian
5 Saya bersungguh-sungguh dalam tugas
mengajar
6 Saya membuat penilaian hasil belajar siswa
7 Menindaklanjuti saran dapat memperlancar
pekerjaan berikutnya
8 Saya siap menghadapi resiko dalam melaksanakan kegiatan belajar mengajar
9 Saya dapat melaksanakan tugas lain yang
diberikan atasan
10 Saya yakin pada kemampuan saya sendiri untuk mengerjakan tugas-tugas lain yang
dibebankan oleh atasan.
11 Saya yakin persaingan sehat dan fair
membuat bekerja menjadi lebih baik
12 Saya merasa bangga jika telah bekerja keras untuk menyelesaikan pekerjaan
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 5
13 Saya bersungguh-sungguh dalammelaksanakan tugas-tugas lain yang
dibebankan oleh atasan
14 Saya mengomunikasikan hasil belajar
kepada siswa
15 Kritik yang diberikan orang lain tidak
banyak manfaatnya bagi penyelesaian tugas
selanjutnya.
1. UJI VALIDITAS Langkah – langkah:
a. Memasukkan skor angket ke tabel bantu dengan program excel NO
RESPONDEN
BUTIR PERNYATAA N TOTAL
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
1 4 4 1 4 4 3 4 4 4 3 3 3 4 4 1 50
2 4 4 2 4 4 1 4 4 4 3 3 2 4 4 4 51
3 3 4 3 3 3 2 3 3 3 4 4 4 3 3 3 48
4 3 3 4 3 3 3 3 3 3 4 4 3 3 3 2 47
5 4 3 4 4 4 3 4 4 4 3 3 3 4 4 4 55
6 4 3 3 4 4 3 4 4 4 4 4 3 4 4 4 56
7 3 3 3 1 3 4 1 3 3 4 4 4 3 3 1 43
8 3 3 1 3 3 4 3 3 3 3 3 4 3 3 3 45
9 4 4 1 4 4 3 4 4 2 2 3 3 4 4 4 50
10 4 4 4 4 4 4 4 4 4 4 4 4 4 4 2 58
11 4 3 3 4 4 4 3 3 4 3 4 4 4 3 3 53
12 3 4 4 3 3 3 2 3 3 3 3 3 3 4 2 46
13 3 4 3 2 3 3 4 4 3 3 4 3 3 4 4 50
14 3 3 1 3 3 4 3 4 1 1 4 4 3 3 3 43
15 4 3 4 4 4 3 3 3 4 4 3 3 4 3 2 51
16 4 4 4 4 4 3 4 4 4 3 3 3 4 4 4 56
17 3 3 1 3 3 3 3 4 3 4 4 3 3 3 3 46
18 3 3 4 3 3 4 3 3 2 2 3 4 3 3 1 44
19 4 3 4 4 4 4 2 3 3 4 3 4 4 3 4 53
20 4 4 3 4 4 3 3 4 3 4 3 3 4 4 2 52
21 3 4 3 3 3 3 3 3 4 3 3 3 3 4 3 48
22 4 3 4 4 4 4 4 3 2 2 4 4 4 3 1 50
23 4 4 3 1 4 4 4 3 3 4 4 4 4 4 3 53
24 3 4 3 3 3 3 3 4 4 3 3 3 3 3 3 48
25 3 3 3 3 3 3 4 4 4 3 4 3 3 3 2 48
26 4 3 4 4 4 4 4 3 2 2 4 4 4 4 4 54
27 3 4 4 2 3 3 4 3 3 4 3 3 3 3 2 47
28 3 4 3 3 3 3 3 3 4 4 3 3 3 3 3 48
29 3 3 3 3 3 3 4 3 3 3 4 3 3 3 4 48
30 4 4 4 4 4 4 3 4 3 4 3 4 4 4 3 56
31 4 4 4 4 4 4 3 4 3 4 3 4 4 4 2 55
32 3 4 4 3 3 3 3 3 4 3 3 3 3 3 4 49
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 6
b. Mendefinisikan variabel dalam SPSSc. memasukkan data ke dalam SPSS
d.Menganalisis data
Klik Analyze - Correlate - Bivariate
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 7
e. Masukkan semua item ke kotak Variables
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 8
f. Klik OK dan Tampilkan hasil analisisCorrelations Butir
Soal 1 Butir Soal 2
Butir Soal 3
Butir Soal 4
Butir Soal 5
Butir Soal 6
Butir Soal 7
Butir Soal 8
Butir Soal 9
Butir Soal 10
Butir Soal 11
Butir Soal 12
Butir Soal 13
Butir Soal 14
Butir Soal 15
Total Skor
Butir Soal 1
Pearson Correlation 1 ,063 ,150 ,634** 1,000** ,139 ,344 ,313 ,120 ,079 -,126 ,115 1,000** ,564** ,123 ,826**
Sig. (2-tailed) ,733 ,413 ,000 ,000 ,447 ,054 ,081 ,512 ,667 ,492 ,532 ,000 ,001 ,501 ,000
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 2
Pearson Correlation ,063 1 ,024 -,058 ,063 -,352* ,146 ,255 ,263 ,218 -,434* -,273 ,063 ,506** ,073 ,228
Sig. (2-tailed) ,733 ,894 ,751 ,733 ,048 ,427 ,159 ,145 ,231 ,013 ,131 ,733 ,003 ,690 ,209
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 3
Pearson Correlation ,150 ,024 1 ,077 ,150 ,185 -,080 -,325 ,167 ,275 -,079 ,158 ,150 ,036 -,102 ,392*
Sig. (2-tailed) ,413 ,894 ,675 ,413 ,310 ,663 ,070 ,361 ,127 ,666 ,387 ,413 ,846 ,579 ,026
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 4
Pearson Correlation ,634** -,058 ,077 1 ,634** -,085 ,266 ,357* ,145 -,153 -,296 -,094 ,634** ,283 ,172 ,570**
Sig. (2-tailed) ,000 ,751 ,675 ,000 ,644 ,141 ,045 ,429 ,402 ,100 ,608 ,000 ,117 ,345 ,001
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 5
Pearson Correlation 1,000** ,063 ,150 ,634** 1 ,139 ,344 ,313 ,120 ,079 -,126 ,115 1,000** ,564** ,123 ,826**
Sig. (2-tailed) ,000 ,733 ,413 ,000 ,447 ,054 ,081 ,512 ,667 ,492 ,532 ,000 ,001 ,501 ,000
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 6
Pearson Correlation ,139 -,352* ,185 -,085 ,139 1 -,244 -,207 -,415* -,132 ,193 ,821** ,139 -,114 -,289 ,079
Sig. (2-tailed) ,447 ,048 ,310 ,644 ,447 ,178 ,257 ,018 ,471 ,289 ,000 ,447 ,536 ,108 ,669
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 9
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 7
Pearson Correlation ,344 ,146 -,080 ,266 ,344 -,244 1 ,372* ,100 -,245 ,141 -,296 ,344 ,372* ,292 ,441*
Sig. (2-tailed) ,054 ,427 ,663 ,141 ,054 ,178 ,036 ,586 ,177 ,442 ,100 ,054 ,036 ,105 ,012
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 8
Pearson Correlation ,313 ,255 -,325 ,357* ,313 -,207 ,372* 1 ,138 -,059 -,071 -,302 ,313 ,498** ,174 ,371*
Sig. (2-tailed) ,081 ,159 ,070 ,045 ,081 ,257 ,036 ,451 ,747 ,699 ,093 ,081 ,004 ,342 ,037
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 9
Pearson Correlation ,120 ,263 ,167 ,145 ,120 -,415* ,100 ,138 1 ,519** -,247 -,487** ,120 ,138 ,131 ,371*
Sig. (2-tailed) ,512 ,145 ,361 ,429 ,512 ,018 ,586 ,451 ,002 ,172 ,005 ,512 ,451 ,475 ,037
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 10
Pearson Correlation ,079 ,218 ,275 -,153 ,079 -,132 -,245 -,059 ,519** 1 -,040 -,073 ,079 ,020 -,097 ,286
Sig. (2-tailed) ,667 ,231 ,127 ,402 ,667 ,471 ,177 ,747 ,002 ,829 ,693 ,667 ,914 ,596 ,112
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 11
Pearson Correlation -,126 -,434* -,079 -,296 -,126 ,193 ,141 -,071 -,247 -,040 1 ,318 -,126 -,197 -,023 -,055
Sig. (2-tailed) ,492 ,013 ,666 ,100 ,492 ,289 ,442 ,699 ,172 ,829 ,076 ,492 ,279 ,899 ,767
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 12
Pearson Correlation ,115 -,273 ,158 -,094 ,115 ,821** -,296 -,302 -,487** -,073 ,318 1 ,115 -,187 -,269 ,052
Sig. (2-tailed) ,532 ,131 ,387 ,608 ,532 ,000 ,100 ,093 ,005 ,693 ,076 ,532 ,306 ,137 ,776
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 13
Pearson Correlation 1,000** ,063 ,150 ,634** 1,000** ,139 ,344 ,313 ,120 ,079 -,126 ,115 1 ,564** ,123 ,826**
Sig. (2-tailed) ,000 ,733 ,413 ,000 ,000 ,447 ,054 ,081 ,512 ,667 ,492 ,532 ,001 ,501 ,000
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 14
Pearson Correlation ,564** ,506** ,036 ,283 ,564** -,114 ,372* ,498** ,138 ,020 -,197 -,187 ,564** 1 ,236 ,623**
Sig. (2-tailed) ,001 ,003 ,846 ,117 ,001 ,536 ,036 ,004 ,451 ,914 ,279 ,306 ,001 ,194 ,000
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Butir Soal 15
Pearson Correlation ,123 ,073 -,102 ,172 ,123 -,289 ,292 ,174 ,131 -,097 -,023 -,269 ,123 ,236 1 ,343
Sig. (2-tailed) ,501 ,690 ,579 ,345 ,501 ,108 ,105 ,342 ,475 ,596 ,899 ,137 ,501 ,194 ,055
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 10
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
Total Skor
Pearson Correlation ,826** ,228 ,392* ,570** ,826** ,079 ,441* ,371* ,371* ,286 -,055 ,052 ,826** ,623** ,343 1 Sig. (2-tailed) ,000 ,209 ,026 ,001 ,000 ,669 ,012 ,037 ,037 ,112 ,767 ,776 ,000 ,000 ,055
N 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32 32
**. Correlation is significant at the 0.01 level (2-tailed).
*. Correlation is significant at the 0.05 level (2-tailed).
Dari hasil analisis di dapat nilai skor item dengan skor total. Nilai ini kemudian kita bandingkan dengan nilai r tabel. R tabel dicari pada signifiklan 5% dengan uji 2 sisi dan n=32 maka di dapat r tabel sebesar 0.349. jika nilai r hasil analisis kurang dari (<) r tabel, maka dapat disimpulkan bahwa item-item tersebut tidak berkorelasi signifikan dengan skor total (dinyatakan tidak valid) dan harus dikeluarkan atau diperbaiki.
Tabel Rangkuman Hasil Uji Validitas Motivasi Berprestasi BUTIR NO R
HITUNG KETERANGAN INTEPRESTASI
1 0,826 ≥ 0,349 Valid
2 0,228 < 0,349 Tidak Valid
3 0,392 ≥ 0,349 ...
4 0,570 ≥ 0,349 ...
5 0,826 ≥ 0,349 ...
6 0,079 < 0,349 ...
7 0,441 ≥ 0,349 ...
8 0,371 ≥ 0,349 ...
9 0,371 ≥ 0,349 ...
10 0,286 < 0,349 ...
11 0,055 < 0,349 ...
12 0,052 < 0,349 ...
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 11
13 0,826 ≥ 0,349 ...
14 0,623 ≥ 0,349
...
15 0,343 < 0,349
...
(Jika r tabel < r hitung maka instrument pengujian valid)
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 12
2. UJI RELIA BILITASDari hasil uji validitas, butir-butir soal yang valid kemudian dianalisis reliabiliasnya, dengan langkah- langkah:
a. Membuka data pada hasil skor kuisioner pada SPSS (sama pada pengujian validitas) b. Menganalisis : Analysis → scale →Reliability Analysis
c. Memasukkan seluruh variabel yang valid (dari hasil pengujian validitas) ke kotak items
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 13
d. Klik Statistic, pada Descriptives pilih For klik Scale If Item DeletedKlik Continue
Klik OK danKeluar hasil analisis:
Reliability Statistics Cronbach's
Alpha
N of Items
,741 9
Item-Total Statistics Scale Mean if
Item Deleted
Scale Variance if Item Deleted
Corrected Item - Total Correlation
Cronbach's Alpha if Item
Deleted
Butir Soal 1 26,84 9,814 ,801 ,672
Butir Soal 3 27,25 11,032 ,067 ,813
Butir Soal 4 27,06 9,028 ,560 ,690
Butir Soal 5 26,84 9,814 ,801 ,672
Butir Soal 7 27,03 10,418 ,348 ,730
Butir Soal 8 26,88 11,274 ,320 ,732
Butir Soal 9 27,13 10,887 ,211 ,757
Butir Soal 13 26,84 9,814 ,801 ,672
Butir Soal 14 26,88 10,565 ,546 ,705
Dian Ayunita N.N. Dewi, M.Si (Universitas Diponegoro) Page 14
Dari hasil analisis di dapat nilai Alpha sebesar 0.741, sedangkan nilai r kritis (uji 2 sisi) pada signifikansi 5% dengan n = 32 (df=n-2= 30), di dapat sebesar 0.3494,. maka dapat disimpulkan bahwa butir-butir instrument penelitian tersebut reliable.Pustaka
Guilford, J. P. (1956). Fundamental Statistics in Psychology and Education. New York: Mc Graw-Hill Book Co. Inc.
Martadiputra, BAP. (2008). Hand Out Mata Kuliah Metoda Statistika. Jakarta: PPs Magister Ilmu Administrasi STIAMI.
Nazir, M. (2003). Metode Penelitian. Jakarta: Ghalia Indonesia.
Sudjana. (2002). Metoda Statistika. Bandung: Tarsito.
Sugiyono. (2002). Metoda Penelitian Administrasi. Bandung. Alfabeta.
Sugiyono. (2007). Metoda Penelitian Administrasi dilengkapi dengan Metode R&D. Bandung. Alfabeta.
View publication stats