ANALISIS PENERAPAN METODE KUADRAT TERKECIL DAN
REGRESI KOMPONEN UTAMA DALAM
MULTIKOLINEARITAS
OLEH :
GUGUN M. SIMATUPANG
PROGRAM PASCASARJANA
INSTITUT PERTANIAN BOGOR
ABSTRAK
GUGUN M. SIMATUPANG. Analisis Penerapan Metode Kuadrat Terkecil (MKT) dan Regresi Komponen Utarna Dalam Multikolinearitas. Dibimbing oleh BUD1 SUSETYO dan BAMBANG JUANDA.
Masalah pendugaan parameter dalam analisis regresi linier berganda sering menjadi topik yang menarik dalam beberapa penelitian. Timbul masalah antara lain
multikolinearitas diantara peubah-peubah bebas. Dengan MKT akan terlihat efeknya
yaitu tingginya koefisien deterrninasi tidak diikuti dengan konsistensi hipotesis, tanda koefisien regresi setelah dimodelkan dan perubahan kesignifikan bila masing-masing dan bersama-sama dimasukkan dalam model. Keadaan ini akan mempengaruhi dalam penafsiran model regresi bila memerlukan kajian lebih lanjut. Berdasarkan kenyataan ini, dilakukan suatu kajian dengan berbagai jumlah data untuk mengetahui dan memberikan garnbaran kepada pengguna seberapa besar peluang perubahan tanda peubah bebas juga kesignifikan koefisien regresi sebagai efek dari penerapan MKT bila terjadi multikolinearitas diantara peubah bebas dan solusi penerapan regresi komponen utama. Kajian ini dilakukan dengan menggunakan data simulasi.
Ukuran contoh yang digunakan dalam simulasi adalah n=10,20,25,30 dan 40 dengan lima peubah bebas saling berkorelasi dan satu peubah tak bebas. Masing- masing dilakukan simulasi sebanyak lima puluh kali. Hasil dari penelitian ini
menunjukkan bahwa secara rata-rata peluang berubahnya tanda peubah bebas dengan
SURAT PERNYATAAN
Dengan ini saya menyatakan bahwa Tesis yang berjudul :
"Analisis Penerapan Metode Kuadrat Terkecil dan Regresi Komponen
Utama dalam Multikolinearitas
"
Adalah benar merupakan hasil karya saya sendiri dan belum pernah dipublikasikan.
Semua sumber data dan informasi yang digunakan telah dinyatakan secara jelas dan
dapat diperiksa kebenarannya.
Bogor, Maret 2002
ANALISIS PENERAPAN METODE KUADRAT TERKECIL DAN
REGRESI KOMPONEN UTAMA DALAM
MULTIKOLINEARITAS
Gugun M. Simatupang
Tesis
sebagai salah satu syarat untuk memperoleh gelar pada
Magister Sains Program Studi Statistika
PROGRAM PASCASARJANA
INSTITUT PERTANIAN BOGOR
Judul Tesis : Analisis Penerapan Metode Kuadrat Terkecil dan Regresi Komponen Utama dalam Multikolinearitas
Nama : Gugun Mar~osor Simatupang
NRP : 99158
Program Studi : Statistika
Ketua
Menyetuj ui :
1. Komisi Pembimbing
Dr. Ir. Bambang Juanda, M.S. Anggota
ogram Pascasarjana
frida Manuwoto, M.Sc.
Dipersembahkan untuk
Isteri dan Anak tercirzta :RIWAYAT HIDUP
Penulis dilahirkan tanggal 11 November 1964 di Doloksanggul
-
TapanuliUtara, anak kelima dari sembilan bersaudara. Anak dari pasangan Aden Willem
Simatupang dan Ramianna Br. Sihite (Almarhumah).
Pada tahun 1977, penulis lulus SD Negeri 1 Doloksanggul, tahun 1980 lulus
SMP Negeri 1 Doloksanggul, tahun 1983 lulus SMA Negeri 1 Doloksanggul. Pada
tahun yang sama penulis diterima di Fakultas Matematika dan Ilmu Pengetahuan
Alam (FMIPA) Universitas Sumatera Utara (USU) Medan melalui jalur PMDK.
Penulis lulus S-1 tangga 27 juli 1989. Pada tahun 1998, penulis mengikuti program
pra-pascasarjana, bidang studi statistika di IPB dengan biaya URGE. Tahun 1999,
penulis diterima sebagai mahasiswa program pascasarjana (S-2) pada program studi
statistika di IPB dengan biaya BPPS-Dikti.
Riwayat pekerjaan, tahun 1988 sampai dengan tahun 1991 penulis sebagai
tenaga pengajar di Fakultas Teknik Universitas Darma Agung (UDA) Medan.
Pertengahan tahun 1991 penulis diangkat sebagai tenaga pengajar pada jurusan
Pendidikan Matematika FKIP Universitas ~ A b i .
Tanggal 19 Februari 1993 penulis menikah dengan Martha Luciana Br.
Lumban Tobing, putri dari bapak CL. Tobing, Ibu R.Br. Sitompul, sarnpai sekarang
telah dikaruniai dua orang putralputri yang bernarna Nicolas Exe Walter Simatupang
PRAKATA
Puji dan syukur penulis panjatkan kehadirat Tuhan yang Maha pemurah dan
Agung, karena berkat kasih dan karuniaya penulis dapat menyelesaikan penyusunan
tesis yang berjudul :
"
Analisis penerapan metode kuadrat terkecil dan metode komponen utama dalam multikolinearitas".
Tesis ini dimaksudkan sebagai salah satusyarat memperoleh gelar Magister Sains pada program Studi Statistika, Pasca sarjana
IPB.
Pada kesempatan ini, dengan penuh rasa hormat penulis mengucapkan terima
kasih atas bimbingan dan fasilitas yang telah diberikan. Secara khusus penulis
mengucapkan terima kasih kepada :
1. Bapak Dr. Ir. Budi Susetyo, M.S. selaku ketua komisi pembimbing dan bapak
Dr. Ir. Bambang Juanda, M.S. selaku anggota komisi pembimbing, yang telah
memberikan birnbingan, arahan serta dorongan yang sangat berharga selama
penulis dibimbing.
2. Rektor IPB, Direktur Program Pascasarjana, Ketua Program Studi Statistika dan
ketua pengelola beasiswa BPPS beserta seluruh staf yang telah memberikan
kesempatan kepada penulis untuk menuntut ilmu pada Program Pascasarjana IPB.
3. Rektor Universitas Jambi, Dekan FKIP-Unja dan Ketua Jurusan PMIPA FKIP-
Unja, yang telah memberi kesempatan kepada penulis untuk dapat menimba ilmu
di IPB.
4. Bapak dan Ibu dosen program studi Statistika beserta seluruh staf yang telah
memberikan ilmu dan pelayanannya kepada penulis.
5. Istri dan anak atas doa, pengertian dan dorongan yang sangat tulus dengan setia
mendampingi penulis selama men~ikuti pendidikan.
6. Orang t u a e r t u a , AbangIKakak, Adik beserta seluruh keluarga atas segala doa,
bantuan yang diberikan selama penulis mengikuti pendidikan.
7. Rekan-rekan mahasiswa program studi statistika, khususnya angkatan '99 atas
segala saran dan bantuan yang diberikan selama penulis menuntut ilmu di IPB,
Semoga Tuhan Yang Maha Kasih dan Pemurah memberikan berkat yang
berlipat ganda, atas segala bimbingan dan kebaikan yang diberikan. Semoga tesis ini
dapat bermamfaat bagi yang memerlukannya.
Bogor, Maret 2002
DAFTAR IS1
Halaman
DAFTAR TABEL
...
DAFTAR GAMBAR
...
DAFTAR LAMPIRAN
...
PENDAHULUAN
...
...
Latar belakang
Batasan Masalah
...
Tujuan Penelitian...
TINJAUAN PUSTAKA
...
Analisis Regresi Linier Berganda...
Metode Kuadrat Terkecil (MKT)...
Multikolinearitas...
Analisis Komponen Utama...
Analisis Regresi Komponen Utama...
METODE PENELITIAN
...
Surnber Data...
Metode Analisis...
HASIL DAN PEMBAHASAN
...
Hasil Pengolahan Data Simulasi...
Hasil- 1
...
Hasil-2
...
Hasil-3...
Contoh Kasus...
Penyelesaian dengan Metode Kuadrat Terkecil (MKT)
...
Penyelesaian dengan Metode Regresi Komponen Utama
...
Pembandingan Hasil MKT dengan Komponen Utama
...
KESIMPULAN DAN SARAN
...
...
Kesimpulan
...
Saran
DAFTAR PUSTAKA
...
...
LAMPIRAN
vii
DAFTAR TABEL
Halaman
1. Contoh penyajian tanda dan penghitungan peluang benarlsalah dari persamaan regresi linier berganda menggunakan MKT vs matriks
korelasi
. . .
.
. . .
. .
. .
.
. . .
.
.
.
.
. . .
.
.
192. Contoh penyajian hasil pengujian hipotesis dan penghitungan peluang benarlsalah terhadap koefisien regresi linier sederhana vs linier berganda
dengan MKT
...
203. Contoh penyajian tanda dan penghitungan peluang benarlsalah dari
persamaan regresi komponen utama vs matriks korelasi
...
224. Rata-rata penghitungan peluang perubahan tanda berdasarkan persamaan
regresi linier berganda dengan MKT vs matriks korelasi
...
265 Rata-rata penghitungan peluang perubahan hasil pengujian hipotesis
koefisien regresi pada persamaan regresi linier sederhana vs regresi
linier berganda dengan MKT
...
296 . Rata-rata penghitungan peluang perubahan tanda berdasarkan persamaan
regresi komponen utama vs matriks korelasi
...
3 17. Pendugaan parameter regresi kuadrat terkecil
...
338. Sidik ragarn regresi kuadrat terkecil
...
339. Nilai
R;
d m VIF(bi) dari penduga bi...
3 410. Matriks korelasi antar peubah bebas dan peubah talc bebas
...
3 41 1. Nilai akar ciri untuk contoh kasus
...
3 712. Nilai vektor ciri untuk contoh kasus
...
3713. Nilai skor komponen utama untuk contoh kasus
...
3814. Pengujian koefisien regresi
secara
parsial (berdasarkan pendekatan analisisDAFTAR GAMBAR
Halaman
1. Diagram kotak garis peluang tidak berubahnya tanda setelah dilakukan
regresi linier berganda dengan MKT dibandingkan terhadap hasil
matriks korelasi
...
252. Diagram kotak garis peluang tidak berubahnya kesignifikan koefisien
regresi linier sederhana dibandingkan linier berganda dengan MKT
. . .
.
273. Diagram kotak garis peluang tidak berubahnya tanda setelah dilakukan
DAFTAR LAMPIRAN
Halaman
1. Hasil-1 : Peluang benarlsalah (tidak berubahlberubah) tanda peubah
bebas hasil matriks korelasi dan regresi linier berganda dengan MKT
...
492. Hasil-2 : Peluang benarlsalah (tidak berubahlberubah) kesignifikan koefisien regresi linier sederhana dan regresi linier berganda dengan
MKT
...
5 03. Hasil-3 : Peluang benarlsalah (tidak berubah/berubah) tanda peubah
bebas hasil matriks korelasi dan regresi komponen utama
...
5 14. Data contoh kasus (data asli)
...
525. Data contoh kasus (data pembakuan)
...
52PENDAHULUAN
Latar Belakang
Secara umum jika ada satu peubah tak bebas tergantung pada satu atau
beberapa peubah bebas maka hubungan diantara peubah ini dapat dicirikan melalui
model yang disebut model regresi. Sudah barang tentu sebelum diperoleh model
persamaan regresi tersebut telah melalui suatu proses antara lain, spesifikasi atau
identifikasi model, penentuan atau pendugaan nilai parameter model termasuk
pemilihan model yang baik (seleksi model) dan pengujian terhadap model. Dengan
demikian peubah-peubah yang terdapat dalam persamaan regresi yang terbentuk
merupakan suatu hubungan yang dirancang sedemikian rupa untuk tujuan
memberikan jawaban bagi permasalahan yang ingin dimodelkan.
Model regresi mempunyai tiga tujuan penting, yaitu ; (1) Mendeskripsikan
model yang menjelaskan hubungan antara peubah tak bebas (respons) dengan peubah
bebas (prediktor) sehingga dapat dikaji lebih jauh tentang proses yang menghasilkan
nilai koefisien regresi ; (2) Untuk mengetahui kontribusi relatif dari setiap peubah
bebas dalam menjelaskan peubah tak bebas ; (3) Untuk memprediksi nilai peubah
tak bebas dari beberapa nilai peubah bebas. Ketiga tujuan tersebut biasanya
digunakan model regresi linier sederhana maupun berganda.
Masalah pendugaan parameter dalam analisis regresi berganda sering menjadi
topik yang menarik dalam beberapa penelitian, khususnya penelitian yang sangat
dalam regresi, salah satu diantaranya adalah masalah multikolinearitas.
Multikolinearitas pada regresi berganda terjadi karena korelasi yang tinggi diantara
peubah bebas. Kondisi ini penting sekali diperhatikan untuk penerapan metode
kuadrat terkecil (MKT) dalam pendugaan koefisien regresi (penduga parameter).
Pada prinsipnya multikolinearitas mempunyai arti bahwa terdapatnya suatu
hubungan linier di antara beberapa atau semua peubah bebas dari suatu model
regresi. Di dalam praktek, besar kemungkinannya menemukan peubah-peubah bebas
yang saling berkorelasi (Neter et al, 1990). Kenyataan bahwa sebagian atau semua
peubah bebas saling berkorelasi, dengan MKT tidaklah menghalangi memperoleh
fungsi regresi dugaan yang pas ataupun mempengaruhi inferensi tentang rataan
peubah tak bebas atau peramalan amatan-amatan baru, asalkan inferensi tersebut
dilakukan di dalam daerah amatan. Akan tetapi multikolinearitas yang tinggi akan
mengakibatkan koefisien-koefisien regresi dugaan cenderung memiliki keragaman
penarikan contoh yang besar, artinya koefisien regresi dugaannya cenderung
bervariasi sangat besar dari contoh satu ke contoh lainnya. Akibatnya tidak diperoleh
informasi yang tepat mengenai koefisien regresi yang sebenarnya (populasi). Bahkan
bisa jadi masing-masing koefisien regresi secara linier tidak nyata walaupun antara
peubah tak bebas dan peubah bebas terdapat hubungan linier yang nampak jelas.
Secara teori tanda hubungan linier sebenarnya diantara peubah bebas dengan
peubah tak bebas dapat dilihat pada matriks korelasi. Masalah tanda dari model
regresi bagi penelitian bidang tertentu misalnya penelitian ekonomi, industri, biologi
dan yang lainnya merupakan ha1 yang sangat diperhatikan, karena dalam kenyataan
meningkatkan nilai harapan dari model regresi yang dibangun, tetapi ternyata setelah
dimodelkan berubah tanda menjadi negatip atau sebaliknya.
Multikolinearitas diantara peubah-peubah bebas juga akan mempengaruhi
pengujian koefisien regresi dimana uji pengaruh marjinal peubah bebas secara
bersama-sama tidak setara dengan pengujian apakah ada hubungan regresi antara
peubah tak bebas dengan masing-masing peubah bebas, karena model tereduksi untuk
masing-masing uji tersebut mengandung pengaruh salah satu peubah bebas yang lain
(Neter et al, 1990). Dengan menggunakan MKT akan terlihat efek dari
multikolinearitas yaitu tingginya koefisien determinasi tidak diikuti dengan hasil uji
hipotesis yang nyata dari koefisien-koefisien regresi. Keadaan ini disebabkan karena
besarnya koefisien determinasi tidak didukung oleh kecilnya raganl koefisien regresi
tersebut (Martens & Naes, 1989), sehingga adanya multikolinearitas diantara peubah
bebas mengakibatkan galat baku dari koefisien regresi menjadi bertambah besar,
implikasinya statistik t yang didefinisikan sebagai rasio antara koefisien regresi dan
galat bakunya menjadi lebih kecil.
Dalaln model regresi, interpretasi dari masing-masing koefisien regresi adalah
perubahan rata-rata peubah respons (y) jika peubah penjelas xi tersebut berubah satu unit dan peubah penjelas lainnya tetap (ceteris paribus). Dengan demikian jika ada
multikolinearitas, yaitu ada korelasi antar peubah penjelas maka asumsi ceteris
paribus tidak berlaku sehingga sulit memisahkan pengaruh dari masing-masing
peubah penjelas, dan ini juga diindikasikan dari hasil analisis pada pengujian
hipotesis yang tidak signifikan dan terjadinya perubahan tanda dari peubah
Berdasarkan uraian di atas, dalam penelitian ini dikaji pengaruh
multikolinearitas tersebut dengan penerapan MKT dan metode analisis regresi
komponen utama dengan berbagai jumlah data observasi (n). Hasil kajian ini
diharapkan dapat memberikan gambaran bagi pengguna sebagai bahan pertimbangan
dalam penafsiran model dari objek yang diamati sesuai dengan tujuan model regresi
yang ingin dicari pola hubungannya.
Batasan Masalah
Pada penelitian ini hanya dilakukan pengkajian efek dari penerapan MKT,
khususnya bagi penelitian yang sangat memerlukan kajian lebih lanjut dari model
regresi apabila terjadi multikolinearitas antar peubah bebas dengan berbagai jumlah
data dan solusi penerapan metode komponen utama.
Tujuan Penelitian
Penelitian pengkajian efek penerapan MKT apabila terjadi multikolinearitas
pada peubah bebas, mempunyai tujuan sebagai berikut :
1. Mengkaji efek penerapan MKT apabila terjadi multikolinearitas dengan berbagai
jumlah data.
2. Membandingkan hasil regresi linier berganda dengan MKT dan regresi komponen
TINJAUAN PUSTAKA
Analisis Regresi Linier Berganda
Analisis regresi merupakan suatu teknik statistika untuk menyelidiki dan
memodelkan hubungan diantara peubah-peubah, yaitu peubah tak bebas (respon) dan
peubah bebas (prediktor). Analisis ini digunakan dalam berbagai bidang ilmu.
Diantara model-model regresi, model regresi linier merupakan model yang paling
sederhana dan paling sering digunakan. Suatu model linier adalah sebuah fungsi linier
dalam parameter Po,P1, ...,P, (Myers & Milton, 1991). Model regresi yang
mempunyai lebih dari satu peubah bebas dan linier dalam koefisiennya disebut model
regresi linier berganda yang dinyatakan sebagai berikut :
Y i
=PO +PI',,
+ P 2 ' 1 2 + a * . + P n l ' i n l + E l (la)dengan : yi adalah peubah tak bebas ; xij adalah peubah bebas ke-j pada ulangan ke-i
; Ei adalah sisaan atau galat ;
pj
adalah koefisien regresi ; i = 1,2,...,
n dan n > m+l; J = 1,2
,...,,
m.Anaiisis regresi digunakan untuk mempelajari hubungan antara sepasang
peubah atau lebih, dan terutama untuk menelusuri pola hubungan yang modelnya
belum diketahui- dengan sempurna sehingga dalam penerapannya lebih bersifat
Metode Kuadrat Terkecil (MKT)
Model persamaan regresi (la) secara umum dapat ditulis dalam notasi matriks
sebagai berikut :
y = x p + g
- -
y = Vektor peubah tak bebas (nxl)
-
X = Matriks peubah bebas (nxk)
p
- = Vektor penduga parameter (kxl)g = Vektor sisadgalat (nxl)
Dengan E(E
-
) = 0, var(5 ) = 021 dan unsur-unsur E tidak berkorelasi.Karena E(g ) = 0 maka E( y - ) =
X
p
-,
sehingga kuadrat galatnya adalah :Dengan meminimumkan jumlah kuadrat galat diperoleh
/?
sebagai berikut :dimana adalah penduga yang memenuhi sifat linier, tidak berbias dan memiliki
ragam minimum (Myers & Milton, 1991).
Pada analisis regresi, salah satu tujuan yang ingin dicapai adalah pengujian
hipotesis terhadap koefisien regresi. Tujuan dari hipotesis inj adalah untuk
mengetahui kontribusi relatif dari peubah bebas. Pada MKT, pengujian hipotesis
tersebut biasanya menggunakan uji t. Adapun bentuk hipotesis statistiknya jika yang
Secara eksplisit, uji terhadap hipotesis di atas didasarkan pada statistik uji :
Kaidah keputusan dalam pengujian ini bila taraf nyata ditetapkan sebesar a adalah
Jika
I
thirI
'(1-a/2;n-2) ' terima Ho. Dan jika tidak maka terima HI.Multikolinearitas
Masalah multikolinearitas muncul ketika terdapat korelasi diantara peubah
bebasnya, sehingga ha1 ini akan mempengaruhi ragam dari penduga kuadrat terkecil
dan pendugaan model yang dibuat (Wetherill, 1986).
Multikolinearitas bukanlah suatu kesalahan pemodelan, tetapi suatu kondisi
data yang tidak sempurna, sehingga sangatlah penting untuk menyadari kehadiran
multikolinearitas (Chatterjee & Price, 1977).
Hal senada menurut Belsley et al, (1980) bahwa multikolinearitas adalah
masalah data bukan masalah statistik. Akan tetapi dalam interpretasi dari model
regresi yang terbentuk atau yang ingin dicari menimbulkan konsekuensi.
Konsekuensi dari multikolinearitas dalam analisis regresi tersebut adalah ragam dan
peragam dari penduga kuadrat terkecil menjadi lebih besar, selang kepercayaan bagi
penduga parameter menjadi lebih lebar dan galat baku dari koefisien regresi menjadi
bertambah besar sehingga statistik t yang didefenisikan sebagai rasio antara penduga
dan galat baku koefisien penduga menjadi lebih kecil. Untuk menjelaskan ha1 ini,
Y
=Po
+ P I X , + P 2 ~ 2 + E ( 1 4Dengan mengasumsikan peubah galat (sisaan) memiliki sifat-sifat : E[&]=O,
2 - 2
Var[&
1-0
, COV[E~, cj]= E[Q, E~]=O, untuk i#j, maka persamaan regresi diatas dapatdiduga dengan MKT yang menghasilkan koefisien regresi bl dan b2 sebagai penduga
tak bias bagi parameter
PI
dan p2. Selanjutnya dengan mendefenisikan peubah xl danxz dalam bentuk simpangan terhadap nilai rataannya, maka berdasarkan MKT
diperoleh :
dimana 1-12 adalah koefisien korelasi antara peubah bebas xl dan x2 (Dillon &
Goldstein, 1984).
Dengan demikian dari persamaan (2c), (3c) dan (4c) tampak secara jelas apabila 1-12
mendekati 1, maka penyebutnya akan menjadi kecil dan apabila sarna dengan 1
persamaan menjadi tidak dapat ditentukan, karena penyebutnya akan sama dengan
no1 dan dalam kasus pembagian dengan no1 memberikan hasil yang tidak terdefenisi,
sehingga Var[bl], Var[b2] dan Cov[bl,b2] menjadi tidak terdefenisi apabila terjadi
peubah-peubah x bersifat ortogonal, dimana 1-12 = 0, maka Cov[bl,b2] = 0 dan Var[bl]
= 02/&12, Var[b2] = 02/C~22.
Dan juga penafsiran koefisien regresi sebagai tolak ukur perubahan nilai
harapan peubah tak bebas bila peubah bebas padanannya naik satu satuan sedangkan
semua peubah bebas lainnya konstan tidak lagi sepenuhnya berlaku. Meskipun secara
konseptual bisa divariasikan salah satu peubah bebas pada saat yang sama
mempertahankan peubah-peubah lain tetap (konstan). Namun di dalam praktek tidak
mungkin melakukannya untuk peubah-peubah bebas yang berkorelasi tinggi.
Misalnya, model regresi untuk maramalkan hasil panen dari banyaknya curah hujan
d m jumlah jam sinar matahari, hubungan antara kedua peubah bebas tersebut tidak
mungkin diubah-ubah sementara yang lain dibuat konstan. Jadi bila peubah-peubah
bebas saling berkorelasi, koefisien salah satu peubah bergantung pada peubah lain
mana yang dimasukkan ke dalam model dan mana yang tetap di luar model. Dengan
demikian koefisien regresi tidak mencerminkan pengaruh inheren suatu peubah bebas
terhadap peubah tak bebas, melainkan pengaruh marjinal atau parsial, bila diketahui
peubah bebas lain telah ada di dalam model. Kondisi demikian juga mempengaruhi
tanda peubah-peubah bebas terhadap peubah tak bebasnya yang digambarkan oleh
tanda dari koefisien regresi bisa berubah-ubah apabila masing-masing peubah dan
secara bersamaan dimasukkan kedalam model (Neter et al, 1990).
Indikasi adanya masalah kekolinearan ganda yang serius ditunjukkan oleh
1. Terjadi perubahan besar koefisien regresi dugaan bila suatu peubah bebas
ditambahkan atau dibuang, atau bila suatu amatan diubah atau dibuang.
2. Uji-uji individu terhadap koefisien regresi bagi peubah-peubah bebas penting
memberikan hasil yang tidak nyata.
3. Tanda koefisien regresi dugaan yang diperoleh bertentangan dengan yang
diharapkan berdasarkan pertimbangan teoritis atau pengalaman-pengalaman
sebelumnya.
4. Koefisien regresi sederhana yang besar antara pasangan-pasangan peubah bebas
di dalam matriks korelasi rxx.
5. Selang kepercayaan yang lebar bagi koefisien regresi peubah bebas yang penting.
Metoda informal di atas memiliki sejumlah keterbatasan, yaitu tidak
memberikan ukuran kuantitatif tentang dampak kekolinearan ganda, tidak mampu
mengidentifikasi sifat kekolinearan ganda dan adakalanya perilaku yang teramati
terjadi tanpa adanya kekolinearan ganda.
Melihat keterbatasan di atas, suatu metode formal untuk mendeteksi adanya
kekolinearan ganda yang banyak digunakan adalah melalui faktor inflasi ragam
(Variance Inflation Factor [VIF]). VIF yaitu pengukuran multikolinearitas untuk
peubah bebas ke-i. VIF dihitung dari matriks korelasi peubah bebas yang telah
dibakukan satuannya. VIF adalah salah satu faktor yang mengukur seberapa besar
kenaikan ragam dari koefisien regresi dibandingkan terhadap peubah bebas yang
ortogonal jika dihubungkan secara linier (Fox & Monette, 1992). Nilai VIF akan
semakin besar jika terdapat korelasi yang semakin besar diantara peubah-peubah
kolinearitas (Neter et al, 1990). Hubungan antara VIFi dan kolinearitas adalah melalui rumus :
R:
= koefisien determinasi ganda bila xi diregresikan terhadap p-2 peubah x lainnyadi dalam model. Multikolinearitas dikatakan serius bila VIF lebih besar dari 10 (Rawling et al, 1988).
Analisis Komponen Utama
Misalkan suatu peubah acak
x =
(xl,xz,
...,
x,) yang terdiri dari p peubah yangmengikuti sebaran peubah ganda tertentu dengan vektor nilai tengah p dan matriks
ragam peragam S atau matriks korelasi R. Kedua matriks tersebut berguna dalam
perhitungan nilai akar ciri (Aj) dan vektor ciri (aj).
Dari p buah peubah asal tadi dapat diturunkan p buah komponen utarna untuk
menerangkan keragaman total sistem, dan seringkali keragaman total itu dapat
diterangkan secara memuaskan oleh sejumlah kecil komponen utama, misal k buah
komponen dimana k<p. Jadi analisis komponen utama (AKU) pada prinsipnya
bertujuan mereduksi dimensi peubah asal yang telah ditransformasi ke peubah baru
dan menginterpretasikannya. Komponen utama ke-j dari contoh pengamatan
berdimensi p peubah adalah merupakan kombinasi linear dari peubah asal yang
dinyatakan dalam bentuk persamaan berikut :
Matriks peragam S digunakan bila semua peubah yang diamati diukur dalam
satuan pengukuran yang sama, tetapi bila peubah yang diamati mempunyai satuan
pengukuran yang berbeda perlu dibakukan dalam peubah baku sebagai berikut :
Sehingga komponen utama ke-j dari contoh pengamatan berdimensi p peubah baku
adalah merupakan kombinasi linear dari peubah baku sebagai berikut :
W, = a,,iz, +a2,z2
+...+
a,.z, ( 3 4Untuk peubah yang memiliki satuan pengukuran yang tidak sama maka
komponen utama diturunkan dari matriks korelasi R (Gasperz, 1992).
Untuk mengukur keeratan hubungan (korelasi) antara peubah asal dengan
komponen utarna dapat dilihat melalui besarnya koefisien korelasi antara peubah asal
dengan komponen utama itu, bila komponen utama diturunkan dari matriks korelasi
R maka koefisien korelasi antara peubah baku ke-i dan komponen utama ke-j
dihitung dengan :
Analisis komponen utama dapat dijadikan tahap antara dalam penelitian yang
bersifat lebih besar. Untuk tujuan analisis lanjutan, misalnya analisis regresi
Analisis Regresi Komponen Utama
Pengaruh multikolinearitas pada pemodelan regresi dengan MKT
menyebabkan pendugaan koefisien regresi yang kurang baik. Masalah
multikolinearitas dapat diatasi dengan beberapa metode, antara lain Metode Regresi
Komponen Utarna (Kristiningrum, 1997), Metode Regresi Ridge (Pakpahan, 2000)
dan Metode Kuadrat Terkecil Parsial (Herwindiati, 1997). Untuk mengetahui metode
terbaik dalam mengatasi multikolinearitas, Henvindiati telah melakukan penelitian
terhadap Metode Kuadrat Terkecil Parsial (MKTP), Metode Regresi Komponen
Utama dan Metode Regresi Ridge. Penelitian tersebut menyimpulkan bahwa MKTP
lebih baik dibandingkan Regresi Komponen Utama dan Regresi Ridge.
Analisis regresi komponen utama merupakan suatu analisis kombinasi antara
analisis regresi dan analisis komponen utama. Analisis regresi komponen utama
ditetapkan bila dalam pembentukan model pendugaan peubah bebas yang digunakan
banyak dan terdapat hubungan yang erat antar peubah bebasnya. Adanya korelasi
antar peubah bebas menyebabkan salah satu asumsi dasar regresi dalam MKT
menjadi gaga1 terpenuhi dan salah satu cara membebaskan korelasi antar peubah
bebasnya adalah dengan regresi komponen utama.
Pendugaan dengan regresi komponen utama akan menghasilkan nilai dugaan
yang memiliki tingkat ketelitian yang lebih tinggi, dengan jumlah kuadrat galat yang
lebih kecil bila dibandingkan dengan pendugaan MKT (Gasperz, 1992).
Dari p komponen utama yang diturunkan dari matriks korelasi R dihitung skor
komponen utarna untuk tiap-tiap komponen utarna yang menghasilkan W, skor
Wp= ai'g, (le)
z = vektor skor baku peubah yang diamati dari unit pengamatan ke-i.
- I
Setelah diperoleh skor komponen utama maka regresikan peubah tak bebas y
dengan skor komponen utama W untuk menghasilkan penduga koefisien regresi
untuk p komponen utama,?; - penduga ragam s 2 k ) ; dan jumlah kuadrat regresi
S S ~
).
Model regresi komponen utama untuk seluruh skor komponen utama :Selanjutnya uji H , : = 0 untuk setiap j dengan menggunakan uji t atau uji
F, dan eliminasi dari model regresi komponen utarna (Rawlings et al, 1998) bila
mempunyai akar ciri yang cukup kecil yang menyebabkan masalah kolinearitas dan
yang koefisien penduga regresinya
b,
) tidak berbeda nyata dari nol.
Dari p komponen utama setelah dieliminasi s komponen utama tersisa g
komponen utama, untuk selanjutnya transformasi komponen utarna ke dalam peubah
aslinya, sehingga persamaan regresinya menjadi :
Ragam koefisien regresi komponen utama dihitung dengan rumus :
dimana Ag adalah akar ciri ke-j dan se2 adalah galat dibagi jumlah kuadrat terkoreksi,
Pengujian signifikansi terhadap koefisien regresi secara parsial untuk
mengetahui pengaruh dari setiap peubah bebas terhadap peubah tak bebas dengan uji
METODE PENELITIAN
Sumber Data
Data yang digunakan dalam penelitian ini adalah data simulasi, yang
dibangkitkan dengan bantuan program paket statistik Minitab 1 1.12. Banyaknya data
yang diteliti adalah dengan ukuran contoh n = 10,20,25, 30, dan 40, terdiri dari lima
peubah bebas (xl,x2,x3,x4 dan x5) dan sebuah peubah tak bebas (y), yang menyebar
normal (0,l).
Tahap-tahap pembangkitan data untuk setiap ukuran contoh (n) adalah
sebagai berikut :
1. Untuk setiap ukuran contoh bangkitkan peubah tak bebas (y) dan peubah bebas
( ~ 1 , ~ 2 , ~ 3 , ~ 4 dan ~ 5 ) .
2. Periksa korelasi : jika koefisien korelasi antar peubah bebas berkisar 0,4 s/d 1,O
dan antara peubah tak bebas dengan masing-masing peubah bebas lebih besar
sama dengan 0,6, maka datanya dicatat. Selainnya kembali ke tahap 1.
3. Tahap 1 dan tahap 2 dilakukan dengan ulangan 50 kali sehingga diperoleh 50 himpunan data untuk setiap ukuran contoh.
Untuk melihat implikasi dari hasil pengolahan data simulasi di atas, dalam
penelitian ini dikaji sebuah contoh kasus, yaitu suatu data amatan (Lampiran 4)
berkaitan dengan proses industrialisasi yang terjadi pada 15 daerah kabupaten di
suatu propinsi (Gasperz, 1992). Peubah-peubah tersebut dispesifikasikan terdiri dari
mengetahui sejauh mana pengaruh proses industrialisasi yang berlangsung terhadap
pendapatan per kapita (y).
Data peubah-peubah bebas (x) dan peubah tak bebas (y) yang digunakan
untuk contoh kasus ini dispesifikasikan sebagai berikut :
y = Pendapatan per kapita (PDRB per kapita), diukur dalam satuan puluh ribu
rupiah.
xl = Kontribusi industri manufaktur dalam produk domestik regional bruto
(PDRB), diukur dalam satuan persen (%).
x2 = Banyaknya tenaga kerja dalam sektor industri manufaktur, diukur dalam satuan
persen (%). (persentase dari total tenaga ke rja di daerah itu).
x3 = Produktivitas tenaga kerja industri manufaktur, diukur dalam satuan juta rupiah
per tenaga kerja (nilai tambah industri manufaktur per tenaga kerja).
xq = Investasi dalam industri manufaktur per tenaga kerja, diukur dalam satuan juta
rupiah per tenaga kerja (jumlah investasi dalam industri manufaktur dibagi
dengan banyaknya tenaga kerja industri manufaktur
Selanjutnya pada kenyataan bahwa pengaruh keempat peubah bebas tersebut
adalah positip artinya keempat peubah bebas yang dispesifikasikan akan menambah
pendapatan per kapita peubah tak bebas (y) yang ingin dicari model hubungannya.
Metode Analisis
Tahap-tahap yang dilakukan dalam menganalisis data hasil bangkitan dan data
1. Menentukan matriks korelasi antar peubah bebas dan peubah tak bebas untuk
seluruh data, dengan bantuan program paket statistik Minitab 1 1.12.
2. Menentukan tanda korelasi dari masing-masing peubah bebas terhadap peubah talc
bebas pada langkah (1) untuk seluruh data dengan mencatat tanda
"+"
jika positipatau "-" jika negatip, dimana tanda ini merupakan hubungan sebenarnya antara
peubah-peubah bebas dengan peubah tak bebas.
3. Regresikan masing-masing peubah bebas terhadap peubah tak bebas (regresi linier
sederhana) untuk seluruh data dan menentukan kesignifikan dari koefisien regresi
peubah tersebut dengan mencatat "1" jika signifikan (nyata) atau "0" jika tidak
signifikan, dengan bantuan program paket statistik Minitab 1 1.12.
4. Regresikan peubah bebas secara bersama terhadap peubah tak bebas (regresi linier
berganda) untuk seluruh data, selanjutnya menentukan kesignifikan dari masing-
masing koefisien regresi peubah bebasnya secara parsial dengan mencatat " 1 "
jika signifikan (nyata) atau "0" jika tidak signifikan dan tanda dari masing-masing
peubah bebasnya dengan mencatat tanda
"+"
jika positip atau"-"
jika negatip.5. Penyaj ian tanda dan penghitungan peluang benarlsalah dari persarnaan regresi
linier berganda menggunakan MKT vs matriks korelasi untuk seluruh data yang
selanjutnya disebut Hasil- 1, dengan kriteria sebagai berikut :
a. Misalkan : A = tanda peubah bebas terhadap peubah tak bebas pada matriks
korelasi.
B = tanda peubah bebas hasil regresi linier berganda dengan MKT
Jika : (+,+) dan (-,-) berarti : benar atau tanda peubah bebas tidak berubah.
b. Contoh penyajian tanda untuk himpunan data n = 10
c. Contoh penghitungan peluang benarlsalah (dari langkah b)
dan seterusnya sampai dengan :
Data 1
Sehingga peluang benar [P(B)] atau peluang tidak berubah tanda peubah bebas
untuk data pertarna adalah 315 dan untuk data ke-50 adalah 215 pada himpunan
data n = 10.
d. Ulangi langkah (a),(b) dan (c) untuk masing-masing himpunan data n = 20, 25, 30,
40. A B
+
Benar (2) Salah (1) 3+
-
Data 50-
Salah (1)
6. Penyaj ian hasil penguj ian hipotesis dan penghitungan peluang benarlsalah
terhadap koefisien regresi linier sederhana vs linier berganda dengan MKT untuk
seluruh data yang selanjutnya disebut Hail-2, dengan kriteria sebagai berikut :
Misalkan : C = hasil uji hipotesis terhadap koefisien regresi linier sederhana
dengan MIST
D = h a i l uji hipotesis terhadap koefisien regresi linier berganda
dengan MKT
Jika : (1,l) dan (0,O) berarti : benar atau h a i l uji hipotesis tidak berubah
(1,O) dan (0,l) berarti : salah atau hasil uji hipotesis berubah.
b. Contoh penyajian hasil pengujian hipotesis untuk himpunan data n = 10
c. Contoh penghitungan peluang benarlsalah (dari langkah b)
dan seterusnya sampai dengan :
Data 1 C
D
1
Benar (0)
Salah (1)
1 1
0
0
Salah (0)
Benar (4)
Sehingga peluang benar [P(B)] atau peluang tidak berubah kesignifikan
koefisien regresi untuk data pertama adalah 415 dan untuk data ke-50 adalah
315 pada himpunan data n = 10.
d. Ulangi langkah (a),(b) dan (c) untuk masing-masing himpunan data n = 20, 25,
30,40
7. Menentukan akar ciri, vektor ciri dan skor komponen utama untuk seluruh data,
dengan bantuan program paket statistik Minitab 1 1.12.
8. Pilih komponen utama pada langkah (7) dan selanjutnya regresikan peubah
tak bebas (y) terhadap skor komponen utama terpilih tersebut kemudian
kembalikan ke peubah asal untuk mendapatkan tanda dari masing-masing
peubah bebasnya untuk seluruh data.
9. Penyajian tanda dan penghitungan peluang benarlsalah pada persamaan regresi
komponen utama vs matriks korelasi untuk seluruh data yang selanjutnya disebut
Hasil-3, dengan kriteria sebagai berikut :
Misalkan : A = tanda peubah bebas terhadap peubah tak bebas pada matriks korelasi.
Data 50
E = tanda peubah bebas hasil regresi komponen utama
Jika : (+,+) dan (-,-) berarti : benar atau tanda peubah bebas tidak berubah.
(+,-) dan (-,+) berarti : salah atau tanda peubah bebas berubah.
b. Contoh penyajian tanda untuk himpunan data n = 10
c. Contoh penghitungan peluang benarlsalah (dari langkah b)
dan seterusnya sampai dengan :
Data 1 A
E
+
Benar (3)
Salah (0) 3
+
-
Data 50-
Salah (0) Benar (2) 2 A E+
Benar (2)Salah (1)
Sehingga peluang benar [P(B)] atau peluang tidak berubah tanda peubah bebas
untuk data pertama adalah 1,O dan untuk data ke-50 adalah 315 pada himpunan
data n = 10.
d. Ulangi langkah (a),(b) dan (c) untuk masing-masing himpunan data n = 20, 25,
30,40.
10. Analisis terhadap peluang benarlsalah dari data hasil simulasi berdasarkan hasil
regresi linier berganda dengan MKT dan membandingkan terhadap hasil
metode regresi komponen utama.
1 1. Analisis terhadap data contoh kasus untuk melihat implikasi dari hasil penelitian
ini dengan regresi linier berganda menggunakan MKT dan membandingkannya
HASIL DAN PEMBAHASAN
Simulasi dilakukan dengan membangkitkan 5 himpunan contoh data masing-
masing berukuran n = 10, 20, 25, 30, 40 dan diulang sebanyak 50 kali, sehingga
terdapat dua ratus lima puluh himpunan data yang digunakan dalarn penelitian ini.
Hasil-1 (Lampiran l), Hasil-2 (Lampiran 2) dan Hasil-3 (Lampiran 3) menyajikan
hasil pengolahan data simulasi dalam bentuk tabel peluang benar [P(B)] dan peluang
salah [P(S)] untuk masing-masing himpunan data tersebut.
Pada bagian ini akan dibahas mengenai Hasil-1, Hasil-2 dan Hasil-3 yang
merupakan hasil dari pengolahan data simulasi untuk melihat perubahan tanda dan
perubahan kesignifikan koefisien regresi dengan berbagai jurnlah data berdasarkan
analisis regresi dengan
MKT
dan metode komponen utama.Selanjutnya akan dibahas sebuah contoh kasus dimana terdapat korelasi yang
tinggi diantara peubah-peubah bebasnya untuk menunjukkan implikasi dari hasil
penelitian ini.
Hasil Pengolahan Data Simulasi
Hasil-1
Hasil-1 merupakan hasil penghitungan peluang tidak berubahnya tanda
[P(B))dan berubahnya tanda [P(S)] peubah bebas hasil dari matriks korelasi apabila
diregresikan berdasarkan regresi linier berganda dengan MKT untuk masing-masing
sebaran peluang tidak berubahnya tanda peubah tersebut perhatikan Gambar I
berikut :
Gambar 1. Diagram kotak garis peluang tidak berubahnya tanda setelah dilakukan regresi linier berganda dengan MKT
dibandingkan terhadap hasil matriks korelasi.
Dari Gambar 1 terlihat bahwa untuk n = 10, 20 dan 30 sebaran peluang tidak
berubahnya tanda peubah bebas [P(B)] menjulur ke kiri berada diantara
0,6-0,8 dibawah median walaupun pada n = 25 sebagian kecil berada di atas median.
Selanjutnya untuk n = 30 dan n = 40 sebaran peluangnya berada pada median dan
menjulur ke kanan di atas median. Keadaan ini mengindikasikan bahwa peluang tidak
berubahnya tanda peubah bebas semakin besar terlihat setelah n = 30, namun secara
umum karena median peluang untuk n = 10,20,25, 30,40 adalah sama, berimplikasi
bahwa untuk melihat perubahan tanda pada peubah bebas yang memiliki
multikolinearitas bila dianalisis dengan regresi linier berganda tidak perlu dengan
banyaknya n yang berbeda-beda. Idealnya sesuai dengan hasil penelitian ini cukup
Keterkaitan hubungan yang sebenarnya antara peubah-peubah bebas dengan
peubah talc bebas dapat dilihat pada matriks korelasi. Hubungan tersebut dinotasikan
dengan tanda
"+"
jika positip atau "-" jika negatip, dimana secara kenyataan(teoritis) bisa ditafsirkan "meningkatkan" atau "menurunkan" atau yang lain
bergantung kepada sifat objek yang diarnati. Rata-rata peluang perubahan tanda
peubah bebas dengan berbagai jurnlah data (Lampiran 1) dapat dilihat pada tabel 1
sebagai berikut.
Tabel 1. Rata-rata penghitungan peluang perubahan tanda berdasarkan persamaan regresi linier berganda dengan MKT vs matriks korelasi
Hasil pada Tabel 1 memperlihatkan bahwa peubah-peubah bebas yang Data
n = 10
n = 2 0
n = 2 5
n = 30
n = 4 0
Rataan
memiliki multikolinearitas secara rata-rata akan mengalami perubahan tanda sebesar
22,8 % dari tanda yang sebenarnya pada matriks korelasi bila dianalisis dengan Peluang Benar 0,708 0,760 0,776 0,808 0,808 0,772
regresi linier berganda menggunakan MKT (Hasil-1, Lampiran 1). Keadaan ini cukup
berarti pengaruhnya khusus pada penelitian yang sangat memperhatikan pola Peluang Salah 0,292 0,240 0,224 0,192 0,192 0,228
keterkaitan dari peubah-peubah yang ingin dicari modelnya.
Selanjutnya dalam Tabel 1 terlihat bahwa banyaknya data akan
data, maka secara rata-rata semakin kecil peluang perubahan tanda dari koefisien
peubah-peubah bebasnya. Narnun untuk data yang lebih besar lagi keadaan ini tidak
berlaku, ha1 ini dapat dilihat bahwa pada n = 30 dan n = 40 peluang perubahan tanda
tersebut memiliki peluang yang sarna, yaitu 0,192.
Hasil-2
Hasil-2 merupakan hasil penghitungan peluang tidak berubahnya [P(B)] dan
berubahnya [P(S)] kesignifikan koefisien regresi linier sederhana untuk masing-
masing peubah bebas dan apabila diregresikan dengan regresi linier berganda
dengan MKT untuk masing-masing himpunan data. Untuk melihat lokasi pemusatan,
rentangan penyebaran dan pola sebaran peluang tidak berubahnya kesignifikan hasil
pengujian koefisien regresi tersebut perhatikan Gambar 2 berikut :
Gambar 2. Diagram kotak garis peluang tidak berubahnya kesignifikan koefisien regresi berdasarkan regresi
Dari Gambar 2 terlihat bahwa untuk n = 10 sebaran peluang kesignifikan
koefisien regresi tidak berubah [P(B)] menjulur ke kanan berada diantara 0,6-0,s
diatas median dan untuk n = 20 simetris tetapi mempunyai median yang sama. Hal
ini mengindikasikan salah kesigifikan koefisien regresi mengalami perubahan tetapi
kecil. Selanjutnya untuk n = 25 sebaran peluangnya simetrik dan mengalami
perubahan cukup berarti dibanding n = 10 dan n = 20 dan seterusnya untuk n = 30
dan n = 40 sebaran peluangnya menjulur ke kiri dan berada pada median. Keadaan ini
mengindikasikan bahwa peluang salah kesignifikan koefisien regresi mengalami
perubahan tetapi kecil , namun secara umum median peluang untuk n = 10, 20
adalah sama dan untuk n = 25, 30, 40 juga sama, yang berimplikasi bahwa untuk
melihat perubahan salah kesignifikan koefisien regresi pada peubah bebas yang
memiliki multikolinearitas bila dianalisis dengan regresi linier sederhana dan regresi
linier berganda dengan MKT perlu diperhatikan banyaknya n
.
Idealnya sesuai hasilpenelitian ini jurnlah data dengan n = 30 menjadi bahan pertimbangan.
Secara statistika kesignifikan koefisien regresi umumnya disimbolkan "I" jika
nyata (signifikan) dan "0" jika tidak nyata. Sesuai hasil pengolahan data simulasi, rata-rata peluang perubahan kesignifikan hasil pengujian hipotesis koefisien regresi
menggunakan MKT dengan berbagai jumlah data (Lampiran 2) dapat dilihat pada
Tabel 2. Rata-rata penghitungan peluang perubahan hasil pengujian hipotesis koefisien regresi berdasarkan regresi linier sederhana vs regresi linier berganda dengan MKT
Hasil pada Tabel 2 memperlihatkan bahwa peubah-peubah bebas yang
memiliki multikolinearitas secara rata-rata akan mengalami salah kesignifikan
koefisien regresi sebesar 29,6 % bila dianalisis dengan regresi linier sederhana
dibandingkan terhadap analisis regresi linier berganda dengan MKT (Hasil-2,
Lampiran 2). Keadaan ini cukup berarti pengaruhnya khusus pada penelitian yang
menggunakan model persamaan regresi sebagai model yang menggambarkan
keterkaitan atau pola hubungan dari objek yang diamati.
Selanjutnya dalam Tabel 2 juga terlihat bahwa banyaknya data akan
mempengaruhi perubahan salah kesignifikan koefisien regresi, dimana semakin
banyak juinlah data, maka secara rata-rata semakin kecil peluang perubahan salah Data
n = 10
n = 2 0
n = 2 5
n = 3 0
n = 4 0
Rataan
kesignifikan koefisien regresi dari peubah-peubah bebasnya. Namun untuk ukuran
data yang lebih besar lagi keadaan ini tidak berlaku, dapat dilihat bahwa pada n = 30
dan n = 40 peluang perubahan salah kesignifikan koefisien regresi meningkat tetapi
[image:52.580.83.486.98.619.2]tidak stabil jika dilakukan penerapan MKT pada peubah-peubah bebas yang
memilliki multikolinearitas.
Hasil-3 merupakan hasil penghitungan peluang tidak berubahnya tanda [P(B)]
dan berubahnya tanda [P(S)] peubah bebas hasil dari matriks korelasi apabila
diregresikan berdasarkan metode regresi komponen utarna untuk masing-masing
himpunan data. Untuk melihat lokasi pemusatan, rentangan penyebaran dan pola
[image:53.580.78.478.56.810.2]sebaran peluang tidak berubahnya tanda koefisien regresi tersebut perhatikan
Gambar 3 berikut :
Gambar 3. Diagram kotak garis peluang tidak berubahnya tanda setelah dilakukan regresi komponen utama dibandingkan dengan hasil matriks korelasi.
Dari Gambar 3 terlihat bahwa untuk n = 10, 20, 25, 30 dan 40 sebaran
kanan berada pada dan diatas median, yaitu antara 0,8-1,O. Ini berarti bahwa peluang
berubahnya tanda peubah bebas secara rata-rata adalah kecil. Keadaan ini
mengindikasikan bahwa banyaknya jurnlah data mempengaruhi perubahan tanda
peubah bebasnya pada kisaran peluang tertentu yang relatif kecil. Dengan demikian
untuk melihat perubahan tanda peubah bebas bila dianalisis dengan regresi komponen
utama bisa dengan jumlah data berapapun.
Selanjutnya untuk melihat lebih jauh peluang perubahan tanda peubah bebas
dengan berbagai jumlah data berdasarkan hasil regresi metode komponen utama vs
hasil matriks korelasi secara rata-rata ditabelkan sebagai berikut.
Tabel 3. Rata-rata penghitungan peluang perubahan tanda berdasarkan
persamaan regresi komponen utama vs h a i l matriks korelasi
Hasil pada Tabel 3 memperlihatkan bahwa peubah-peubah bebas yang
memiliki multikolinearitas secara rata-rata akan mengalami perubahan tanda sebesar
11,76 % dari tanda yang sebenarnya pada matriks korelasi bila dianalisis dengan
regresi komponen utama (Hasil-3, Lampiran 3)
.
Keadaan ini relatif cukup berarti Datan = 10
n = 2 0
n = 2 5
n = 3 0
n = 4 0
pengaruhnya khusus pada penelitian yang sangat memperhatikan tanda dari peubah
yang dimodelkan.
Selanjutnya dalam Tabel 3 terlihat bahwa banyaknya data akan
mempengaruhi perubahan tanda, dimana semakin banyak jurnlah data, maka secara
rata-rata semakin kecil peluang perubahan tanda dari peubah-peubah bebasnya. Dan
juga untuk data yang lebih besar lagi peluang tersebut sangat kecil, ha1 ini dapat
dilihat bahwa pada n = 40 peluang perubahan tanda koefisien regresi tersebut hanya
sebesar 0,076.
Contoh kasus
Contoh kasus ini adalah suatu data amatan (Lampiran 4) berkaitan dengan
proses industrialisasi yang terjadi pada 15 daerah kabupaten di suatu propinsi
(Gasperz, 1992). Peubah-peubah tersebut dispesifikasikan terdiri dari empat peubah
bebas X I , x2, x3, dan x4 untuk tujuan mengetahui sejauh mana pengaruh proses
industrialisasi yang berlangsung terhadap pendapatan per kapita (y).
Penyelesaian dengan Metode kuadrat terkecil (MKT)
Analisis regresi dengan MKT terhadap data pada lampiran 4 menghasilkan
nilai penduga parameter (Tabel 4) dengan daftar sidik ragam (Tabel 5). Semua
3 3
Tabel 4. Penduga parameter Regresi Kuadrat Terkecil
Tabel 5. Tabel Sidik Ragam Regresi Kuadrat Terkecil
P 0,000 0,052 0,774 0,573 0,734
Berdasarkan Tabel 4 dapat dibentuk model regresinya sebagai berikut :
y = 41,7
+
2,35 XI-
0,248xz
+
2,05 x3+
1,57 x4Dari hasil di atas terlihat bahwa nilai ragam yang kecil tidak didukung oleh nilai
simpangan baku koefisien regresi bi yang kecil. Kalau dikaji lebih lanjut terlihat
bahwa tak satupun bi yang nyata secara statistik walaupun
R~
tinggi. Hal inimerupakan salah satu indikasi adanya multikolinearitas diantara peubah bebas. Fakta
ini dapat juga dilihat dari nilai R~~ dan VIF(bi) pada Tabel 6 berikut. T-hitung 6,57 2,20 -0,29 0,58 0,35 Simpangan Baku 6,345 1,066 0,843 3,526 4,492 Peubah Konstan
x I
X2 x3
x4
Prob>F
0,000
S = 2,027 R~ = 0,949
[image:56.580.75.485.82.790.2] [image:56.580.78.491.92.444.2]Tabel 6. Nilai R~~ dan VIF(bi) dari penduga bi
-
Tabel 6 memperlihatkan bahwa nilai VIF dari semua koefisien penduga
regresi lebih besar dari 10, dimana VIF yang melebihi sepuluh kadang-kadang bisa
digunakan sebagai petunjuk adanya kolinearitas (Neter, et al. 1990).
Disamping VIF, cara lain untuk melihat multikolinearitas antar peubah-
peubah bebas dan tanda peubah bebas dengan peubah tak bebas adalah dari matriks
korelasi pearson, yaitu seperti tercantum dalam Tabel 7 berikut.
Tabel 7. Matriks korelasi antar peubah bebas dan peubah tak bebas R2i 0,946 0,787 0,850 0,905 Peubah X I x2 X3 x4 Correlations (Pearson)
Y x 1 x 2 x 3
X I 0,973
x 2 0,887 0,909
X3 0,922 0,933 0,952
x 4 0,95 1 0,969 0,864 0,911
Hasil diatas (Tabel 7) memperlihatkan bahwa terdapat multikolinearitas yang
tinggi antar peubah bebas dan tanda hubungan peubah-peubah bebas dengan peubah
tak bebas semuanya adalah positip. Hasil ini didukung oleh kenyataan bahwa secara
statistik peubah-peubah ukuran industrialisasi yang dispesifikasikan saling
berkorelasi ; Sebagai misal dengan meningkatnya proses industrialisasi akan
berakibat naiknya kontribusi industri manufaktur dalam PDRB (x, meningkat), juga
akan meningkatkan keterlibatan tenaga kerja dalam sektor industri manufaktur (xz
meningkat), produktifitas tenaga kerja industri yang diukur dari naiknya nilai tarnbah
industri per tenaga kerja (x3 meningkat), serta investasi per tenaga kerja industri
bertarnbah (x4 meningkat). Kesemuanya diharapkan akan meningkatkan pendapatan
per kapita (PDRB per kapita), jadi besaran y juga meningkat.
Selanjutnya bila dilakukan regresi sederhana terhadap masing-masing peubah
bebas maka semua penduga parameter adalah nyata (signifikan). Dengan demikian
bila diterapkan hasil penelitian yang ditunjukkan pada bagian hasil pengolahan data
simulasi di atas dengan contoh kasus ini akan diperoleh :
Pertama, penyajian dan penghitungan peluang tidak berubahnya tanda peubah-peubah
bebas bila diregresikan secara linier berganda dengan metoda kuadrat terkecil dari
tanda pada matriks korelasi, yaitu :
X I x2 x3 x4
Matriks Korelasi
+
+
+
+
Regresi Berganda
+
-
+
+
Jadi peluang tidak berubahnya tanda peubah bebas adalah P(B) = 314 atau 75 %,
berarti terjadi salah tanda atau perubahan tanda peubah bebas setelah diregresikan
secara linier berganda dengan MKT sebesar P(S) = 114 atau 25 %, dalam kasus ini
bertanda positip. Artinya, banyaknya tenaga kerja dalam sektor industri manufaktur
(x2) tidak mungkin menurunkan pendapatan per kapita (PDRB per kapita), y.
Kedua, hasil pengujian terhadap koefisien regresi linier sederhana memperlihatkan
bahwa koefisien regresi dari masing-masing peubah bebas X I , x2, x3 dan x4
semuanya sangat nyata, tetapi setelah diregresikan secara bersama (regresi linier
berganda) dengan MKT bahwa tak satupun koefisien penduga parameter dari
peubah bebas tersebut yang nyata (signifikan), yaitu :
X l x2 x3 x4
Regresi sederhana 1 1 1 1
Regresi Berganda 0 0 0 0
Berarti multikolinearitas dari peubah-peubah bebas tersebut mengakibatkan peluang
salah kesignifikan koefisien regresi dengan MKT adalah 1 ,O.
Berdasarkan kedua hasil ini memberikan petunjuk bahwa model persarnaan
regresi linier berganda di atas tidak dapat diduga secara langsung dengan
menggunakan MKT.
Usaha mengatasi multikolinearitas kadang-kadang ditempuh dengan
membangun analisis regresi bertatar (stepwise regression), dimana berdasarkan
prosedur bertatar akan dikeluarkan peubah-peubah yang menyebabkan
multikolinearitas dengan demikian akan menghasilkan persarnaan regresi yang terdiri
mempertimbangkan kriteria statistik tidak mempertimbangkan kriteria teoritik.
Dengan demikian jelas untuk contoh kasus ini tidak tepat.
Ada cara lain untuk mengatasi multikolinearitas yang sangat banyak
digunakan oleh peneliti-peneliti saat ini, yaitu metode analisis regresi komponen
utama yang akan dijabarkan pada bagian berikut ini.
Penyelesaian dengan Metode Regresi Komponen Utama.
Analisis regresi komponen utama menggunakan data pada lampiran 5, data ini
sebagai hasil pembakuan dari data lampiran 4. Akar ciri
hi
beserta proporsikumulatifnya dari persamaan 12'2
-
A,
11
= 0, disajikan pada Tabel 8 berikut.Tabel 8. Nilai Akar Ciri untuk Contoh Kasus
Tabel 9. Nilai vektor ciri untuk kasus contoh Akar ciri
Proporsi
Kumulatif
Peubah W I w2
w3
w4zl -0,505616 0,339848 0,165480 -0,160826
~2 -0,494054 -0,639271 0,139768 0,086489 ~3 -0,503541 -0,3 17894 -0,903545 -0,386065
-0,496699 0,6 12 192 -0,3697 14 0,9042 1 7
[image:60.580.74.496.16.790.2]Dari Tabel 8 menunjukkan bahwa akar ciri pertarna menjelaskan sekitar 94,2
% dari keragaman total yang terjadi, dan akar ciri yang berikutnya hanya menjelaskan
masing-masing sekitar 4,l % dan 1 %. Ini berarti dari empat buah komponen utarna
yang diturunkan dari matriks korelasi antar peubah bebas, hanya sebuah komponen
utama yang memegang peranan penting dalam menerangkan keragaman total
data ukuran industrialisasi.
Dengan demikian komponen utama pertama (Tabel 9) yang merupakan
kombinasi linier dari empat peubah asal yang dibakukan (2) dapat dinyatakan
dalarn persamaan berikut :
WI =
-
0,506 zl-
0,494 z~-
0,504 23-
0,497 4, dans;,
= A , = 3,7694Selanjutnya berdasarkan akar ciri
hi
pada Tabel 8, diperoleh skor komponenutama ditabelkan sebagai berikut.
Berdasarkan analisis regresi peubah talc bebas terhadap Skor komponen utama
pertama SK(WI) yang ditentukan oleh komponen terpilih (W1), maka diperoleh
persamaan regresi komponen utama berikut :
i,
= 76,3-
3,76SK(W, )R' = 92,4%; s2 = 4,68(s2 = KTG = ~ e a n ~ ~ u a r e ~e sidual)
Selanjutnya SK(W 1) merupakan fungsi dari W 1, sehingga bila disubstitusikan
dengan WI diperoleh :
y = 76,3
-
3,76 (- 0,506 zl-
0,494 zz-
0,504 z3-
0,497a)
atau y = 76,3+
1,517 zl+
1,847 z2+
1,883 z3+
1,857 z4.Dari persamaan regresi baku diatas tampak bahwa keempat peubah bebas
ukuran industrialisasi memiliki peranan yang relatif sama besarnya terhadap
pendapatan per kapita (y).
Dengan demikian bila dilakukan pengujian tanda regresi komponen utama vs
matriks korelasi, diperoleh :
X I x2 x3 x4
Matriks Korelasi
+
+
+
+
Regresi Komponen Utama
+
+
+
+
Peluang tidak berubahnya tanda peubah bebas adalah P(B) = 1,O atau 100 %, artinya
tidak terjadi perubahan tanda peubah bebas setelah diregresikan berdasarkan metode
regresi komponen utarna.
Untuk menguji signifikansi koefisien regresi baku secara parsial dari
s2 = Kuadrat tengah Galat (KTG) dan Jumlah Kuadrat Total (JKT), yaitu :
s2 = KTG = 4,68 dan JKT = (y
-
J ' ) ~ = 805,05, maka :Ragam koefisien regresi komponen utama adalah :
Karena dalam analisis regresi komponen utama hanya dilibatkan satu buah
komponen utama, jadi m = 1. Dengan demikian diperoleh :
dimana i= 1,2,3,4 dan ail adalah koefisien pembobot komponen utama pertama
(vektor ciri pertarna), hl adalah akar ciri pertama, sehingga dapat ditentukan ragam
(Variance) dari koefisien regresi yi
,
i=1,2,3,4 sebagai berikut :Var (y2) = s .2
[
(-
0,494)'3.7694
]
= (0,0058) (0,0647) = 0,000375var
(y3) = sa2[
(-
0,504)'3,7694
]
= (0,0058) (0,0674) = 0,00039 1var (y4) = s * ~
[
(-
0,497)'Catatan : Persamaan regresi komponen utama dari komponen utarna terpilih (WI )
adalah : y = 76,3
+
1,5 17 zl+
1,847 2 2+
1,883 z3+
1,857 Q. dimana :Y O = W O , Y I = ~ I I W I , y2=a21W1, y3=a31W1 dan y4=a41W1
2
ag
WI adalah komponen terpilih, maka : vark,) =
sQE-,
i = 1,2,3,4 dan j = 1.2 j=1 .I
Galat baku dari koefisien regresi baku adalah :
Uji signifikansi koefisien regresi baku adalah :
Catatan : yi
,
i=1,2,3,4 adalah koefisien penduga parameter regresi bakuDengan demikian hasil pengujian koefisien regresi secara parsial dapat dilihat
dalarn tabel 1 1 berikut :
Tabel 1 1. Pengujian Koefisien Regresi Secara Parsial
(Berdasarkan Pendekatan Analisis Regresi Komponen Utama)
Dari Tabel 11 terlihat bahwa semua koefisien regresi peubah ukuran
ndustrialisasi yang dihasilkan berdasarkan analisis regresi komponen utarna bersifat
sangat nyata secara statistik pada taraf a = 0,00000.
Selanjutnya pengujian regresi linier sederhana memperlihatkan bahwa
koefisien regresi dari masing-masing peubah bebas XI, xl, x3 dan x4 semuanya
t-hitung t(~i) 76,6162 95,2062 95,1010 95,2308 Galat Baku
~ ( Y I ) 0,0198 0,O 194 0,0198 0,0195 Peubah (z,)
z I
Z2
Z3
a
sangat nyata, dan setelah diregresikan dengan regresi komponen utama bahwa
diperoleh koefisien regresi dari peubah bebas yang semuanya adalah nyata
(signifikan) pada taraf a = 0,00000, yaitu :
Taraf Signifikansi (a) 0,00000 0,00000 0,00000 0,00000 Koefisien Regresi
( ~ i ) 1,517
1,847
1,883
1,857
X I x2 x3 x4
Regresi sederhana 1 1 1 1
Regresi komponen utarna 1 1 1 1
Berarti peluang salah kesignifikan koefisien regresi dengan analisis regresi
[image:65.580.80.495.80.810.2]y = 76,3
+
1,517 zl+ 1,847 22+
1,883 z3+
1,857 24, atauPembandingan hasil MKT dengan Komponen Utama
Hasil analisis memperlihatkan bahwa metode regresi komponen utama jauh
lebih baik dari regresi linier berganda dengan MKT, baik dari hasil analisis data
simulasi maupun data contoh kasus.
Bila dibandingkan hasil yang diperoleh dalarn Tabel 1 dan Tabel 3 bahwa
secara rata-rata peluang berubahnya tanda peubah bebas yang memiliki
multikolinearitas lebih kecil bila digunakan metode regresi komponen utama, yaitu
sebesar 0,118 dibandingkan regresi linier berganda dengan MKT, yaitu sebesar 0,228.
Demikian juga bila dibandingkan terhadap berbagai jumlah data terlihat bahwa secara
rata-rata semuanya jauh lebih kecil dari hasil regresi berganda dengan MKT dan juga
terlihat bahwa semakin banyak jumlah data maka peluang kesalahan tanda maupun
salah kesignifikan koefisien regresi akan semakin kecil.
Dari Gambar 1 dan hasil pada Tabel 1 menunjukkan bahwa peluang
perubahan tanda koefisien regresi dengan penerapan MKT ada indikasi ketidak
stabilan koefisien walaupun secara rata-rata mengalami penurunan. Hal ini
relatif besar (lebar), yaitu berada diantara 0,6 s/d 1,O. Keadaan ini juga ditunjukkan
oleh peluang salah kesignifikan koefisien regresi yang tidak konsisten, dimana
walaupun secara rata-rata mengalami p e n m a n untuk n = 10, 20, 25 dan 30, akan
tetapi terlihat meningkat pada n = 40.
Berbeda dengan yang diperoleh pada Hasil-1 di atas, dari Gambar 3 dan hasil
pada Tabel 3 menunjukkan bahwa peluang perubahan tanda koefisien regresi dengan
penerapan metode regresi komponen utama ada indikasi kestabilan koefisien regresi
dan secara rata-rata mengalami p e n m a n yang konsisten. Hal ini diperlihatkan oleh
interval penyebaran peluang tidak berubahnya tanda tersebut yang relatif kecil
(sempit), yaitu berada diantara 0,s s/d 1 ,O.
Selanjutnya bila dibandingkan dengan analisis data contoh kasus bahwa dari
segi model persamaan dugaan maupun hasil uji kesignifikan koefisien regresi, metode
analisis regresi komponen utama menghasilkan persamaan regresi sangat memuaskan
secara statistik maupun teoritik, dimana semua tanda koefisien regresi sesuai dengan
teori industri serta nyata secara statistik, yaitu memiliki peluang kesalahan tanda
sebesar no1 persen dan peluang salah kesignifikan koefisien regresi sebesar no1
persen. Sementara hasil regresi linier berganda dengan MKT memiliki peluang
kesalahan tanda peubah bebas sebesar 0,25 dan peluang kesalahan kesignifikan
KESIMPULAN DAN SARAN
Kesimpulan
Dari hasil analisis dan pembahasan yang dilakukan terhadap data simulasi dan
data contoh kasus dapat diarnbil beberapa kesimpulan yaitu :
1. Peluang berubahnya tanda peubah bebas hasil regresi linier berganda dengan
MKT secara rata-rata lebih besar dibandingkan dengan hasil metode regresi
komponen utama bila diantara peubah bebasnya terjadi multikolinearitas.
2. Peluang berubahnya tanda peubah bebas bila ditinjau dari berbagai jurnlah data
secara rata-rata pada regresi komponen utama jauh lebih kecil dibanding pada
regresi linier berganda dengan MKT dan semakin besar jumlah data maka peluang
berubahnya tanda memperlihatkan penurunan atau semakin kecil bila diantara
peubah bebasnya terjadi multikolinearitas.
3. Peluang salah kesignifikan koefisien regresi bila masing-masing peubah
diregresikan dibandingkan terhadap regresi linier berganda dengan MKT secara
rata-rata adalah sebesar 0,296 bila diantara peubah bebasnya terjadi
multikolinearitas dan semakin besar jumlah data maka peluang salah kesignifikan
koefisien regresi akan semakin kecil.
Saran
Karena keterbatasan penelitian, analisis hanya dilakukan pada data dengan
mendapatkan hasil yang lebih akurat dan terperinci perlu dilakukan kajian lebih lanjut
untuk berbagai jumlah data yang lebih besar. Sesuai dengan cakupan hasil penelitian
ini, untuk mendapatkan hasil model persamaan regresi yang bisa diandalkan dan
memuaskan secara statistik maupun teoritik apabila diantara peubah bebas yang
dimodelkan terjadi multikolinearitas disarankan menggunakan metode regresi
komponen utama jika model yang diinginkan adalah menentukan pola keterkaitan
hubungan antar peubah bebas dalam pencapaian tujuan pemodelan dari objek yang
DAFTAR PUSTAKA
Aunuddin, 1989. Analisis Data. Pusat Antar Universitas Ilmu Hayat, Institut
Pertanian Bogor. Bogor.
Belsley D.A., E. Kuh. & R. E.Welsch., 1980. Regression Diagnostics : Idcntifiing Influential Data and Sources of Collinearity. John Wiley & Sons, Inc. New York.
Chatterjee, S. & B. Price. 1977. Regression Analysis by Example. John Wiley &
Sons, Inc. New York.
Dillon, W.R. & M. Goldstein. 1984. Multivariate Analysis Methods and Aplications.
New York : Jolm Wiley & Sons, Inc.
Fox, J., & G. Monette. 1992. Ge
