4.2. Multikolinieritas
Multikolinieritas terjadi ketika variabel independen dalam model regresi berkorelasi. Korelasi ini merupakan masalah karena variabel independen harus independen. Jika tingkat korelasi antara variabel cukup tinggi, itu dapat menyebabkan masalah ketika menafsirkan hasilnya. Mengapa multicollinearity merupakan masalah potensial?
Tujuan utama dari analisis regresi adalah untuk mengisolasi hubungan antara masing-masing variabel independen dan variabel dependen. Interpretasi dari koefisien regresi adalah bahwa itu mewakili perubahan rata-rata dalam variabel dependen untuk setiap 1 unit perubahan dalam variabel independen ketika semua variabel independen lainnya konstan. Bagian terakhir itu penting untuk diskusi tentang multikolinieritas.
Idenya adalah bahwa dapat mengubah nilai satu variabel independen dan bukan yang lain. Namun, ketika variabel independen berkorelasi, ini menunjukkan bahwa perubahan dalam satu variabel dikaitkan dengan perubahan pada variabel lain. Semakin kuat korelasinya, semakin sulit untuk mengubah satu variabel tanpa mengubah yang lain. Menjadi sulit bagi model untuk memperkirakan hubungan antara masing-masing variabel independen dan variabel dependen secara independen karena variabel independen cenderung berubah bersamaan.
Ada dua jenis dasar multikolinearitas:
• Multikolinearitas struktural: Tipe ini terjadi ketika kita membuat istilah model menggunakan istilah lain. Dengan kata lain, itu adalah produk sampingan dari model yang kami tentukan daripada hadir dalam data itu sendiri. Misalnya, jika Anda kuadratkan istilah X ke model kelengkungan, jelas ada korelasi antara X dan X2.
• Data multikolinearitas: Jenis multikolinearitas ini hadir dalam data itu sendiri alih-alih menjadi artefak model kami. Eksperimen observasional lebih cenderung menunjukkan multikolinieritas semacam ini.
Apa Masalah Penyebab Multicollinearity?
Multikolinieritas menyebabkan dua jenis masalah dasar berikut:
• Estimasi koefisien dapat berayun liar berdasarkan variabel independen lainnya dalam model. Koefisien menjadi sangat sensitif terhadap perubahan kecil dalam model. • Multikolinearitas mengurangi ketepatan koefisien estimasi, yang melemahkan kekuatan statistik model regresi Anda. Anda mungkin tidak dapat mempercayai nilai-p untuk mengidentifikasi variabel independen yang signifikan secara statistik.
Bayangkan Anda cocok dengan model regresi dan nilai koefisien, dan bahkan tanda-tandanya, berubah secara dramatis tergantung pada variabel spesifik yang Anda sertakan dalam model.
Ini perasaan yang membingungkan ketika model yang sedikit berbeda mengarah pada kesimpulan yang sangat berbeda. Anda tidak merasa seperti Anda tahu efek aktual dari setiap variabel.
Sekarang, berikan fakta bahwa Anda tidak perlu mempercayai nilai-p untuk memilih variabel independen untuk dimasukkan ke dalam model. Masalah ini menyulitkan untuk menentukan model yang benar dan untuk membenarkan model jika banyak nilai p Anda tidak signifikan secara statistik.
Ketika keparahan multikolinearitas meningkat, maka lakukan juga efek bermasalah ini. Namun, masalah ini hanya mempengaruhi variabel independen yang berkorelasi. Anda dapat memiliki model dengan multikolinearitas yang parah, namun beberapa variabel dalam model dapat sepenuhnya tidak terpengaruh.
Contoh regresi dengan multikolinearitas yang diuraikan akan menggambarkan masalah ini dalam tindakan.
Apakah Harus Memperbaiki Multikolinearitas?
Multicollinearity menyulitkan untuk menafsirkan koefisien Anda, dan itu mengurangi kekuatan model Anda untuk mengidentifikasi variabel independen yang signifikan secara statistik. Ini jelas masalah serius. Namun, kabar baiknya adalah Anda tidak selalu harus menemukan cara untuk memperbaiki multikolinieritas.
Kebutuhan untuk mengurangi multikolinearitas tergantung pada tingkat keparahannya dan tujuan utama model regresi Anda. Ingatlah tiga hal berikut:
1. Tingkat keparahan masalah meningkat dengan tingkat multikolinieritas. Oleh karena itu, jika Anda hanya memiliki multikolinearitas sedang, Anda mungkin tidak perlu mengatasinya. 2. Multikolinieritas hanya memengaruhi variabel independen spesifik yang berkorelasi. Oleh karena itu, jika multikolinearitas tidak ada untuk variabel independen yang sangat Anda minati, Anda mungkin tidak perlu menyelesaikannya. Misalkan model Anda berisi variabel eksperimental yang menarik dan beberapa variabel kontrol. Jika multikolinieritas tinggi ada untuk variabel kontrol tetapi bukan variabel eksperimental, maka Anda dapat menafsirkan variabel eksperimental tanpa masalah.
3. Multikolinieritas memengaruhi koefisien dan nilai-p, tetapi tidak memengaruhi prediksi, ketepatan prediksi, dan statistik good-of-fit. Jika tujuan utama Anda adalah membuat prediksi, dan Anda tidak perlu memahami peran masing-masing variabel independen, Anda tidak perlu mengurangi multikolinearitas yang parah.
Fakta bahwa beberapa atau semua variabel prediktor berkorelasi di antara mereka sendiri, secara umum, tidak menghambat kemampuan kita untuk mendapatkan kecocokan yang baik juga tidak cenderung mempengaruhi kesimpulan tentang tanggapan rata-rata atau prediksi pengamatan baru.
Pengujian Multikolinearitas dengan Variance Inflation Factors (VIF)
Jika Anda dapat mengidentifikasi variabel mana yang dipengaruhi oleh multikolinieritas dan kekuatan korelasinya, Anda sudah siap untuk menentukan apakah Anda perlu memperbaikinya. Untungnya, ada tes yang sangat sederhana untuk menilai multikolinieritas dalam model regresi Anda. Variance inflation factor (VIF) mengidentifikasi korelasi antara variabel independen dan kekuatan korelasi itu.
Perangkat lunak statistik menghitung VIF untuk setiap variabel independen. VIF mulai dari 1 dan tidak memiliki batas atas. Nilai 1 menunjukkan bahwa tidak ada korelasi antara variabel independen ini dan variabel lainnya. VIF antara 1 dan 5 menunjukkan bahwa ada korelasi sedang, tetapi tidak cukup parah untuk menjamin tindakan korektif. VIF lebih besar dari 5 mewakili tingkat kritis multikolinieritas di mana koefisien diperkirakan buruk, dan nilai-p dipertanyakan.
Gunakan VIF untuk mengidentifikasi korelasi antar variabel dan menentukan kekuatan hubungan. Sebagian besar perangkat lunak statistik dapat menampilkan VIF untuk Anda. Menilai VIF sangat penting untuk studi observasi karena studi ini lebih cenderung memiliki multikolinieritas.
Contoh Multikolinieritas: Memprediksi Kepadatan Tulang pada Femur Contoh regresi ini menggunakan subset variabel yang saya kumpulkan untuk percobaan. Dalam contoh ini, saya akan menunjukkan kepada Anda bagaimana mendeteksi multikolinieritas serta menggambarkan efeknya. Saya juga akan menunjukkan cara menghapus multikolinieritas struktural.
Saya akan menggunakan analisis regresi untuk memodelkan hubungan antara variabel independen (aktivitas fisik, persentase lemak tubuh, berat badan, dan interaksi antara berat badan dan lemak tubuh) dan variabel dependen (kepadatan mineral tulang leher femoral). Berikut adalah hasil regresi:
Hasil ini menunjukkan bahwa Bobot, Aktivitas, dan interaksi di antara keduanya signifikan secara statistik. Persentase lemak tubuh tidak signifikan secara statistik. Namun, VIF menunjukkan bahwa model kami memiliki multikolinieritas parah untuk beberapa variabel independen.
Perhatikan bahwa Aktivity memiliki VIF dekat 1, yang menunjukkan bahwa multikolinieritas tidak memengaruhinya dan kami dapat mempercayai koefisien dan nilai-p ini tanpa tindakan lebih lanjut. Namun, koefisien dan nilai-p untuk persyaratan lainnya dicurigai!
Selain itu, setidaknya beberapa multikolinearitas dalam model kami adalah tipe struktural. Kami telah memasukkan istilah interaksi berat badan * lemak. Jelas, ada korelasi antara istilah interaksi dan kedua istilah efek utama. VIF mencerminkan hubungan ini.
Saya punya trik rapi untuk menunjukkan kepada Anda. Ada metode untuk menghapus multikolinieritas struktural jenis ini dengan cepat dan mudah. Pusatkan Variabel Independen untuk Mengurangi Multikolinieritas Struktural Dalam model kami, istilah interaksi setidaknya sebagian bertanggung jawab untuk VIF tinggi. Kedua istilah tingkat tinggi dan istilah
interaksi menghasilkan multikolinieritas karena istilah ini termasuk efek utama. Memusatkan variabel adalah cara sederhana untuk mengurangi multikolinieritas struktural.
Memusatkan variabel juga dikenal sebagai standardisasi variabel dengan mengurangi rata-rata. Proses ini melibatkan menghitung rata-rata untuk setiap variabel independen kontinu dan kemudian mengurangi rata-rata dari semua nilai yang diamati dari variabel itu. Kemudian, gunakan variabel terpusat ini dalam model Anda. Sebagian besar perangkat lunak statistik menyediakan fitur pemasangan model Anda menggunakan variabel standar.
Ada metode standardisasi lain, tetapi keuntungan dari hanya mengurangi rerata adalah bahwa interpretasi koefisien tetap sama. Koefisien terus mewakili perubahan rata-rata dalam variabel dependen diberikan perubahan 1 unit dalam variabel independen. Di lembar kerja, saya telah memasukkan variabel bebas terpusat di kolom dengan S yang ditambahkan ke nama variabel. Regresi dengan Variabel Centered
Mari cocok dengan model yang sama tetapi menggunakan variabel independen terpusat.
Perbedaan yang paling jelas adalah bahwa VIF semuanya turun ke nilai yang memuaskan; semuanya kurang dari 5. Dengan menghapus multikolinieritas struktural, kita dapat melihat bahwa ada beberapa multikolinieritas dalam data kami, tetapi tidak cukup parah untuk
menjamin langkah korektif selanjutnya. Menghapus multikolinieritas struktural menghasilkan perbedaan penting lainnya dalam output yang akan kami selidiki.
Membandingkan Model Regresi dengan Mengungkapkan Efek Multikolinieritas Kita dapat membandingkan dua versi dari model yang sama, satu dengan multikolinieritas tinggi dan satu tanpa itu. Perbandingan ini menyoroti efeknya. Variabel independen pertama yang akan kita lihat adalah Activity. Variabel ini adalah satu-satunya yang hampir tidak memiliki multikolinieritas pada model pertama. Bandingkan koefisien Aktivitas dan nilai-p antara kedua model dan Anda akan melihat bahwa keduanya sama (koefisien = 0,000022, p-nilai = 0,003). Ini menggambarkan bagaimana hanya variabel yang sangat berkorelasi dipengaruhi oleh masalahnya.
Mari kita lihat variabel yang memiliki VIF tinggi di model pertama. Kesalahan standar koefisien mengukur ketepatan estimasi. Nilai yang lebih rendah menunjukkan perkiraan yang lebih tepat. Kesalahan standar pada model kedua lebih rendah untuk% Fat dan Weight. Selain itu, % Fat signifikan dalam model kedua meskipun tidak dalam model pertama. Bukan hanya itu, tetapi tanda untuk% Fat telah berubah dari positif ke negatif. Presisi yang lebih rendah, tanda yang diaktifkan, dan kurangnya signifikansi statistik adalah masalah khas yang terkait dengan multikolinieritas.
Sekarang, lihat tabel Ringkasan Model untuk kedua model. Anda akan melihat bahwa kesalahan standar dari regresi (S), squared, squared yang disesuaikan, dan prediksi R-squared semuanya identik. Seperti yang saya sebutkan sebelumnya, multikolinearitas tidak memengaruhi prediksi atau kebaikan. Jika Anda hanya ingin membuat prediksi, model dengan multikolinieritas parah sama baiknya!
Cara Menangani Multikolinearitas
Saya menunjukkan bagaimana ada berbagai situasi di mana Anda tidak perlu menghadapinya. Multikolinearitas mungkin tidak parah, mungkin tidak memengaruhi variabel yang paling Anda minati, atau mungkin Anda hanya perlu membuat prediksi. Atau, mungkin hanya multikolinieritas struktural yang dapat Anda hilangkan dengan memusatkan variabel.
Tetapi, bagaimana jika Anda memiliki multikolinieritas yang parah dalam data Anda dan Anda harus mengatasinya? Apa yang kamu lakukan? Sayangnya, situasi ini sulit untuk diselesaikan. Ada berbagai metode yang dapat Anda coba, tetapi masing-masing memiliki beberapa kelemahan. Anda harus menggunakan pengetahuan bidang studi dan faktor dalam tujuan studi Anda untuk memilih solusi yang memberikan campuran terbaik dari kelebihan dan kekurangan.
• Hapus beberapa variabel independen yang sangat berkorelasi.
• Secara linear menggabungkan variabel independen, seperti menambahkannya bersama-sama.
• Melakukan analisis yang dirancang untuk variabel yang sangat berkorelasi, seperti analisis komponen utama atau regresi kuadrat terkecil parsial.
Ketika Anda mempertimbangkan sebuah solusi, ingatlah bahwa semua ini memiliki kelemahan. Jika Anda dapat menerima koefisien yang kurang tepat, atau model regresi dengan R-kuadrat tinggi tetapi hampir tidak ada variabel yang signifikan secara statistik, maka tidak melakukan apa pun tentang multikolinearitas mungkin merupakan solusi terbaik.
