Analisis Metode Forward Stepwise dan Metode Backward Stepwise pada Regresi Linear Berganda dengan Enam Variabel Bebas

(1)

MAKALAH

UNTUK MEMENUHI TUGAS MATA KULIAH ANALISIS REGRESI

ANALISA METODE FORWARD STEPWISE DAN METODE BACKWARD STEPWISE PADA REGRESI LINEAR BERGANDA DENGAN ENAM VARIABEL BEBAS.

Dosen Pengampu : Tiani Wahyu Utami, M.Si

Disusun oleh:

Lydia Nur Sa’adah (B2A022010)

PROGRAM STUDI S1 STATISTIKA

FAKULTAS SAINS DAN TEKNOLOGI PERTANIAN UNIVERSITAS MUHAMMADIYAH SEMARANG

SEMARANG 2023

(2)

A. Pemilihan Variabel Bebas Menggunakan Metode Stepwise

Model regresi yang baik jika model mampu menjelaskan kenyataan yg ada Misalkan terdapt variable bebas x1, x2, x3, … xk dan y variable respon. Mencari model terbaik yg menggandung sebagian atau seluruh variable bebas. Dalam pemilihan model terbaik harus memperhatikan kesederhanaan dan keefektifan model. Makin banyak variable bebas maka akan makin besar variansi y dugaan. Metode Stepwise merupakan gabungan dari dua metode yaitu metode seleksi maju (forward stepwise) dan metode eliminasi mundur (backward stepwise). Data berikut ini menggunakan metode forward stepwise dan backward stepwise.

a) Metode Seleksi Maju (Forward stepwise)

Metode ini variabel bebas dimasukkan satu demi satu menurut urutan besar pengaruhnya terhadap model dan berhenti apabila semua yang memenuhi syarat telah masuk ke dalam model regresi.

b) Metode Eliminasi Mundur (Backward stepwise)

Metode ini berkebalikan dengan metode seleksi maju, kita mulai dengaan memasukkan semua variabel bebas ke dalam model dan kemudian sisihkan satu demi satu sampai semua yang tidak memenuhi keluar dari model regresi.

c) Data

Y X1 X2 X3 X4 X5 X6

16,00 53,00 14,00 79,00 32,00 11,00 15,00

15,00 23,00 66,00 98,00 85,00 17,00 30,00

29,00 38,00 62,00 71,00 49,00 53,00 45,00

22,00 39,00 40,00 63,00 86,00 41,00 60,00

10,00 47,00 24,00 77,00 23,00 13,00 68,00

18,00 47,00 19,00 95,00 28,00 74,00 97,00

25,00 56,00 67,00 56,00 94,00 58,00 44,00

20,00 88,00 80,00 58,00 97,00 43,00 59,00

31,00 75,00 64,00 39,00 79,00 63,00 42,00

30,00 31,00 32,00 33,00 34,00 35,00 36,00

(3)

C. Metode Forward Menggunakan SPSS

Tahapan metode forward adalah sebagai berikut :

✓ Cek korelasi semua variabel bebas terhadap variabel respon

✓ Ambil variabel bebas yang paling berkorelasi dengan variabel respon

✓ Uji pengaruh variabel tersebut apakah berarti atau tidak (signifikan atau tidak), bila variabel tidak signifikan bagi model, maka variabel tersebut keluar dari model.

✓ Ulangi proses tahap kedua untuk variabel bebas lainnya, Langkah-langkah menggunakan software SPSS :

Langkah 1 => Melakukan uji korelasi antara variabel respon dengan semua variabel bebas.

Correlations

Y X1 X2 X3 X4 X5 X6

Y Pearson Correlation 1 .119 .388 -.754^* .251 .598 -.214

Sig. (2-tailed) .744 .268 .012 .484 .068 .552

N 10 10 10 10 10 10 10

X1 Pearson Correlation .119 1 .363 -.363 .352 .320 .139

Sig. (2-tailed) .744 .303 .303 .319 .367 .701

N 10 10 10 10 10 10 10

X2 Pearson Correlation .388 .363 1 -.266 .845^** .280 -.175

Sig. (2-tailed) .268 .303 .458 .002 .434 .628

N 10 10 10 10 10 10 10

X3 Pearson Correlation -.754^* -.363 -.266 1 -.228 -.243 .245

Sig. (2-tailed) .012 .303 .458 .526 .499 .494

N 10 10 10 10 10 10 10

X4 Pearson Correlation .251 .352 .845^** -.228 1 .222 -.167

Sig. (2-tailed) .484 .319 .002 .526 .538 .644

N 10 10 10 10 10 10 10

X5 Pearson Correlation .598 .320 .280 -.243 .222 1 .523

Sig. (2-tailed) .068 .367 .434 .499 .538 .121

N 10 10 10 10 10 10 10

X6 Pearson Correlation -.214 .139 -.175 .245 -.167 .523 1

Sig. (2-tailed) .552 .701 .628 .494 .644 .121

N 10 10 10 10 10 10 10

(4)

Dapat dilihat dari output bahwa nilai korelasi tertinggi terdapat pada variabel X3, Sehingga diperoleh:

• Uji Hipotesis untuk korelasi parsial koefisien X3 Ho: β3 = 0

H1: β3 ≠ 0

• Taraf Signifikan : α=5% = 0,05

• Kriteria Uji: parameter β3 signifikan jika Sig < 0,05

• Statistik Uji

Parameter β3 signifikan karena Sig. 0,012 < 0,05. Dari tabel di atas, terlihat angka koefisien korelasi Pearson Y terhadap X3 sebesar -0,754** Artinya besar korelasi antara variable Y dengan X3, ialah sangat kuat. Arah korelasi dilihat dari angka koefisien korelasi hasilnya positif. Kalau angka koefisien korelasi hasilnya positif maka korelasi kedua variable bersifat searah, maksudnya jika Y tinggi, maka semakin tinggi pula X3.

• Kesimpulan

Sehingga Keputusan Tolak Ho. Jadi Korelasi antara variable Y dan X3 sangat kuat, signifikan tetapi tidak searah.

Langkah 2 : Regresikan variabel X3 terhadap variabel Y Model Summary

Model R R Square Adjusted R Square

Std. Error of the Estimate

1 .754^a .568 .515 4.92905

a. Predictors: (Constant), X3

ANOVA^a

Model Sum of Squares Df Mean Square F Sig.

1 Regression 256.035 1 256.035 10.538 .012^b

Residual 194.365 8 24.296

Total 450.400 9

(5)

Coefficients^a

Model

Unstandardized Coefficients

Standardized Coefficients

t Sig.

B Std. Error Beta

1 (Constant) 38.191 5.343 7.148 .000

X3 -.248 .076 -.754 -3.246 .012

a. Dependent Variable: Y b. Predictors: (Constant), X3

• Uji Hipotesis untuk koefisien X3 Ho: β3= 0 Tidak Terdapat Korelasi H1: β3≠0 Terdapat Korelasi

• Tingkat Signifikan : α = 5%

• Kriteria Uji: Parameter β3 signifikan jika Nlai Sig. < 5%.

• Statistik Uji: Parameter β3 signifikan karena Nilai Sig. 0,012 < 5%.

• Kesimpulan

Sehingga Keputusan Tolak Ho. Jadi Variabel bebas X3 signifikan

Langkah 3 : Jadikan variabel X3 sebagai Control Variables, kemudian ambil variabel bebas yang paling tinggi korelasinya dengan variabel respon. Karena X3 sebagai control maka menggunakan korelasi parsial terhadap Y,X1,X2,X4,X5,X6.

Partial Corr

Correlations

Control Variables Y X1 X2 X4 X5 X6

X3 Y Correlation 1.000 -.253 .296 .124 .650 -.046

Significance (2-tailed) . .512 .439 .750 .058 .906

Df 0 7 7 7 7 7

X1 Correlation -.253 1.000 .297 .296 .257 .253

Significance (2-tailed) .512 . .438 .439 .505 .512

Df 7 0 7 7 7 7

X2 Correlation .296 .297 1.000 .835 .230 -.118

(6)

Significance (2-tailed) .439 .438 . .005 .551 .762

Df 7 7 0 7 7 7

X4 Correlation .124 .296 .835 1.000 .176 -.118

Significance (2-tailed) .750 .439 .005 . .650 .763

Df 7 7 7 0 7 7

X5 Correlation .650 .257 .230 .176 1.000 .619

Significance (2-tailed) .058 .505 .551 .650 . .075

Df 7 7 7 7 0 7

X6 Correlation -.046 .253 -.118 -.118 .619 1.000

Significance (2-tailed) .906 .512 .762 .763 .075 .

Df 7 7 7 7 7 0

Dari tabel Correlations, antar semua variabel bebas dengan variabel respon maka didapat nilai korelasi yang paling tinggi yaitu variabel X5 dengan variabel respon.

Langkah 4 : Ulangi tahapan kedua yaitu Regresikan Variabel X5 dengan Y.

Model Summary

1 .867^a .751 .680 4.00348

a. Predictors: (Constant), X5, X3

ANOVA^a

Model Sum of Squares df Mean Square F Sig.

1 Regression 338.205 2 169.102 10.551 .008^b

Residual 112.195 7 16.028

Total 450.400 9

a. Dependent Variable: Y b. Predictors: (Constant), X5, X3

Coefficients^a

Model

t Sig.

B Std. Error Beta

1 (Constant) 30.025 5.643 5.321 .001

X3 -.213 .064 -.647 -3.326 .013

X5 .142 .063 .440 2.264 .058

(7)

• Uji Hipotesis koefisien X5 H0: β5= 0 Tidak Terdapat Korelasi H1: β5≠0 Terdapat Korelasi

• Kriteria Uji:

H0 Diterima jika p-value > 0,05 H0 Ditolak jika p-value < 0,05

Parameter β5 tidak signifikan karena Sig. 0,058 > 0,05. Sehingga H0 Diterima.

• Kesimpulan

Sehingga Keputusan Terima Ho. Jadi variabel bebas X5 tidak terdapat korelasi atau hubungan yang signifikan dengan variabel respon. Artinya, variabel X5 tidak layak masuk ke dalam model regresi

Langkah 5: Karena X5 dikeluarkan dari model maka tetap jadikan variabel X3 sebagai Control Variables, kemudian ambil variabel bebas yang paling tinggi korelasinya dengan variabel respon. Karena X3 sebagai control maka menggunakan korelasi parsial terhadap Y,X1,X2,X4,X6.

Partial Corr

Correlations

Control Variables Y X1 X2 X4 X6

X3 Y Correlation 1.000 -.253 .296 .124 -.046

Significance (2-tailed) . .512 .439 .750 .906

Df 0 7 7 7 7

X1 Correlation -.253 1.000 .297 .296 .253

Significance (2-tailed) .512 . .438 .439 .512

Df 7 0 7 7 7

X2 Correlation .296 .297 1.000 .835 -.118

Significance (2-tailed) .439 .438 . .005 .762

Df 7 7 0 7 7

X4 Correlation .124 .296 .835 1.000 -.118

(8)

Significance (2-tailed) .750 .439 .005 . .763

Df 7 7 7 0 7

X6 Correlation -.046 .253 -.118 -.118 1.000

Significance (2-tailed) .906 .512 .762 .763 .

Df 7 7 7 7 0

Dari tabel Correlations, antar semua variabel bebas dengan variabel respon maka didapat nilai korelasi yang paling tinggi dengan variabel respon yaitu variabel X2

Langkah 6: Ulangi tahapan kedua yaitu Regresikan Variabel X2 dengan Y.

Model Summary

1 .779^a .606 .494 5.03300

ANOVA^a

1 Regression 273.082 2 136.541 5.390 .038^b

Residual 177.318 7 25.331

Total 450.400 9

Coefficients^a

Model

T Sig.

B Std. Error Beta

1 (Constant) 34.189 7.319 4.671 .002

X3 -.230 .081 -.700 -2.847 .025

X2 .060 .074 .202 .820 .439

(9)

• Kesimpulan

Sehingga Keputusan Terima Ho. Jadi variabel bebas X2 tidak terdapat korelasi atau hubungan yang signifikan dengan variabel respon. Artinya, variabel X2 tidak layak masuk ke dalam model regresi.

Langkah 7: Karena X2 dikeluarkan dari model maka tetap jadikan variabel X3 sebagai Control Variables, kemudian ambil variabel bebas yang paling tinggi korelasinya dengan variabel respon. Karena X3 sebagai control maka menggunakan korelasi parsial terhadap Y,X1,X4,X6.

Partial Corr

Correlations

Control Variables Y X1 X4 X6

X3 Y Correlation 1.000 -.253 .124 -.046

Significance (2-tailed) . .512 .750 .906

Df 0 7 7 7

X1 Correlation -.253 1.000 .296 .253

Significance (2-tailed) .512 . .439 .512

Df 7 0 7 7

X4 Correlation .124 .296 1.000 -.118

Significance (2-tailed) .750 .439 . .763

Df 7 7 0 7

X6 Correlation -.046 .253 -.118 1.000

(10)

Significance (2-tailed) .906 .512 .763 .

Df 7 7 7 0

Dari tabel Correlations, antar semua variabel bebas dengan variabel respon maka didapat nilai korelasi yang paling tinggi dengan variabel respon yaitu variabel X1

Model Summary

1 .772^a .596 .481 5.09853

ANOVA^a

1 Regression 268.435 2 134.218 5.163 .042^b

Residual 181.965 7 25.995

Total 450.400 9

Coefficients^a

Model

T Sig.

B Std. Error Beta

1 (Constant) 42.792 8.656 4.944 .002

X3 -.269 .085 -.819 -3.175 .016

X1 -.064 .093 -.178 -.691 .512

a. Dependent Variable: Y

(11)

• Kesimpulan

Sehingga Keputusan Terima H0. Jadi variabel bebas X1 tidak terdapat korelasi atau hubungan yang signifikan dengan variabel respon. Artinya, variabel X1 tidak layak masuk ke dalam model regresi.

Langkah 9: Karena X1 dikeluarkan dari model maka tetap jadikan variabel X3 sebagai Control Variables, kemudian ambil variabel bebas yang paling tinggi korelasinya dengan variabel respon. Karena X3 sebagai control maka menggunakan korelasi parsial terhadap Y,X4,X6.

Partial Corr

Correlations

Control Variables Y X4 X6

X3 Y Correlation 1.000 .124 -.046

Significance (2-tailed) . .750 .906

Df 0 7 7

X4 Correlation .124 1.000 -.118

Significance (2-tailed) .750 . .763

Df 7 0 7

X6 Correlation -.046 -.118 1.000

Significance (2-tailed) .906 .763 .

Df 7 7 0

Dari tabel Correlations, antar semua variabel bebas dengan variabel respon maka didapat

(12)

nilai korelasi yang paling tinggi dengan variabel respon yaitu variabel X4

Model Summary

1 .758^a .575 .454 5.22865

ANOVA^a

1 Regression 259.029 2 129.514 4.737 .050^b

Residual 191.371 7 27.339

Total 450.400 9

• Uji Hipotesis koefisien X4

H0: β4 = 0 Tidak Terdapat Korelasi H1: β4 ≠ 0 Terdapat Korelasi

H0 Diterima jika p-value > 0,05 H Ditolak jika p-value < 0,05

Coefficients^a

Model

t Sig.

B Std. Error Beta

1 (Constant) 36.576 7.479 4.890 .002

X3 -.242 .083 -.735 -2.904 .023

X4 .020 .059 .084 .331 .750

(13)

• Kesimpulan

Langkah 11: Karena X4 dikeluarkan dari model maka tetap jadikan variabel X3 sebagai Control Variables, kemudian ambil variabel bebas yang paling tinggi korelasinya dengan variabel respon. Karena X3 sebagai control maka menggunakan korelasi parsial terhadap Y,X6.

Correlations

Control Variables Y X6

X3 Y Correlation 1.000 -.046

Significance (2-tailed) . .906

Df 0 7

X6 Correlation -.046 1.000

Significance (2-tailed) .906 .

Df 7 0

Model Summary

1 .755^a .569 .446 5.26376

(14)

ANOVA^a

1 Regression 256.450 2 128.225 4.628 .052^b

Residual 193.950 7 27.707

Total 450.400 9

Coefficients^a

Model

t Sig.

B Std. Error Beta

1 (Constant) 38.505 6.256 6.155 .000

X6 -.010 .080 -.031 -.122 .906

X3 -.245 .084 -.746 -2.917 .022

• Uji Hipotesis koefisien X6

H0: β6 = 0 Tidak Terdapat Korelasi H1: β6 ≠ 0 Terdapat Korelasi

• Kesimpulan

Oleh karena itu, didapatkan model regresi terbaiknya adalah : Y = 38,505 – 0,245 X

(15)

D. Metode Backward Menggunakan SPSS

Tahapan metode backward adalah sebagai berikut :

✓ Masukkan semua variabel bebas dalam model.

✓ Ambil variabel bebas yang berpengaruh paling kecil sebagai variabel yang terakhir masuk.

✓ Uji pengaruh variabel tersebut apakah berarti atau tidak (signifikan atau tidak), bila variabel tidak signifikan bagi model, maka variabel tersebut keluar dari model.

✓ Ulangi proses tahap kedua untuk variabel bebas lainnya, Langkah-langkah menggunakan software SPSS :

Langkah 1 => Melakukan uji regresi antara variabel respon dengan semua variabel bebas.

ANOVA^a

Model Sum of Squares Df Mean Square F Sig.

1 Regression 434.997 6 72.499 14.120 .027^b

Residual 15.403 3 5.134

Total 450.400 9

b. Predictors: (Constant), X6, X1, X4, X3, X5, X2

Coefficients^a

Model

t Sig.

B Std. Error Beta

Model Summary

1 .983^a .966 .897 2.26591

a. Predictors: (Constant), X6, X1, X4, X3, X5, X2

(16)

1 (Constant) 34.997 4.250 8.235 .004

X1 -.098 .046 -.272 -2.146 .121

X2 .071 .062 .238 1.143 .336

X3 -.180 .043 -.548 -4.184 .025

X4 -.052 .047 -.221 -1.101 .351

X5 .246 .049 .761 5.003 .015

X6 -.135 .048 -.435 -2.835 .066

• Uji Hipotesis H0: β1,2,3,4,5,6 = 0 H1: β1,2,3,4,5,6 ≠ 0

Parameter β1,2,4,6 tidak signifikan karena Nilai Sig. > 0,05. Sehingga H0 Diterima.

• Kesimpulan

Sehingga Keputusan Terima H0. Jadi variabel bebas X1 X2 X4 dan X6 tidak signifikan dengan variabel respon. Artinya, variabel tersebut tidak layak masuk ke dalam model regresi.

Langkah 2 => Analisis regresi antara variabel respon dengan variabel bebas X3 dan X5.

Model Summary

1 .867^a .751 .680 4.00348

ANOVA^a

(17)

1 Regression 338.205 2 169.102 10.551 .008^b

Residual 112.195 7 16.028

Total 450.400 9

Coefficients^a

Model

t Sig.

B Std. Error Beta

1 (Constant) 30.025 5.643 5.321 .001

X3 -.213 .064 -.647 -3.326 .013

X5 .142 .063 .440 2.264 .058

• Uji Hipotesis H0: β3, β5 = 0 H1: β3, β5 ≠ 0

Parameter β5 tidak signifikan karena Nilai Sig. > 0,05. Sehingga H0 Diterima.

• Kesimpulan

Sehingga Keputusan Terima H0. Jadi variabel bebas X5 tidak signifikan dengan variabel respon. Artinya, variabel tersebut tidak layak masuk ke dalam model regresi.

Oleh karena itu, didapatkan model regresi terbaiknya adalah : Y = 30,025 – 0,213 X3