Perbandingan Model Regresi Logistik Antara Metode Forward dan Metode Backward dalam Pemilihan Variabel

(1)

MAKALAH

UNTUK MEMENUHI TUGAS MATA KULIAH ANALISIS REGRESI

ANALISA METODE BACKWARD STEPWISE DAN METODE FORWARD STEPWISE Dosen Pengampu : Tiani Wahyu Utami, M.Si

Disusun oleh:

Lydia Nur Sa’adah (B2A022010)

PROGRAM STUDI S1 STATISTIKA

FAKULTAS SAINS DAN TEKNOLOGI PERTANIAN UNIVERSITAS MUHAMMADIYAH SEMARANG

SEMARANG 2023

(2)

A. Pengertian Metode Stepwise

Metode stepwise adalah salah satu metode untuk membangun modelprediksi.

Metode stepwise terdiri dari metode forward dan backward yang memiliki kriteria pemilihan variabel yang berbeda. Penelitian ini memiliki tujuan untuk membandingkan model regresi logistik antara metode forward dengan metode backward.

a) Metode Backward

Metode backward merupakan langkah mundur, semua variabel X diregresikan dengan variabel Y. Pengeliminasian variabel X didasarkan pada nilai F(parsial)

terkecil dan turut tidaknya variabel X pada model juuga ditentukan oleh nilai F(tabel). Metode backward merupakan metode regresi yang baik karena dalam metode ini dijelaskan perilaku variabel respon dengan sebaik-baiknya dengan memilih variabel penjelas dari sekian banyak variabel penjelas yang tersedia dalam data.

b) Metode Forward

Metode forward adalah langkah maju di mana peubah bebas dimasukkan satu demi satu menurut urutan besar pengaruhnya terhadap model, dan berhenti bila semua yang memnuhi syarat telah masuk. Dimulai dengan memeriksa matriks korelasi kemudian mengambil peubah bebas yang menghasilkan koefisien korelasi maksimum, dan tidak dipersoalkan apakah korelasi positif atau negatif karena yyang diperhatikan hanyalah eratnya hubungan antara suatu peubah bebas dengan Y sedangkan arah hubungan tidak menjadi persoalan.

B. Data

Y X1 X2 X3 X4 X5 X6

16,00 53,00 14,00 79,00 32,00 11,00 15,00

15,00 23,00 66,00 98,00 85,00 17,00 30,00

29,00 38,00 62,00 71,00 49,00 53,00 45,00

22,00 39,00 40,00 63,00 86,00 41,00 60,00

10,00 47,00 24,00 77,00 23,00 13,00 68,00

18,00 47,00 19,00 95,00 28,00 74,00 97,00

25,00 56,00 67,00 56,00 94,00 58,00 44,00

20,00 88,00 80,00 58,00 97,00 43,00 59,00

31,00 75,00 64,00 39,00 79,00 63,00 42,00

30,00 31,00 32,00 33,00 34,00 35,00 36,00

(3)

C. Metode Backward Menggunakan SPSS

OUTPUT

Variables Entered/Removed^a

Model Variables Entered Variables Removed Method

1 X6, X1, X4, X3, X5, X2^b . Enter

2 . X4 Backward (criterion:

Probability of F-to-remove

>= .100).

3 . X2 Backward (criterion:

Probability of F-to-remove

>= .100).

a. Dependent Variable: Y

b. All requested variables entered.

➢ Model 1

Pada tabel Variables Entered/Removed yang menjelaskan bahwa terdapat 3 persamaan regresi (model) pada kasus di atas. Model pertama adalah dengan memasukkan seluruh variabel bebas: X1, X2, X3, X4, X5, X6 dengan menggunakan metode Enter.

➢ Model 2

Model kedua adalah dengan mengeluarkan variabel X4 dengan menggunakan metode Backward.

➢ Model 3

Model ketiga adalah dengan memasukkan variabel X2 dengan menggunakan metode Backward.

Model Summary

Model R R Square Adjusted R Square Std. Error of the Estimate

1 .983^a .966 .897 2.26591

2 .976^b .952 .892 2.32524

3 .975^c .950 .910 2.12813

a. Predictors: (Constant), X6, X1, X4, X3, X5, X2 b. Predictors: (Constant), X6, X1, X3, X5, X2 c. Predictors: (Constant), X6, X1, X3, X5

(4)

➢ Model 1

Nilai R Square bermakna bahwa terdapat korelasi antar variabel independent yang positif sangat kuat, yaitu sebesar 0.966.

Sedangkan nilai Adjusted R Square bermakna bahwa variabel dependen dapat dijelaskan oleh variabel independen sebesar 89.7%.

➢ Model 2

Nilai R Square bermakna bahwa terdapat korelasi antar variabel independen yang positif sangat kuat, yaitu sebesar 0.952.

➢ Model 3

Nilai R Square bermakna bahwa terdapat korelasi antar variabel independen yang positif sangat kuat, yaitu sebesar 0.950.

ANOVA^a

Model Sum of Squares df Mean Square F Sig.

1 Regression 434.997 6 72.499 14.120 .027^b

Residual 15.403 3 5.134

Total 450.400 9

2 Regression 428.773 5 85.755 15.861 .010^c

Residual 21.627 4 5.407

Total 450.400 9

3 Regression 427.755 4 106.939 23.612 .002^d

Residual 22.645 5 4.529

Total 450.400 9

b. Predictors: (Constant), X6, X1, X4, X3, X5, X2 c. Predictors: (Constant), X6, X1, X3, X5, X2 d. Predictors: (Constant), X6, X1, X3, X5

Tabel ANOVA di atas digunakan untuk uji F, yaitu uji kelayakan model secara keseluruhan.

(5)

• Hipotesis

H0: β1 = β2 = β3 = β4 = β5 = β6 = 0 (Tidak ada pengaruh dari variabel independen terhadap variabel dependen)

H1: minilai ada satu βk≠ 0 (Minimal ada 1 variabel independen yang berpengaruh terhadap variabel dependen)

• Taraf signifikansi (α = 0,05 atau 5%)

• Kriteria pengujian

H0 DITERIMA jika nilai sig, > 0,05 H0 DITOLAK jika nilai sig < 0,05

➢ Model 1

Didapat nilai sig untuk model 1 adalah 0.027 dimana 0.027 < 0.05, maka H0 ditolak.

Artinya minimal ada 1 pengaruh dari variabel independen terhadap variabel dependen.

➢ Model 2

Didapat nilai sig untuk model 2 adalah 0.010 dimana 0.010 < 0.05 maka H0 ditolak. Artinya minimal ada 1 variabel independen yang berpengaruh terhadap variabel dependen.

➢ Model 3

Didapat nilai sig untuk model 1 adalah 0.002 dimana 0.002 < 0.05, maka H0 ditolak.

Artinya minimal ada 1 variabel independen yang berpengaruh terhadap variabel dependen.

Coefficients^a

Model

Unstandardized Coefficients

Standardized Coefficients

t Sig.

B Std. Error Beta

1 (Constant) 34.997 4.250 8.235 .004

X1 -.098 .046 -.272 -2.146 .121

X2 .071 .062 .238 1.143 .336

X3 -.180 .043 -.548 -4.184 .025

X4 -.052 .047 -.221 -1.101 .351

X5 .246 .049 .761 5.003 .015

X6 -.135 .048 -.435 -2.835 .066

2 (Constant) 34.622 4.347 7.965 .001

(6)

X1 -.103 .046 -.287 -2.221 .091

X2 .017 .039 .057 .434 .687

X3 -.182 .044 -.553 -4.115 .015

X5 .247 .050 .763 4.884 .008

X6 -.133 .049 -.427 -2.717 .053

3 (Constant) 35.092 3.853 9.109 .000

X1 -.097 .040 -.269 -2.400 .062

X3 -.181 .040 -.549 -4.475 .007

X5 .255 .043 .788 5.930 .002

X6 -.141 .041 -.454 -3.419 .019

➢ Model 1

Pada tabel Coefficients di atas tampak bahwa Nilai sig untuk β4 pada model 1 merupakan nilai sig yang paling besar. Uji koefisien tersebut dapat dilakukan dengan uji T sebagai berikut.

• Hipotesis

H0: β4 = 0 (Koefisien regresi tidak signifikan) H1: β4 ≠ 0(Koefisien regresi signifikan)

• Taraf Signifikan (α = 0.05 atau 5%)

• Kriteria Pengujian

H0 DITERIMA jika nilai sig > 0.05 H0 DITOLAK jika nilai sig < 0.05

• Pengambilan Keputusan

Nilai sig untuk model 1 adalah 0,351 dimana > 0,05 maka H0 DITERIMA. Artinya koefisien regresi tidak signifikan sehingga variabel X4 tidak layak untuk masuk model selanjutnya. Diperoleh persamaan regresi untuk model 1 adalah

Y = 34,997 – 0,098X1 +0,071X2 – 0,180X3 – 0,052X4 + 0,246X5 – 0,135X6

(7)

➢ Model 2

Nilai sig untuk β2 pada model 2 merupakan nilai sig yang paling besar. Uji koefisien tersebut dapat dilakukan dengan uji T sebagai berikut.

• Hipotesis

• Daerah Penolakan

H0 ditolak jika nilai sig < 0.05

Nilai sig untuk model 2 adalah 0,687 dimana 0,687 > 0,05 maka H0 DITERIMA. Artinya koefisien regresi tidak signifikan sehingga variabel X2 tidak layak untuk masuk model selanjutnya. Diperoleh persamaan regresi untuk model 2 adalah

Y = 34,662 – 0,103X1 +0,017X2 – 0,182X3 + 0,247X4 – 0,133X6

➢ Model 3

Pada tabel Coefficients di atas tampak bahwa pada model 3 terdapat empat nilai Sig dari empat variabel independen. Uji koefisien tersebut dapat dilakukan dengan uji T sebagai berikut.

1) Uji Hipotesis β1

• Hipotesis

• Daerah Penolakan

H0 ditolak jika nilai sig < 0.05

Nilai sig untuk model 3 adalah 0,062 dimana 0,062 > 0,05 maka H0 DITERIMA. Artinya koefisien dari β1 tidak signifikan tidak layak masuk kedalam model dengan kata lain variabel X1 tidak mempengaruhi variabel Y.

(8)

2) Uji Hipotesis β3, β5, β6

• Hipotesis

Nilai sig pada model 3 untuk β3 adalah 0,007 dimana 0,007 < 0,05 maka H0 DITOLAK.

Artinya koefisien dari β3, β5, β6 signifikan masuk kedalam model dengan kata lain variabel X3, X5, X6 mempengaruhi variabel Y. Diperoleh persamaan regresi untuk model 3 adalah Y = 35,092 – 0,181X3 + 0,255X5 – 0,141X6

Excluded Variables^a

Model Beta In T Sig.

Partial Correlation

Collinearity Statistics Tolerance

2 X4 -.221^b -1.101 .351 -.536 .283

3 X4 -.040^c -.310 .772 -.153 .755

X2 .057^c .434 .687 .212 .700

b. Predictors in the Model: (Constant), X6, X1, X3, X5, X2 c. Predictors in the Model: (Constant), X6, X1, X3, X5

➢ Model 2

Pada tabel Excluded Variabels menjelaskan tentang variabel independen yang dikeluarkan pada masing-masing model. Dari tabel di atas tampak bahwa model 2 mengeluarkan variabel X4.

➢ Model 3

Dari tabel di atas tampak bahwa model 3 mengeluarkan variabel X4 dan X2.

(9)

KESIMPULAN

Berdasarkan hasil analisis dengan menggunakan metode backward , maka model ke-3 dianggap lebih baik, karena secara uji statistik memenuhi semua kriteria. Maka persamaan regresi terbaiknya adalah Y = 35,092 – 0,181X3 + 0,255X5 – 0,141X6.

D. Metode Backward Menggunakan SPSS OUTPUT

Variables Entered/Removed^a

Model Variables Entered

Variables

Removed Method

1 X3 . Forward (Criterion:

Probability-of-F-to- enter <= .050)

Pada tabel di atas dapat dilihat bahwa persamaan regresi (model) pertama adalah memasukkan variabel X3 dengan metode Forward dan variabel dependennya adalah Y.

Model Summary

Model R R Square

Adjusted R Square

Std. Error of the Estimate

1 .754^a .568 .515 4.92905

a. Predictors: (Constant), X3

Model 1 Nilai yang digunakan adalah R dan R Square.

• Nilai R bermakna bahwa terdapat korelasi antar variabel independen yang positif sangat kuat yaitu sebesar 0,754.

• Sedangkan nilai R Square bermakna bahwa variabel dependen dapat dijelaskan oleh variabel independen sebesar 56,8%

(10)

ANOVA^a

Model Sum of Squares Df Mean Square F Sig.

1 Regression 256.035 1 256.035 10.538 .012^b

Residual 194.365 8 24.296

Total 450.400 9

a. Dependent Variable: Y b. Predictors: (Constant), X3

➢ Model 1

• Hipotesis H0: β3 = 0

H1: Minimal ada satu βk ≠ 0 (β3 ≠ 0)

• Daerah Penolakan H0

H0 ditolak jika nilai sig < 0.05 atau Fhit > Ftabel

Didapat nilai sig = 0.012 < 0.05. Artinya pada tingkat kepercayaan 95% H0 ditolak.

Dengan demikian minimal ada satu variabel yang signifikan masuk ke dalam model, jadi analisis selanjutnya dapat dilakukan.

➢ Model 1

• Hipotesis

• Taraf Signifikan (α = 0,05 atau 5%)

Coefficients^a

Model

Unstandardized Coefficients

Standardized Coefficients

t Sig.

B Std. Error Beta

1 (Constant) 38.191 5.343 7.148 .000

X3 -.248 .076 -.754 -3.246 .012

(11)

Nilai sig untuk model 1 adalah 0,012 dimana 0,012 < 0,05 maka H0 ditolak. Artinya koefisien regresi signifikan masuk ke dalam model. Diperoleh persamaan regresi untuk model 1 adalah

Y = 38,191 − 0,248X3.

Excluded Variables^a

Model Beta In t Sig.

Partial Correlation

Collinearity Statistics Tolerance

1 X1 -.178^b -.691 .512 -.253 .869

X2 .202^b .820 .439 .296 .929

X4 .084^b .331 .750 .124 .948

X5 .440^b 2.264 .058 .650 .941

X6 -.031^b -.122 .906 -.046 .940

b. Predictors in the Model: (Constant), X3

➢ Model 1

Pada tabel Excluded Variables menjelaskan tentang variabel independen yang dikeluarkan pada masing-masing model. Dari tabel di atas tampak bahwa model 1 mengeluarkan variabel X1, X2, X4, X5, dan X6.

KESIMPULAN

Berdasarkan hasil analisis dengan menggunakan metode Stepwise maka model pertama dianggap lebih baik, karena secara uji statistik memenuhi semua kriteria. Maka penduga persamaan regresi terbaiknya adalah Y = 38,191 − 0,248X3.