BAB 2
LANDASAN TEORI
2.1 Regresi Linier Sederhana
Dalam beberapa masalah terdapat dua atau lebih variabel yang hubungannya tidak dapat dipisahkan, dan hal tersebut biasanya diselidiki sifat hubungannya. Analisis regresi adalah sebuah teknik statistika untuk membuat model dan menyelidiki hubungan antara dua variabel atau lebih. Analisis regresi dapat digunakan untuk membuat sebuah model yang menggambarkan hasil sebagai sebuah fungsi temperatur tertentu. Ini dapat juga digunakan untuk tujuan optimalisasi atau tujuan proses kontrol. Analisis regresi telah lama dikembangkan untuk mempelajari pola dan mengukur hubungan statistika antara dua atau lebih peubah (variabel).
Persamaan matematik yang memungkinkan melakukan peramalan nilai-nilai suatu peubah tak bebas dari satu atau lebih peubah bebas disebut persamaan regresi. Istilah ini berasal dari hasil pengamatan yang dilakukan Sir Francis Galton (1822 – 1911) yang membandingkan tinggi badan anak laki-laki dengan tinggi badan bapaknya. Galton menyatakan bahwa tinggi badan anak laki-laki dari badan yang tinggi pada beberapa generasi kemudian cenderung “mundur” (regressed) mendekati rata-rata populasi.
Pada umumnya, misalkan ada sebuah variable tidak bebas tunggal atau respon y yang berhubungan dengan k variabel bebas, katakana x1, x2,…,xk diukur dengan error yang dapat diabaikan. {xi} disebut variabel matematik dan seringkali dikontrol oleh para pelaku percobaan.
Variabel bebas x diasumsikan sebagai sebuah variabel kontinu secara matematik, dapat dikontrol oleh para pelaku percobaan. Misalkan hubungan sebenarnya antara y dan x sebuah garis lurus, dan nilai observasi y pada masing-masing x adalah sebuah variabel random. Sekarang nilai harapan y untuk masing-masing nilai x adalah :
Dimana intercept β0 dan slope β1 konstanta yang tidak diketahui. Diasumsikan masing-masing observasi, y, dapat digambarkan dengan model
Y = β0+ β1x + ε
Di mana ε adalah error random dengan rata-rata nol dan varians σ2. {ε} juga diasumsikan menjadi variabel-variabel random yang tidak berhubungan. Model regresi di atas terdiri dari sebuah variabel bebas tunggal x yang sering disebut model regresi linier sederhana.
Misalkan ada n pasangan observasi, katakana (y1, x1), (y2, x2), …. (yn, xn). Data ini dapat digunakan untuk memperkirakan parameter β0 dan β1 yang tidak diketahui.
2.2. Metode Kuadrat Terkecil (Leat Square Method)
Untuk menentukan persamaan regresi tersebut, teknik yang paling mudah adalah dengan “jalan kira-kira” dan langsung menarik garis lurus di sekitar titik-titiknya menurut pengamatan paling dekat pada titik-titiknya yang berkerumunan. Kemudian dihitung besarnya konstanta dan derajat kemiringan. Akan tetapi untuk suatu penelitian, cara ini jarang dilakukan oleh karena terlalu kasar, juga terlalu subjektif dan sedapat mungkin harus dihindari.
Prosedur penarikan garis regresi yang banyak dikenal adalah metode kuadrat terkecil (least square). Metode ini memilih suatu garis regresi yang membuat jumlah kuadrat jarak vertikal dari titik-titik yang dilalui garis lurus tersebut sekecil mungkin. Dalam hal ini, akan memperkirakan β0 dan β1 sehingga jumlah kuadrat dari deviasi atau simpangan antara observasi-observasi dan garis regresi menjadi minimum. Misalkan ada n pasangan observasi-observasi, katakan (y1, x1), (y2, x2), …. (yn, xn). Data ini dapat digunakan untuk memperkirakan parameter β0 dan β1 sehingga jumlah kuadrat dari deviasi/simpangan antara observasi-observasi dan garis regresi menjadi minimum.
Sehingga dapat ditulis :
Y = β0+ β1Xi+ ε i =1, …., n
(
)
[
]
∑
∑
= = − − − = = n i n i i i i Y X X S 1 2 1 1 0 2 β β εDengan demikian meminimumkan fungsi kuadrat terkecil S adalah mempermudah jika ditulis kembali model tersebut, persamaan tersebut menjadi
(
)
ε β β + − + = X X Y 0 1 Dengan: :∑
= n iXi n X (1) X 1 0 0 β β β = + .Dalam persamaan diatas telah diperiksa variabel beban untuk rata-rata, dihasilkan dalam sebuah transformasi pada intercept. Maka persamaan model regresi linier sederhana yaitu :
ε β
β + − + = 0 1(X X)
Y
Dengan menggunakan persamaan model regresi linier sederhana tersebut, maka fungsi kuadrat terkecil adalah :
(
)
[
]
2 1 1 1 0∑
= − − − = n i i X X Y S β βDengan estimator β0dan β1 yang harus memenuhi :
(
)
[
]
0 2 1 1 1 0 0 = − − − − = ∂ ∂∑
= n i i X X Y S β β β(
)
[
]
(
)
0 2 1 1 1 0 1 = − − − − − = ∂ ∂∑
= X X X X Y S i n i i β β βDari dua persamaan diatas menghasilkan persamaan normal kuadrat terkecil :
∑
= = n i i Y n 1 0 β atau Y Y n n i i = =∑
= ∧ 1 0 1 β(
)
(
)
∑
∑
= = − = − n i i n i i i X Y X X X 1 1 2 1 β atau 2 ) ( ) ( 1 1 1∑
∑
= = ∧ − − = n i i n i i i X X X X Y β 0 ∧β dan β adalah estimator untuk incerpt (titik potong) dan slope (kemiringan). Estimator model ∧1 regresi linier sederhana adalah :
) ( 1 0 X X Y = + i − ∧ ∧ ∧ β β
untuk menyajikan hasil-hasil dalam susunan intercept yang asli β1 maka 0 ∧ β = '0 ∧ β - 1 ∧ β X
sehingga perkiraan yang cocok untuk model regresi adalah ) ( 1 ' 0 X Y ∧ ∧ ∧ + =β β
Persamaan regresi linier sederhana dapat ditulis dalam bentuk lain dengan memberi simbol khusus untuk pembilang dan penyebutnya yaitu :
SXX = n X X X X n i i n i i 2 1 2 1 1 2 ) ( − = −
∑
∑
∑
= = SXY = n Y X Y X X X Y n i i n i i i i n i i i − = −∑
∑
∑
∑
= = = 1 1 1 ) ( Dengan :SXX : koreksi atau perbaikan jumlah kuadrat X dan SXY : perbaikan jumlah silang produk X dan Y, Sehingga estimator slope adalah :
1 ∧ β = XX XY S S
Selain estimator β0 dan β1, menurut Montgomery dan Peck (1991) estimasi σ2 juga dibutuhkan dalam uji hipotesis dan pembentukan estimasi interval yang berhubungan dengan model regresi. Etimasi β0 danβ1 dapat diperoleh dari residual atau jumlah kuadrat galat yaitu :
SSE =
∑
∑
= = ∧ − = n i n i i i Y Y 1 1 2 2 1 ( ) εBentuk tetap untuk SSE dapat disubstitusikan 1( ) ' 0 X X Y = + i− ∧ ∧ ∧ β β ke dalam persamaan (8) dan dengan penyederhanaan akan menghasilkan, yaitu :
SSE = XY n i S Y n Y ∧ = − −
∑
1 2 1 2 1 β∑
∑
− = − ≡ − 2 2 1 2 1 nY (Y Y) Y S i n i YY Dengan :SYY = koreksi atau perbaikan jumlah kuadrat dari pengamatan. Sehingga :
SSE = SYY - 1SXY
∧
β
Jumlah kuadrat residual mempunyai derajat kebebasan n-2 karena 2 derajat kebebasan adalah gabungan dari estimasi
∧ 0
β dan β yang terlihat dalam pembentukan ∧1 Ŷi. Nilai ekspektasi dari SSE adalah E(SSE) = (n-2)σ2, jadi estimator tak bias dari σ2 untuk regresi parametrik adalah :
E E MS n SS = − = ∧ 2 2 σ
2.3. Pengujian Hipotesis dalam Regresi Linier Sederhana
Sebuah bagian penting dalam perkiraan yang memadai dari model regresi linier sederhana adalah pengujian hipotesis secara statistik mengenai model parameter-parameter dan membentuk interval keyakinan tertentu. Pengujian hipotesis dalam regresi linier sederhana adalah pengujian hipotesis terhadap intercept (β0) dan kemiringan (β1). Pengujian hipotesis mengenai slope dan
intercept model regresi, juga harus dibuat asumsi tambahan bahwa komponen error εi
berdistribusi normal. Maka asumsi-asumsi selengkapnya bahwa error adalah NID (0, σ2).
Selanjutnya akan dibahas bagaimana asumsi-asumsi dapat diperiksa dengan analisis residual. Yitnosumarto (1985) menjelaskan bahwa pengujian hipotesis secara statistik hanya dapat dilakukan apabila asumsi-asumsi yang diperlukan terpenuh. Asumsi-asumsi yang dimaksud berdasarkan persamaan (1) adalah :
1. εi merupakan peubah acak dengan mean nol dan varian σ2atau E (εi) = 0 dan V (εi) = σ2; 2. εi dan εj dengan i ≠ j tidak berkorelasi sehingga Cov (εi, εj) = 0, i ≠ j;
3. εi tersebar secara normal atau εi≈ NID (0, σ2).
Jika pada percobaan akan dilakukan pengujian terhadap β1 yang sama dengan sebuah konstanta misalkan β1(0) maka pada umumnya hipotesis tersebut dirumuskan sebagai berikut :
H0 : β1 = β1(0) H1 : β1 ≠ β1(0)
Di mana akan diduga alternatifnya dua arah. Sekarang karena εi adalah NID (0, σ2) yang mengikuti secara langsung bahwa observasi-observasi yi adalah NID (β0 + β1xi, σ2). Maka sebagai sebuah hasil asumsi secara normal, statistiknya adalah :
xx E S MS t0 = β −1 β1(0) ∧
Kaidah pengambilan keputusan untuk pengujian hipotesis ini adalah sebagai berikut : H0 ditolak jika |t0| > 2 , 2n− tα , nilai 2 , 2n−
tα dapat diperoleh dari tabel t dengan menggunakan nilai
α dan derajat kebebasan (n-2) (Hines dan Montgomery, 1990). Dengan cara yang sama dapat
digunakan untuk menguji intercept β0, dan hipotesisinya adalah sebagai berikut : H0 : β0 = β00
Statistik ujinya adalah : + − = ∧ xx E S X n MS t 2 00 0 0 1 β β Dengan : H0 ditolak jika |t0| > 2 , 2n− tα
Hipotesis persamaan diatas dilandasi oleh pengujian dua arah, yaitu : H0 : β1 = 0
H1 : β1 ≠ 0
Hipotesis ini dihubungkan untuk nyata regresi. Keputusan untuk menolak H0 : β1 = 0 adalah sama dengan memutuskan bahwa disana tidak ada hubungan linier antara x dan y. Perlu dicatat bahwa ini dapat menyatakan secara tidak langsung, x berasal dari nilai yang kecil dalam menjelaskan variasi y dan estimator y yang terbaik untuk setiap nilai x adalah ŷ = y , atau hubungan sebenarnya antara x dan y tidak linier. Secara alternatif, jika H0 : β1 = 0 ditolak, ini menyatakan bahwa x adalah nilai dalam menjelaskan variabilitas tersebut dalam y. bagaimanapun menolak H0 : β1 = 0 dapat berarti bahwa model garis lurus, atau seringkali di sana ada sebuah pengaruh linier x.
2.4. Interval Kepercayaan dalam Regresi Linier Sederhana
Interval kepercayaan dapat digunakan sebagai taksiran suatu parameter dan dapat pula dipandang sebagai pengujian hipotesis yaitu apakah suatu parameter yang dalam hal ini adalah β1 dan β0 sama dengan suatu nilai tertentu. Asumsi-asumsi yang digunakan dalam interval kepercayaan masih sama dengan asumsi yang digunakan pada pengujian hipotesis yaitu jika εi berdistribusi
normal dan bebas maka xx E S MS / ) 0 ( 1 1 ∧ − β β dan + − = ∧ xx E S X n MS t 2 00 0 0 1 β β
keduanya berdistribusi t dengan
derajat kebebasan (n-2). Selanjutnya interval kepercayaan (1-α) 100% untuk parameter β1 adalah
xx E n xx E n S MS t S MS t 2 , 2 1 1 2 , 2 1 − ∧ − ∧ + ≤ ≤ − α β β α β .
Sedangkan interval kepercayaan (1 – α) 100% untuk parameter β0 adalah :
xx E n xx E n S MS t S MS t 2 , 2 1 1 2 , 2 1 − ∧ − ∧ + ≤ ≤ − α β β α β
Menurut Montgomery dan Peck (1990) standar error dari slope β1 dirumuskan dengan
xx E S MS se ∧ ) (β1
Dan standar error untuk intercept
∧ 0 β adalah + = ∧ xx E S X n MS se 2 1 ) (β
Sedangkan standard error estimasi dapat dihitung dari persamaan :
( )
2 ) ( 2 1 2 1 0 1 2 − − − = − =∑
∑
= ∧ ∧ = n X Y n se n i i i n i i β β εDalam berbagai masalah terdapat dua atau lebih variabel yang hubungannya tidak dapat dipisahkan, dan hal tersebut biasanya diselidiki sifat hubungannya. Analisis regresi merupakan sebuah teknik statistik untuk membuat model dan menyelidiki hubungan antara dua variabel atau lebih. Sebagai contoh, dalam sebuah proses kimia, misalkan bahwa hasil produk dihubungkan dengan temperatur/proses produk tersebut. Jadi analisis regresi tersebut dapat digunakan untuk
membuat model yang menggambarkan hasil sebagai sebuah fungsi temperatur. Model ini dapat juga digunakan untuk tujuan optimalisasi atau tujuan proses kontrol.
2.5. Metode Regresi Theil
Perkiraan slope garis regresi sebagai median slope dari seluruh pasangan garis dari titik-titik dengan nila x yang berbeda. Untuk satu pasangan (x1, yi)dan(xj, yj), slopenya adalah :
i j i j ij X X Y Y b − − = Dengan: i < j dan Xi≠ Xj
Jika dinotasikan penduga median dari β dengan
,
Theil telah menyarankan perkiraan dari dengan median dari seluruh atau alternatifnya dapat dipilih=
med ( med ( ), dimana med ( ) adalah median dari seluruh pengamatan, sedangkan garis kuadrat terkecil melalui rata-ratanya.Kenyataan bahwa menurut data-data yang ada dan yang telah ada dalam contoh menyebabkan garis lurus yang dihasilkan akan sangat berbeda bila menggunakan metode kuadrat terkecil, dan metode Theil tidak menyelesaikan suatu masalah.
Sprent menyarankan bahwa kuadrat terkecil yang cocok mungkin tidak sesuai dengan datanya dan tidak mungkin mendekati garis lurus dengan kesalahannya berdistribusi normal dan identik, tetapi mengabaikan pertanyaan yang meragukan apakah titik (6, 11, 1) kesalahannya cukup serius, atau hubungannya tidak benar-benar linear. Pada penelitian yang serempak mengenai pencilan yang secara efektif dijumlahkan untuk menggantikan kesalahan yang berdistribusi normal dengan kesalahan yang berdistribusi ekor panjang. Hussain dan Sprent (1983) berpendapat bahwa metode Theil hamper seefisien metode kuadrat terkecil bila asumsi kenormalan sah, dan hal ini menunjukkan sebuah perbaikan nyata dalam efisien dengna kesalahan berdistribusi ekor panjang, terutama dengan ukuran sampel kurang dari (<) 30. Ada sebuah perbaikan yang lebih nyata pada kasus terakhir dalam memperkirakan α, meskipun ini biasanya kurang menarik pada β.
Hussain dan Sprent juga berpendapat bahwa penduga-penduga yang didasarkan pada median tertimbang yang dilakukan pada keseluruhannya tidaklah lebih baik, dan kadang-kadang kurang baik daripada penduga Theil karena ada pencilan.
2.6. Metode Theil untuk Pengujian Koefisien Kemiringan
Daniel (1989) menjelaskan bahwa pengujian koefisien kemiringan dengan menggunakan metode Theil disusun berdasarkan statistik τ Kendall dan digunakan untuk mengetahui bentuk hubungan peubah-peubah regresi.
Asumsi-asumsi yang melandasi pengujian pada koefisien kemiringan adalah a. persamaan regresinya adalah Yi = β0 + β1Xi +εi, i = 1, ….,n dengan
Xi peubah bebas, βo dan β1 adalah parameter-parameter yang tidak diketahui; b. untuk masing-masing nilai Xi terdapat nilai Yi;
c. Yi adalah nilai yang teramati dari Y yang acak dan kontinu untuk nilai Xi; d. Semua nilai Xi saling bebas dan kita menetapkan X1 < X2 < … < Xn. e. Nilai-nilai εi saling bebas dan berasal dari populasi yang sama.
Penduga b yang baik untuk β akan menjadi sisaan yang sesuai dengan masing-masing pengamatan, dinotasikan dengan εidi mana εi = yi – a – bxi, akan mempunyai kemungkinan yang sama menjadi positif atau negatif. Hal ini menyatakan asumsi bahwa εi berdistribusi secara acak dengan median nol dan bebas dari xi. Sekarang,
bij = i j i j i j i i j j i j i j x x b x x bx a bx a X X Y Y − − + = − + + − + + = − − ( ε ) ( ε ) ε ε
Persamaan di atas menyatakan setiap bij akan lebih besar daripada b jika (xi,εi) dan (xj,εj) sesuai dengan bahwa bij akan menjadi lebih daripada b jika ini tidak sesuai dalam pengertian yang digunakan tau Kendall. Pemilihan terhadap med {bij} sebagai penduga b menjamin setengah pasangan serasi dan setengahnya lagi tidak serasi.
Setiap pemilihan b yang mana kita menerima tau Kendall konsisten dengan korelasi nol antara x yang diamati dan sisaan yang bersesuaian, ε, adalah dapat diterima dalam
arti bahwa ini konsisten dengan korelasi nol antara x dan sisaannya. Dengan kata lain, menerima setiap b yang tidak memberikan sejumlah pasangan yang tidak serasi (atau serasi) yang menunjukkan tau Kendall tidak nol, yaitu tidak ingin jumlah yang tidak serasi (atau serasi) terlalu kecil atau terlalu besar.
Karena nc+ nd = N sama dengan jumlah bij yang ditimbulkan dari n pengamatan dengan xi yang berbeda, maka menolak τ = 0 dalam pengujian dua arah pada tingkat 5 % misalnya.
Hipotesis-hipotesis yang melandasi pengujian ini adalah a. dua arah : Ho : β1 = β1(0) H1 : β1 ≠ β1(0) ; b. satu arah : Ho: β1≤ β1(0) H1: β1> β1(0) c. satu arah : H0: β1≥ β1(0) ; H1: β1< β1(0)
Seperti yang telah dijelaskan, prosedur yang diuraikan disusun berlandaskan statistik τ Kendall, sehingga statistik ujianya adalah
n Q P− = ∧ τ Dengan ∧
τ = statistik uji τ Kendall
P = banyaknya pasangan berurutan wajar Q = banyaknya pasangan berurutan terbalik n = banyaknya pasangna yang diamati
Kaidah pengambilan keputusan untuk ketiga pasangan hipotesis di atas adalah sebagai berikut : a. dua arah : ≤ > ∧ 0 * 0 * , 2 , ( , 2 , ( H terima n H tolak n α τ α τ τ b. satu arah : ≤ > ∧ 0 * 0 * ), , ( ), , ( H terima n H tolak n α τ α τ τ
c. satu arah : ≥ < ∧ 0 * 0 * ), 2 , ( ), 2 , ( H terima n H tolak n α τ α τ τ τ*
adalah harga-harga kritis dalam table statistik uji τ Kendall. Pengujian koefisien kemiringan ini dengan membuat tataan dan membandingkan semua hasil pengamatan menurut nilai-nilai X (Daniel, 1989).
2.7. Interval Kepercayaan untuk Koefisien Kemiringan
Metode pembentukan interval kepercayaan terhadap koefisien kemiringan ini dilandaskan pada prosedur pengujian hipotesis Theil untuk β1, sedangkan asumsi-asumsi yang mendasari prosedur pengujian hipotesis ini juga berlaku pada pembentukan interval kepercayaan (1-α) bagi
≤ > ∧ 0 * 0 * , 2 , ( , 2 , ( H terima n H tolak n α τ α τ τ
Lebih lanjut Daniel (1989) menjelaskan bahwa konstanta untuk interval kepercayaan adalah k = 2 2 ) 2 , ( 2− nα − nC S Dengan :
k = konstanta untuk interval kepercayaan
2
C
n = banyaknya nilai bij yang mungkin dari n pasangan pengamatan
S(n,α/2) = titik kritis τ Kendall untuk n pasangan pengamatan pada taraf α Berdasarkan nilai konstanta tersebut akan diperoleh
∧
L
β sebagai batas bawah interval kepercayaan untuk β1 dan
∧
U
β sebagai batas interval kepercayaan untuk β1,
∧
L
β adalah nilai bij ke-k yang dihitung dari nilai paling ke-kecil dalam statistike-k tataan bagi nilai bij.
∧
U
β adalah nilai bij ke-k yang dihitung mundur dari nilai yang paling besar dalam statistik tataan tersebut.
Interval kepercayaan untuk β1 dengan suatu koefisien kepercayaan (1-α) adalah C (
∧
L
β < β1 < β ) = 1 – α ∧U
dengan C adalah kependekan dari confidence (kepercayaan) dan menunjukkan bahwa ekspresi ini lebih merupakan suatu pernyataan kepercayaan daripada suatu pernyataan probabilitas (Daniel, 1989).
