Resume Model Regresi Linier berganda

Resume Model Regresi

Linier

Oleh:



Ivana Gabriella (111810101021)



Rimbi Puspita Dini (111810101037)



Lailatul Putri S. (111810101040)

Model Regresi Linier

3.1 Model Linier

Missal Y menunjukkan variabel yang dihubungkan dengan K variabel bebas ₁, ,

dari fungsi .

= 1, , + (3.1) Ketika linier, persamaan (3.1) ditulis

= 1 1+ + + (3.2)

yang disebut model regresi linier.

3.2 Prinsip Kuadrat Terkecil Biasa (OLS)

Misal B himpunan vektor-vektor . Kita punya =ℝk. untuk mencari ′ = ( 1, , ) dari B yaitu meminimumkan jumlah kuadrat-kuadrat residual.

= 2

=1

= ′ = − ′ −

(3.7)

diberikan oleh X dan y

= ′ + ′ ′ −2 ′ ′

(3.8) dan diturunkan terhadap

= 2 ′ −2 ′

(3.9) 2

2 = 2 ′

(3.10) Penyamaan derivatif pertama sampai nol disebut persamaan normal

′ _{= ′}

Teorema 3.1

(i) = , dugaan dari y, memiliki nilai yang sama untuk semua solusi ′ = ′

(ii) , jumlah persamaan yang didefinisikan di (3.7), mencapai minimum untuk beberapa solusi ′ = ′

Bukti :

(i) = ′ − ′ + − ′ − ′

= ′ − ′ (w independen) dengan ′ − ′ =

(ii) = − + − ′ − + −

= − ′ − + − ′ ′ − + 2 − ′ ′( − )

= − ′ − + − ′ ′ ( − ) , gunakan (3.11)

− ′ _{− =}

= ′ −2 ′ + ′ ′

= ′ − ′ ′ = ′ − ′

(3.14) 3.3 Sifat-Sifat Geometri dari OLS

Untuk X matriks TxK, didefinisikan daerah kolom

ℛ( ) = θ:θ= Xβ ,βϵℝK

merupakan daerah bagian ℝT. Jika x = X′X 1/2 untuk x∈ ℝT, prinsip kuadrat terkecil sama seperti meminimumkan y−θ untuk θ∈ ℛ( ).

Teorema 3.2

Nilai minimum dari y−θ untuk θ∈ ℛ( ) dicapai pada � yaitu ( − � ) ⊥ ℛ( ) oleh karena itu − � vektor ortogonal dari ℛ( ) ketika � proyeksi ortogonal y pada ℛ( )

sehingga menghasilkan eksplisit

� = � = ′ − ′

bukti :

misal θ∈ ℛ( ) sedemikian hingga ( − � )⊥ ℛ( ), sehingga ′ − � = 0.

− � 2 _{= − � +� − �} ′ _{− � +� − �}

= − � ′ − � + � − � ′ � − � − � 2

Karena syarat − � ′ − � habis menggunakan kondisi yang ortogonal. Minimum dicapai ketika � =� .

3.4 Estimasi Tak Bias Linier Terbaik

3.4.1 Teorema Dasar

= 0 , ′ =�2

(3.17) dan X telah ditentukan atau matriks non stokastik berorder TxK, dengan rank lengkap K.

Lemma 3.3

Misal T statistik sehingga =� , � <∞ , �(. ) menyatakan varians, dan dimana � merupakan parameter skalar. Kondisi perlu dan cukup T adalah MVUE (estimator tak bias varians minimum) dari parameter � adalah

, = 0 ∀ sehingga = 0 dan �( ) < ∞

(3.18) Bukti perlu :

Misal T MVUE dan t sedemikian hingga = 0 dan �( ) <∞ . + tak bias � untuk setiap ∈ ℝ dan

� + = � + 2_{� + 2 ,} �

⇒ 2_{� + 2 , 0 ∀}

⇒ , = 0

Bukti cukup :

Misal estimator tak bias dengan varians terbatas − sedemikian hingga − = 0 ,

�( − ) <∞ , dan

� = � + − =� +� − + 2 , −

Misal ′= ( 1, , ) estimasi tak bias dari parameter vektor �′ = �1, ,� , dimana T estimator alternatif ₀ .

0

(3.22) Diperoleh persamaan karakteristik MDUE t dari � pada �₀ :

, �0 = 0 ∀ sehingga � = 0 ∀�

(3.23) Misal + ′ fungsi linier dengan dugaan nol maka

+ ′ = + ′ = 0 ∀

⇒ = 0, ′ = 0 ∈ ℛ( )

dimana Z matriks yang direntangkan pada kolom daerah ortogonal ℛ( ) dengan rank(Z)=T-rank(X)

Teorema 3.5

MDLUE (estimator linier tak bias sebaran minimum) dari adalah

= ′ −1 ′

(3.26) seperti estimator kuadrat terkecil dan sebaran matriks minimum adalah

�2 ′ −1 Jika MDLUE gunakan persamaan (3.23)

Bukti :

Misal estimator tak bias ′ maka

= = ′ ⇒ = ′

, ′ =�2 = 0⇒ = ′ untuk beberapa B.

Maka = ′ = ′ = ′ , memberikan = ′ ′ − memiliki satu solusi, dan

= ′ ′ ′ − ′. MDLUE dari ′ adalah

= ′ ′ − ′ = ′ sehingga ( ′ ) =�2 ′ ′ − .

bukan estimasi tapi dapat digunakan untuk menghitung estimasi-estimasi terbaik fungsi parametrik yang dapat diestimasikan.

3.4.2 Estimator Linier

Definisi 3.7 disebut estimator homogen dari jika = 0, dilain sisi disebut inhomogeneous.

Fungsi kuadrat dari variabel acak adalah

, , = − ′ − (3.39)

dimana adalah simetris dan 0 × -matrik.

Definisi 3.8 Persamaan Kuadrat dari sebuah estimator dari adalah terbatas sebagai

, , = − ′ − (3.40)

Definisi 3.9 (R(A) superior) sebuah estimator ₂ dari disebut ( ) superior atau sebuah ( )-peningkatan dari estimator yang lain ₁ dari jika

1, , − 2, , 0 (3.41)

3.4.3 Kesalahan Rata-Rata Dispersi

Kesalahan rata-rata disperse didefinisikan sebagai matrik

, = − − ′ (3.42)

� = − − ′ (3.43) jika = , maka akan disebut tak bias untuk . Jika ≠ , maka disebut bias. Perbedaan dari dan adalah

, = − (3.44)

jika tak bias, maka , = 0

Berikut ini merupakan dekomposisi dari kesalahan pembubaran rataan:

, = − + − − + − ′ =

� + , , ′ (3.45)

Hal tersebut adalah kesalahan pembubaran rataan dari sebuah estimator adalah jumlah dari kovarian matriks dan akar bias.

MDE superior

Definisi 3.10 (criteria I MDE) diberikan ₁ dan ₂ sebagai dua estimator dari . Kemudian ₂ disebut MDE-superior ke ₁(atau ₂ disebut peningkatan MDE dari ₁) jika turunan dari matriks MDE adalah nonnegatif terbatas, jika

∆ 1, 2 = 1, − 2, 0 (3.46)

Bentuk fungsi skalar dari MDE yaitu:

, , = , (3.47)

Teorema 3.11 Mempertimbangkan dua estimator ₁ dan ₂ dari . Berikut ini merupakan pernyataan yang equivalen:

∆ 1, 2 0, (3.48)

1, , − 2, , = ∆ 1, 2 0 (3.49)

untuk semua matrik dengan tipe = ′.

Bukti : Menggunakan (3.46) dan (3.47) kita mendapatkan

1, , − 2, , = ∆ 1, 2 (3.50)

dari teorema A.43 berikut bahwa ∆ ₁, ₂ 0 untuk semua matrik = ′ 0

3.5 Estimasi (Prediksi) Kesalahan dengan Syarat � dan ��

Perkiraan oleh , sehingga diperoleh sisa

= − = − � (3.51)

dimana � = ′ − ′ adalah operator proyeksi di ℛ( ), sebagi sebuah estimator dari , dengan prediksi rataan kesalahan:

= − = − � =�2 − � − � = �2 − � (3.52)

Teorema 3.12 Prediksi MDLU dari sebagai yang didefinisikan dalam (3.51). Bukti: Diberikan ′ menjadi prediksi takbias dari . Maka

′ = ′ = 0 ∀ ⟹ ′ = 0 (3.53)

kesalahan dari dispersi adalah

− ′ _{= −} ′ _=�2 − ′ −

Ambil − ′ = , maka masalah tersebut menemukan

min ′ = (3.54)

dan prediksi terbaik dari adalah

= ′ = − = − �

Menggunakan prediksi dari kita dapat memperoleh estimator tak bias dari �2sebagai

3.6 Pengelompokkan Regresi dibawah Kesalahan Normal

Semua hasil yang diperoleh adalah benar tanpa tergantung dengan distribusi nyata dari distibusi acak dengan ketentuan = 0 dan ′ = �2 _{. Kita asumsikan bahwa} vektor dari distribusi acak dibagi menurut suatu T-dimensi distribusi normal

(0,�2 ), dengan kemungkinan kepadatan:

; 0,�2 = 2��2 − Hal ini merupakan suatu kasus umum dari T-dimensi distribusi normal = ( ,�) dengan kepadatan Pengelompokan model regresi linier dibawah kesalahan normal diberikan oleh

= + ,

adalah unsur dari ruang parameter Ω yang berisi semua nilai dapat diterima.

Gagasan dasar dari prinsip ML adalah untuk mempertimbangkan kepadatan

= �;� untuk suatu perwujudan spesifik dari sampel�₀ dari � sebagai fungsi

3.6.5 Estimasi ML dalam Regresi Normal Klasik

= + ~ ,�2 _(3.59) jadi fungsi likelihood dari diberikan oleh

,�2 _{= (2��}2₎−_{2exp −} 1

2�2 − ′ − (3.60)

Karena perubahan logaritma adalah monoton, dan hal tersebut sesuai untuk memaksimalkan ln ,�2 sebagai ganti dari ,�2 , dengan argumen maksimal

Jika tidak ada pembatasan utama dari parameter, maka ruang parameter yang diberikan oleh Ω= ;�2: ∈ ℝ ;�2 > 0 . Kita memperoleh estimasi ML dari dan �2 dengan penyamaan derivatif pertama dengan nol (Teorema A.91-A.95):

ln

=

1

3.7 Pengujian Hipotesis Linier

Dalam bagian ini kita akan mempertimbangkan masalah pengujian hipotesis linier umum ₀: = . Dengan R a K x s-matriks dan rank (R) = K-s, terhadap alternatif ₁: ≠ di mana diasumsikan bahwa R dan r adalah non stokastik.

Hipotesis ₀merupakan vektor parameter β sesuai dengan K-s pembatas linier yang tepat, independen linier, karena rank (R) = K-s. Hipotesis linier umum memiliki kasus utama yaitu:

Kasus 1: = 0. × − adalah asumsi dari rank (X) = K, dengan

0 1 dalam bentuk berikut:

1: ≠ ∗

Sebagai uji statistika digunakan rasio likelihood, sebagai berikut:

⋋ = Θ

Ω Θ ,

= 2�� 2 −2exp −

Menentukan F dan distribusi dua kasus hipotesis linier umum sebagai berikut: Kasus 1: �= �

Model linier di bawah ₀ diberikan oleh = ∗dan� 2 = 1 − ∗ ′ − ∗

Model linier di atas Ω diperoleh dari teorema 3.14: = dan� _Ω2 =1 − ′ −

Berdasarkan perhitungan kemudian dihasilkan uji statistika:

~�2 2_(�−2 − ∗ ′ ′ − ∗ ₎

Berdasarkan di atas maka pembilang dan penyebut didistribusikan secara independen. Dengan demikian rasio F memiliki properti sebagai berikut:

 F didistribusikan sebagai _{, −} (�−2_{( −} ∗_{)′ ′ −} ∗ _{) di bawah}

Mempertimbangkan dekomposisi model untuk menentukan ML estimator di bawah ₀dan membandingkan yang sesuai dengan ML estimator di atas Ω.

Pemisah b

Menggunakan rumus untuk invers dari hasil matriks dipartisi (teorima A.19) 1′ 1 −1 1′ 2 −1 2′ 1 1′ 1 −1 − 1′ 1 −1 1′ 2 −1

Menulis dengan menggunakan simbol u dan v:

− = − ₂ − _{1 1} − _{1 1}− ₁ + _{2 2}− = −

Dengan demikian ML estimator � _Ω2 = − ′ − dapat diuraikan sebagai berikut:

= − _{1 1} ′ − _{1 1} − ₂ − ′ ₂−

2′ 1 adalah independen

Sehingga pembilang dan penyebut adalah distribusi independen. Jadi statistika uji F didistribusikan di bawah ₁ sebagai _{− , −} (�−2 2− ′ 2− ) dan sebagai pusat

− , − di bawah 0.

Daerah penerimaan ₀ pada tingkat signifikan α diberikan oleh 0 _{− , − ,1−}