Persamaan (1) dan (2) adalah sistem persamaan normal, dengan penyelesaian sebagai berikut:

(1)

PENGANTAR MODEL LINEAR

METODE KUADRAT TERKECIL

Tujuannya:

1. Merubah SPL yang belum tentu konsisten menjadi sistem persamaan normal yang pasti konsisten

2. Mendapatkan suatu garis yang paling akurat (error terkecil)

3. Dari uji koefisien secara serempak untuk mendapatkan suatu model dari data sampel yang berlaku untuk populasi

Kenapa dalam analisis regresi, vektor jawab pasti konsisten?

Dari Sistem Persamaan Linier: y1= b0+ b1x1+ e1

y2= b0+ b1x2+ e2

y3= b0+ b1x3+ e3

…..

yn= b0+ b1x1+ en

Persamaan-persamaan tersebut belum tentu konsisten Q = e2_{= (y – b}₀_{– b}₁_x)2 0 b Q 0    _ _{-2(y – b} 0– b1x) = 0  nb0+ b1x = y (1) 0 b Q 1    _ _{-2(y – b} 0– b1x)x = 0  b0x + b1x2= xy (2)

Persamaan (1) dan (2) adalah sistem persamaan normal, dengan penyelesaian sebagai berikut:          2 x x x n       1 0 b b = _        xy y

(2)

Mengapa?

Persamaan normal: X’X ˆ = X’Y,

memenuhi syarat matriks yang dapat dicari vektor jawabnnya, sehingga sistem persamaan regresi konsisten. Dalam hal ini, X’X ˆ = X’Y dianggap X’ sebagai faktor pengali (ingat alasan 2 halaman 4), sehingga MKT berguna untuk merubah sistem persamaan yang belum tentu konsisten menjadi sistem persamaan normal yang pasti dijamin konsisten, makanya ˆ dalam regresi selalu konsisten/dapat dicari.

Kapan vektor jawab dalam analisis regresi bersifat unik?

Vektor jawab yang tidak unik, apabila matriks transformasi sistem persamaan bersifat singular, yang dapat dicari disini hanya matriks kebalikan umum.

Vektor jawab akan unik jika matriks transformasi sistem persamaan bersifat nonsingular (berpangkat penuh) (atau X’X harus bersifat nonsingular), sehingga dalam X’Xb = X’Y Non singular (det  0) terjadi jika antar baris dan antar lajur saling ortogonal/saling bebas, karena itu maka antar variabel X harus saling bebas. Antar X saling bebas, jika dalam regresi tidak bersifat multikolinieritas.

Latihan:

Buktikan secara matematis persamaan Y = b0+ b1 X1+ b2X2, dimana X2= 2X1 matriks X’X

adalah singular. Gunakan data sederhana untuk pembuktian lebih lanjut.

Penguraian Data menjadi nilai Duga dan Sisaan

Pada matris X’X nonsingular, apabila Y=Xˆ+

dimana  adalah sebuah vektor yang berada dalam ruang X, atau dilambangkan dengan C(X’), dan  juga bisa berada di dalam ruang vektor C(X’) atau bisa juga berada di luar ruang vektor C(X’).

Jika  di dalam C(X’) berarti Y merupakan kombinasi yang sempurna terhadap X

Jika  di luar C(X’) berarti Y tidak tepat merupakan kombinasi linier dari kolom-kolom X, tetapi masih ada gangguan berupa e

(3)

Apakah Y dapat dinyatakan sebagai kombinasi linier dari X?

Yˆ=Xˆ

Jika ya, maka Yˆ=X artinya Xˆ=Y, sehingga  dapat diduga oleh ˆ

Definisi

Jika V adalah sebuah ruang vektor dan V _{adalah ruang vektor yang ortogonal terhadap V,}

maka setiap X dapat dipecah menjadi 2 vektor u dan v yang masing-masing bersifat khas dimana u  V dan v  V_.

x = u + v

x = u1+ v1 x-x = 0

x = u2+ v2 (u1+ v1) – (u2+ v2) = 0

akan mencapai 0 jika u1=u2dan v1= v2, artinya hanya ada 1 u dan 1 v

(khas)

Sehingga u dan v adalah 2 vektor yang ortogonal

Catatan: ortogonal-> hasil perkalian=0, sedangkan ortonormal-> hasil perkalian=0 dan panjang vektor=1

Oleh karena itu, jika kita mempunyai Y=Xˆ +, maka Y harus dipecah dalam Y dan Xˆ dalam ruang vektor C(X’) dan  berada dalam ruang vektor yang ortogonal terhadap C(X’), sehingga apabila suatu vektor berada dalam V, dia akan ortogonal terhadap ruang vektor V.

(4)

Implikasinya:

Bahwa setiap data hasil pengamatan (yi) pada prinsipnya dapat dipecah menjadi 2 vektor yang

terletak pada ruang vektor C(X’) dan ruang vektor lainnya yang ortogonal terhadap C(X’) Sehingga:

Data = Dugaan + Sisaan

Y = Xˆ+  Y = Yˆ+ 

Y = Yˆ+ (Y - Yˆ), dimana Yˆ= Xˆ dengan ˆ = (X’X)-1_X’Y

Y = X(X’X)-1_{X’Y + (Y – X(X’X)}-1_X’Y)

Y = [X(X’X)-1_{X’]Y + [I - X(X’X)}-1_{X’] Y}

Y = Px.Y + PxY

Dimana

Px= X(X’X)-1X’ disebut matriks proyeksi

Px= I – X(X’X)-1X’ disebut matriks proyeksi ortogonal

Dugaan = PxY

Sisaan = PxY

Sifat keduanya (Pxdan Px):

a. Simetris (setangkup)  A = A’ b. Merupakan idempoten  A.A = A Buktikan: Pxdan Pxsaling ortogonal?

Karena Pxdan Pxsaling ortogonal, maka dijamin  terpendek (minimum)

Maka, dapat disimpulkan bahwa MKT: 1. Mendapatkan  terpendek

2. Mengubah sistem persamaan yang belum tentu konsisten menjadi sistem persamaan normal yang sudah pasti dijamin konsisten

3. Mampu mendekomposisi dugaan dan sisaan yang masing-masing bersifat unik dan saling ortogonal ()

(5)

Dekomposisi Jumlah Kuadrat

Y = Px.Y + PxY

Y’Y = Y’ Px.Y + Y’ PxY

JK total = JK model + JK sisaan

Pengujian keberartian koefisien regresi: thitung= ) b ( Se b i i _ ) v ( 2 2 ₎ , ( N    

t(v)menjamin berlakunya sebaran t

F = 2 2 2 1 1 2 v / v /  

F(v1,v2)menjamin berlakunya sebaran F Sifat Penduga Kuadrat Terkecil

1. Tak Bias E(ˆ) =  Bukti: ˆ = (X’X)-1_X’Y E(ˆ) = E((X’X)-1_X’Y) E(ˆ) = (X’X)-1_X’E(Y) E(ˆ) = (X’X)-1_X’X

E(ˆ) = I =  (tidak bias) Catatan Y = X + 

E(Y) = E(X + )

E(Y) = XE() + E(), dimana E() = 0, X suatu tetapan E(Y) = X

2. Varian Konstan

(6)

Hipotesis Fungsi Linier Parameter

Y = 0+ 1X1+ 2X2+ 3X3+ 

Hipotesis secara parsial H0: i= 0 vs

H1: i0

Hipotesis secara simultan H0: 1= 2= 3= 4= 0 vs

H1: paling tidak ada satu  yang tidak sama dengan 0

Hipotesis fungsi linier parameter: H0: 1+ 2= 1.0

H0: 1+ 2– 3 = 0.5

Diuji pake apa?

Untuk hipotesis H0: 1= 0 diuji pakai

’ = m

Dengan ’ adalah ortogonal () ’ dimanakan fungsi linier parameter

Dimana ’ = (0 1 0 0) m = 0 Untuk H0: 1+ 2= 1.0 ’ = (0 1 1 0) dan m = 1 Untuk H0: 1+ 2– 3 = 0.5 ’ = (1 1 -1) dan m = 0.5 Pertanyaan:

1. Bagaimana menguji hipotesis fungsi linier parameter dalam bentuk umum? 2. Jika benar, berarti apakah  nya harus memenuhi sifat penduga parameter? E(’ ˆ) = ’?

E(’ (X’X)-1_{X’Y) = ’ (buktikan bahwa tidak bias)}

Jika H0benar, syarat yang harus dipenuhi:

(7)

ˆ adalah penduga parameter tanpa kendala

~ adalah penduga parameter dengan disertai kendala ’ ~ – m = 0

Definisi

Minimumkan f(x) dengan g(x) = 0  min h(x, k) = f(x) + kg(x) Minimumkan (Y – X~)’ (Y – X~) dengan kendala ’ ~ – m = 0 Min h(x, k) = (Y – X~)’ (Y – X~) + k(’~ – m)

Agar minimum, maka h(x, k) diturunkan parsial 0 k ) k , x ( h _   h(x,k) = Y’Y – 2X’~Y + X’X~2_{+ k’}_~ _{- km} -2X’Y + 2X’X~ + k ’ = 0 -2X’(Y - X~) + k ’ = 0 (X’Y – X’X~) – 0.5k’ = 0 X’X~ = X’Y – 0.5 k’ ~ = (X’X)-1_{X’Y – 0.5(X’X)}-1_k’ ~ = ˆ – 0.5(X’X)-1_k’ Sehingga ’ ~ – m = 0 ’(ˆ – 0.5(X’X)-1_{k’) = m} 0.5k = [’ ˆ - m] [’(X’X)-1__]-1 K = 2[’(X’X)-1_]-1_[’ _ˆ _{- m]} Jadi

(8)

Jumlah kuadrat sisa tanpa kendala:

JKs = Y’IY – Y’PxY

= Y’ (I – Px) Y

= Y’ PxY

= (Y - Xˆ)’(Y - Xˆ)

Jumlah kuadrat sisa dengan kendala: JKsk = (Y - X~)’(Y - X~) = {Y – X(ˆ – [’(X’X)-1__]-1_[’_ˆ _{- m])}’{Y – X(}_ˆ _{– [’(X’X)}-1__]-1_[’ _ˆ _{- m])}} = {Y - Xˆ + X(X’X)-1_{’(’(X’X)}-1_)-1_(’_ˆ _{- m)}’} {Y - Xˆ + X(X’X)-1__{’(’(X’X)}-1_₎-1_(’_ˆ _{- m)}} = (Y - Xˆ)’(Y - Xˆ) + (’ˆ - m)’(’(X’X)-1_)-1_(’_ˆ_-m) = JKs + Q Dimana Q = (’ˆ - m)’(’(X’X)-1_₎-1_(’_ˆ_-m)

Q menunjukkan bahwa dengan adanya kendala maka variansi sisaan akan meningkat. Atau dengan kata lain JKsk > JKs

Yang diuji dengan kendala: ’ ~ – m = 0 atau ’ ~ = m Dengan

[’ ~ – m]  N(’, (’(X’X)-1_)2₎

Q  2[p(’), 0,5(’-m)’(’(X’X)-1)-1(’-m]

Agar distribusi Q tersentra, H0harus dianggap benar, sehingga Q  2(banyaknya baris k’)

2

s

Q __F

[p(’), n-p]

(9)

MODEL TIDAK PENUH

 Model sebelumnya menggunakan analisis asosiasi (analisis regresi) disebut model penuh (full model), karena X’X nonsingular (asumsi multikolinieritas)

 Sedangkan model tidak penuh yaitu model yang menggunakan analisis komparatif (karena X’X singular), seperti:

1. Pengujian 1 populasi (Z test -> ragam diketahui) 2. Pengujian 1 populasi (t test -> ragam tidak diketahui) 3. Pengujian 2 populasi (Z test -> ragam diketahui) 4. Pengujian 2 populasi (t test -> ragam tidak diketahui)

5. Pengujian lebih dari 2 populasi (F test -> dengan proses komputasi melalui ANOVA)  Ragam populasi diketahui dari: (1) ragam yang diperoleh dari penelitian sebelumnya, (2)

ragam yang telah dispesifikasi/ditetapkan oleh pihak tertentu, (3) pendapat dari pakar

 Contoh: dalam penelitian, obyek karyawan (1 s/d 5) dengan variabel produktivitas

(kg/menit), menggunakan 3 jenis training A, B, dan C.

No A B C 1 0.91 0.90 0.80 2 0.81 0.75 0.81 3 0.90 0.81 0.78 4 0.95 0.78 0.91 5 1.00 0.89 0.82  Model matematis: Yij=  + i+ ij  = rata-rata umum

 i= produktivitas akibat pengaruh training (A, B atau C) dimana i = 1, 2, 3

 Sumber variasi data yang dapat diidentifikasi ada 1 yaitu jenis training sehingga

menggunakan klasifikasi satu arah

 Misal sumber variasi data dapat diidentifikasikan menjadi 2 yaitu jenis training dan jenis kelamin, sehingga menggunakan klasifikasi dua arah Y =  +  +  + 

(10)

Klasifikasi Satu Arah

Hipotesis H0: A= b= Aatau H0: A= B= c= 0

H1: minimal ada sepasang kondisi yang berbeda

Tabel ANOVA SK db JK KT F Kondisi/Perlakuan p-1 JKp KTp KTm/KTs Error Sisa JKs KTs Total np-1 JKt JKt = np ) Y ( Y 2 ij 2 ij      JKp = np ) Y ( n / Y2 ij 2 i     JKs = JKt – JKp

Bila H0benar, maka F akan menyebar F(,dbp,dps)

Dalam model tidak penuh, kita pendugaan ˆ bukanlah prioritas, tetapi prioritasnya adalah memecah data pengamatan menjadi beberapa komponen: perlakuan, galat, total

Model klasifikasi satu arah: Yij=  + i+ ij

Misal i = 1, 2, 3 dan j = 1, 2 (perlakuan 3, ulangan 2)

                                                                              32 31 22 21 12 11 3 2 1 32 31 22 21 12 11 e e e e e e 1 0 0 1 1 0 0 1 0 1 0 1 0 1 0 1 0 0 1 1 0 0 1 1 y y y y y y Y = X  + 

X adalah matriks rancangan (design matrix) dan pasti berpangkat tak penuh (karena ada keterkaitan antar kolom, yaitu kolom 1 adalah penjumlahan dari kolom lainnya = saling kombinasi linier, oleh karena itu Det X’X pasti = 0)

X’X = _      0 2 0 2 0 0 2 2 2 2 2 6 X’Y = _                   . 1 .. j 1 ij Y Y Y Y Y Y

(11)

Persamaan normal