Modul 3: Regresi Linier dengan Metode Kuadrat Terkecil

Regresi Linier dengan Metode Kuadrat Terkecil

A. Pendahuluan Metode Kuadrat Terkecil

Metode kuadrat terkecil, yang lebih dikenal dengan nama Least-Squares Method, adalah salah satu metode

‘pendekatan’ yang paling penting dalam dunia keteknikan untuk: (a). regresi ataupun pembentukan persamaan dari titik- titik data diskretnya (dalam pemodelan), dan (b). analisis sesatan pengukuran (dalam validasi model).

Metode kuadrat terkecil termasuk dalam keluarga metode- metode pendekatan sesatan terdistribusi (“distributed error”

approximation methods), berdasarkan karakterisik kerjanya yang melakukan pengurangan sesatan menyeluruh (global error) yang terukur berdasarkan interval pendekatan keseluruhan (whole approximation interval) sesuai dengan order pendekatan yang meningkat. Metode ini berbeda dengan metode-metode asimptotis, khususnya yang dikembangkan melalui pendekatan melalui deret ‘Taylor’, karena metode asimptotis memiliki karakteristik kerja yang memperkecil sesatan pada beberapa titik tertentu, sesuai dengan order pendekatan yang meningkat.

Metode kuadrat terkecil ini juga memainkan peranan penting dalam teori statistik, karena metode ini seringkali digunakan dalam penyelesaian problem-problem yang melibatkan kumpulan data yang tersusun secara acak, seperti dalam sesatan-sesatan percobaan. Namun demikian, hal-hal yang berhubungan dengan teori statistik tidak akan dibahas secara khusus dalam modul ini.

B. Persamaan dan Model sebagai obyek regresi

Seperti telah dijelaskan di atas, dalam dunia keteknikan metode kuadrat terkecil ini digunakan untuk melakukan regresi dan atau pencocokan kurva yang diharapkan dapat membentuk persamaan matematis tertentu. Secara empiris, persamaan- persamaan matematis tertentu yang sering digunakan di antaranya adalah:

(a). Persamaan ‘garis lurus’ (linier): y = a x + b

(b). Persamaan parabolis (kuadratis): y = p x² + qx + r (c). Persamaan polinomial (secara umum):

1 1

1 1

2 3 2

1

∞ −

=

−

−

∑

=

+ +

+ +

+ +

=

k k

k

n n k

k

x c

x c x

c x

c x c c

y L L

(d). Persamaan eksponensial: y = ae^{bx2 +cx+d} (e). Persamaan asimptotis:

d x c

x b x

y a

+

= ² +

C. Regresi Sederhana untuk Persamaan Linier

Bentuk umum dari persamaan linier, dapat dituliskan sebagai berikut:

b x a

y = +

dengan:

a = kelandaian (slope) kurva garis lurus

b = perpotongan (intercept) kurva dengan ‘ordinat’

atau sumbu tegak

Regresi yang dimaksudkan disini adalah: pencarian harga- harga tetapan a dan b berdasarkan deretan data yang ada (jumlah atau pasangan data x-y sebanyak N buah).

Sebagai contoh, di bawah ini diberikan 1 set data (x-y) sebanyak 7 buah:

Tabel 1. Set data regresi linier.

x y

-3 -0.22

-2 0.67

-1 1.55

0 1.99

1 2.55

2 3.25

3 4.11

Hasil pengaluran kurva (plotting) titik-titik tersebut di atas dapat dilihat pada Gb. 1 di bawah ini.

-0.22 0.67

1.55 1.99

2.55 3.25

y = 0.6841x + 1.9850 4.11

-1 0 1 2 3 4 5

-5 -4 -3 -2 -1 0 1 2 3 4 5

intercept

slope

Gambar 1. Kurva regresi linier, dengan N = 7.

Persamaan sebaran (S atau distribusi) yang menyatakan sesatan terdistribusi dari persamaan linier tersebut dinyatakan sebagai:

( )

∑

^{− −}

= y ax b ² S

Persyaratan yang harus dipenuhi untuk dapat menghitung a dan b adalah minimisasi turunan persamaan di atas terhadap tetapan a dan b (dalam hal ini, a dan b dianggap sebagai variabel-variabel semu), sehingga membentuk persamaan- persamaan berikut:

. d 0

). d b (

dan

; d 0

). d a (

=

=

b S a S

Untuk lebih jelasnya, kronologis penurunan kedua persamaan di atas adalah sebagai berikut:

(a). _d^d_a

[

^∑

(

^{y − ax − b}

)

²

]

^{= 0}, sehingga akan terbentuk persamaan berikut:

( )

^{(− ) = 0}

∑ y − ax − b x , atau

∑

^{x + b}

∑

^{x =}

∑

^xy

a ² (A)

(b). _d^d_b

[

^∑

(

^{y − ax − b}

)

²

]

^{= 0}, sehingga kemudian terbentuk persamaan berikut:

( )

^{(−1) = 0}

∑ y − ax − b , atau

∑

^{x + Nb =}

∑

^y

a (B)

Kedua persamaan (A) dan (B) seperti di atas adalah suatu sistem persamaan aljabar linier (SPAL), bila disusun-ulang



 





∑

= ∑



 



⋅



 





∑

∑

∑

y y x b

a N

x

x x²

(C)

yang identik dengan persamaan matriks

[ ] [ ]

^{A ⋅ x =}

[ ]

^{b . Solusi}

SPAL tersebut relatif sangat mudah dilakukan dengan metode analitis.

Dengan menggunakan aturan Cramer, solusi konstanta- konstanta a dan b adalah:



 





∑

∑

∑



 





∑

∑

∑

=

N x

x x

N y

x y x

a 2

det det

; dan



 





∑

∑

∑



 





∑

∑

∑

∑

=

N x

x x

y x

y x x

b 2

2

det det

Karena hanya membentuk persamaan matriks berorder 2, maka determinan-determinan matriks di atas dapat langsung dihitung, dengan rincian sebagai berikut:

[

²

( )

²

]

2

det = ∑ ⋅ − ∑













∑

∑

∑ x N x

N x

x x

[

∑ ⋅ − ∑ ∑⋅

]

 =



 





∑

∑

∑ xy N x y

N y

x y det x

dan

[

^{∑ ⋅∑ − ∑ ⋅∑}

]

 =



 





∑

∑

∑

∑ x y x xy

y x

y x

x² ₂

det

sehingga, diperoleh solusi harga-harga a dan b:

[ ]

[

^{∑ 2⋅⋅ −−∑}

( )

^∑⋅∑2

]

= ∑

x N

x

y x N

y

a x = 0,684143; dan

[ ]

[

^{∑2 ⋅2∑⋅ −−∑}

( )

^∑⋅∑2

]

= ∑

x N

x

y x x y

b x = 1,985000

Tugas di rumah:

Coba buat program dalam FORTRAN untuk mencari harga- harga a dan b dari satu set data berikut:

No. x y

1 -1.0 5.00

2 1.0 9.00

3 3.0 13.00

4 5.0 17.00

5 7.0 21.00

6 9.0 25.00

7 11.0 29.00

D. Regresi Persamaan Parabola

Persamaan Parabola atau Persamaan Kuadrat mempunyai bentuk umum yang dapat dituliskan sebagai berikut:

r x q x

p

y = ² + +

Regresi yang dimaksudkan disini adalah: pencarian harga- harga tetapan p, q dan r berdasarkan set data yang diberikan (ingat: jumlah atau pasangan data x-y sebanyak N buah !).

Persamaan sebaran (S) yang menyatakan sesatan terdistribusi dari persamaan linier tersebut dinyatakan sebagai:

( )

∑ − − −

= y px² qx r ² S

Persyaratan yang harus dipenuhi untuk dapat menghitung p, q dan r adalah minimisasi turunan persamaan di atas terhadap tetapan p q dan r (dalam hal ini, p, q dan r dianggap sebagai variabel-variabel semu), sehingga membentuk persamaan- persamaan minimisasi berikut:

. d 0

). d c (

dan

; d 0

). d b (

; d 0

). d a (

=

=

=

r S q S p S

Tahapan penurunan ketiga persamaan-persamaan di atas terhadap p, q, dan r adalah sebagai berikut:

(a). _d^d_p^∑

(

^{y − px2 − qx − r}

)

²_^{ = 0}, yang membentuk persamaan berikut:

(

²

)

^{(− 2) = 0}

∑ y − px − qx − r x , atau

∑x + q∑x + r∑x = ∑x y

p ^{4 3 2 2} (E)

(b). _d^d_q^∑

(

^{y − px2 − qx − r}

)

²_^{ = 0}, yang membentuk:

(

²

)

^{(− ) = 0}

∑ y − px − qx − r x , atau

∑x + q∑x + r∑x = ∑xy

p ^{3 2} (F)

(c). _d^d_{r }^∑

(

^{y − px2 − qx − r}

)

²_^{ = 0}, dan dihasilkan

(

²

)

^{(−1) = 0}

∑ y − px − qx − r , atau

∑x + q∑x + r N = ∑ y

p ² (G)

Seperti halnya pada regresi persamaan linier, ketiga persamaan (E), (F), dan (G) di atas juga membentuk suatu sistem persamaan aljabar linier (SPAL) dengan oreder 3, bila disusun-ulang sebagai berikut:

















∑

∑

∑

 =















⋅

















∑

∑

∑

∑

∑

∑

∑

∑

y y x

y x

r q p

N x x

x x

x

x x

x ²

2

2 3

2 3

4

(H)

Solusi SPAL di atas dapat dilakukan melalui 2 cara, yaitu: (a).

analitis (aljabar) dan (b). numeris. Berbagai solusi SPAL (dengan menggunakan metode numeris) telah dijelaskan pada modul-modul pelajaran terdahulu. Sebagai catatan, determinan dari matriks bujur-sangkar dengan rank 3 dapat dihitung sebagai berikut:

12 21 33 11 23 32 13

22 31

32 21 13 31 23 12 33 22 11

33 32 31

23 22 21

13 12 11

det a a a a a a a a a

a a a a

a a a

a a a

a a

a a a

a a a

⋅

⋅

−

⋅

⋅

−

⋅

⋅

−

⋅

⋅ +

⋅

⋅ +

⋅

= ⋅

















Dengan menggunakan metode analitis, sebenarnya SPAL di atas masih relatif mudah diselesaikan, yaitu dengan menggunakan aturan Cramer untuk mencari solusi konstanta atau parameter-parameter p, q dan r.

















∑

∑

∑

∑

∑

∑

∑

∑

















∑

∑

∑

∑

∑

∑

∑

∑

=

N x x

x x

x

x x

x

N x y

x x

y x

x x

y x

p

2

2 3

2 3

4

2

2 3

2

det det

;

















∑

∑

∑

∑

∑

∑

∑

∑

















∑

∑

∑

∑

∑

∑

∑

∑

=

N x x

x x

x

x x

x

N y

x

x y

x x

x y x x

q

2

2 3

2 3

4 2 3

2 2

4

det det

; dan

















∑

∑

∑

∑

∑

∑

∑

∑

















∑

∑

∑

∑

∑

∑

∑

∑

∑

=

N x x

x x

x

x x

x

y x

x

y x x

x

y x x

x

r

2

2 3

2 3

4 2

2 3

2 3

4

det det

Berdasarkan catatan tentang determinan matriks berorder 3 seperti di atas, maka determinan-determinan matriks di atas berturut-turut adalah sebagai berikut:

( )

^{2 4}

( ) ( )

^{3 2}

2 3 3

2

2 3

2 4

2

2 3

2 3

4

det

⋅ ∑

∑ −

∑ ⋅

∑ ⋅∑ ⋅∑ − ∑ −

∑ ⋅∑ ⋅ +∑ ⋅∑ ∑⋅ +

=

















∑

∑

∑

∑

∑

∑

∑

∑

x N x x

x x

x x

x x x

N x x

N x x

x x

x

x x

x

( )

∑ ⋅∑ −

( )

⋅∑ ⋅∑

∑ ⋅∑ ⋅∑ − ∑ ⋅∑ −

∑ ⋅∑ ⋅ +∑ ⋅∑ ∑ +⋅

=

















∑

∑

∑

∑

∑

∑

∑

∑

3 2

2

2 2 2

3 2

2 2

2 3

2

det

x y x N y x x

y x

x y x x

y x x

N x y x

N x y

x x

y x

x x

y x

( )

∑ ∑⋅ ⋅∑ − ⋅∑ ⋅∑

∑ ⋅∑ ⋅∑ − ∑ ⋅∑ −

∑ ⋅∑ ⋅ +∑ ⋅∑ ∑⋅ +

=

















∑

∑

∑

∑

∑

∑

∑

∑

y x x N y x

x

y x x

y x

x

x x y x N

y x x

N y

x

x y

x x

x y x x

2 3

4

2 2 3

2

2 2

4

2 3

2 2

4

det

dan

( ) ( )

∑ ∑⋅ ⋅∑ − ∑ ⋅∑

∑ ∑⋅ ⋅∑ − ∑ ⋅∑ −

∑ ⋅∑ ⋅∑ +∑ ⋅∑ ⋅∑ +

=

















∑

∑

∑

∑

∑

∑

∑

∑

∑

y x

y x x

x

y x x

y x x x

y x x

x y

x x

y x

x

y x x

x

y x x

x

3 2 4

2 2 2 2

3

3 2

2 4

2

2 3

2 3

4

det

Tugas di rumah:

Coba buat program dalam FORTRAN untuk mencari harga- harga p, q dan r berdasarkan kurva di bawah ini:

-6.00 -4.00 -2.00 0.00 2.00 4.00 6.00

-4.0 -2.0 0.0 2.0 4.0

Pasangan data (x-y) dari kurva di atas dapat diberikan seperti pada tabel berikut: