 Linear regression model, including

Regression

• Regression analysis, in general sense, means the estimation or prediction of the unknown value of one variable from the known value of the other variable.

• If two variables are significantly correlated, and if there is some theoretical basis for doing so, it is possible to predict values of one variable from the other. This observation leads to a very

important concept known as ‘Regression Analysis’.

• It is specially used in business and economics to study the relationship between two or more

variables that are related causally and for the estimation of demand and supply graphs, cost functions, production and consumption functions and so on.

 Thus, the general purpose of multiple regression is to learn more about the relationship between several independent or predictor variables and a dependent or output variable.

 Suppose that the Yield in a chemical process depends on Temperature and the Catalyst

concentration, a multiple regression that describe this relationship is,

Y = b0+b1*X1+b2*X2+ € → (a) Where Y = Yield.

X1 = Temp:, X2 = Catalyst cont:.

This is multiple linear regression model with 2 regressors.

 The term linear is used because equation (a) is a linear function of the unknown parameters bi’s.

Regression Models.

 Depending on nature of relationship regression models are two types.

 Linear regression model, including

a. Simple-linear regression (one indep:

var.)

b. Multiple-linear regression.

 Non-Linear regression model, including

a. Polynomial regression.

b. Exponential regression ,etc.

Types of multiple regression

• There are three types of multiple regression, each of which is designed to answer a different question:

– Standard multiple regression is used to evaluate the relationships between a set of independent variables and a dependent variable.

– Hierarchical, or sequential, regression is used to examine the relationships between a set of

independent variables and a dependent variable, after controlling for the effects of some other

independent variables on the dependent variable.

– Stepwise, or statistical, regression is used to

identify the subset of independent variables that has the strongest relationship to a dependent variable.

MODEL

REGRESSI LINIER BERGANDA

Model yg memperlihatkan hubungan antara satu variable terikat (dependent variable) dgn beberapa variabel bebas (independent variables).

Y

_i

= 

₀

+ 

₁

X

_1i

+ 

₂

X

_2i

+ … + 

_k

X

_ki

+ 

_i

dimana: i = 1, 2, 3, …. N (banyaknya pengamatan)

₀, ₁, ₂, …, _k adalah parameter yang nilainya diduga melalui model:

Y

_i

= b

₀

+ b

₁

X

_1i

+ b

₂

X

_2i

+ … + b

_k

X

_ki

 

₀

dan 

₁

: parameter dari fungsi yg nilainya akan diestimasi.

 Bersifat stochastik  untuk setiap nilai X terdapat suatu distribusi probabilitas seluruh nilai Y atau Nilai Y tidak dapat diprediksi secara pasti karena ada

faktor stochastik 

_i

yang memberikan sifat acak pada Y.

 Adanaya variabel 

_i

disababkan karena:

 Ketidak-lengkapan teori

 Perilaku manusia yang bersifat random  Ketidak-sempurnaan spesifikasi model  Kesalahan dalam agregasi

 Kesalahan dalam pengukuran

Koefisien Regresi Partial (Partial Coefficient of Regression)

Sampel :

Y

_i

= b

₁

+ b

₂

X

_2i

+ b

₃

X

_3i

+ … + b

_k

X

_ki

Y

_i

= b

_1.23

+ b

_12.3

X

_2i

+ b

_13.2

X

_3i

+ … + b

_k

X

_ki

b

_1.23

= intercept, titik potong antara garis regresi dengan sumbu tegak Y

Nilai perkiraan rata-rata Y kalau X2 = X3 = 0

b

_12.3

= Besarnya pengaruh X

₂

terhadap Y kalau

X

₂

tetap

Y

_i

= b

_1.234

+ b

_12.34

X

_2i

+ b

_13.24

X

_3i

+ b

_14.23

X

₄

Misalnya:

Y

_i

= Trending Topik

X

₂

= Folower influencer X

₃

= Kecepatan viral

X

₄

=

Y

_i

= Prestasi Belajar X

₂

= Motivasi

X

₃

= Ekonomi

X

₄

= Lama Belajar

.

. . . . . .

.

Ÿ_i = b₀ + b₁ X_i

Y_i

Ÿ_i



_i

X Y

Y

_i

= 

₀

+ 

₁

X

_i

+ 

_i

Variation in Y

Systematic Variation

Random Variation

0

X

₁

X

₂

X

₃

E(Y

_i

) = 

₀

+ 

₁

X

_i

X Y

Y

_i

= 

₀

+ 

₁

X

_i

+ 

_i

Nilai rata2 Y

_i

:

E(Y

_i

) = 

₀

+ 

₁

X

_i



_I

= Y

_i

- E(Y

_i

)

Asumsi-asumsi

Model Regresi Linier Berganda

 Nilai rata-rata disturbance term adalah nol, E(_i) = 0.

 Tidak tdpt serial korelasi (otokorelasi) antar _i Cov(_i,_j) = 0 untuk i  j.

 Sifat homoskedastisitas:

Var(_i) = ² sama utk setiap i  Kesalahan Pengganggu Mempunyai Varian Sama

 Covariance antara _i dan setiap var bebas adalah nol.

Cov(_i,X_i) = 0

 Tidak tdpt multikollinieritas antar variebel bebas.

 Model dispesifikasi dengan baik

(Agar hasil estimasi dapat diinterpretasikan dengan baik - BLUE)

Interpretasi Persamaan Regresi Berganda

Y

_i

= b

_1.23

+ b

_12.3

X

_2i

+ b

_13.2

X

_3i

+ 

E (Y

_i

/X

₂

,X

₃

) = b

_1.23

+ b

_12.3

X

_2i

+ b

_13.2

X

_3i

b

_13.2

mengukur besarnya perubahan Y kalau X

₃

Berubah sebesar satu satuan, dimana X2 konstan

Y_i e_i

u_i

0 X_i X

Y ^{Y X}

^

^

^ 

X )

Y (

E 

SRF

PRF

^

Yi

Estimasi Koefisien Regresi Parsial Metode Ordinary Least Squares (OLS)

Prinsip: Meminimumkan nilai error – mencari jumlah penyimpangan kuadrat (

_i²

) terkecil.



_i

= Y

_i

- 

₀

- 

₁

X

_i



_i²

= (Y

_i

- 

₀

- 

₁

X

_i

)

²



_i²

=  (Y

_i

- 

₀

- 

₁

X

_i

)

²



_i²

minimum jika:



_i²

/

₀

= 0  2 (Y

_i

- 

₀

- 

₁

X

_i

) = 0



_i²

/

₁

= 0  2  X

_i

(Y

_i

- 

₀

- 

₁

X

_i

) = 0

Sederhanakan, maka didapat:

 (X_i – X) (Y_i – Y) b₁ =

 (X_i – X)² b₀ = Y - b₁X

dimana

b₀ dan b₁ nilai penduga untuk ₀ dan ₁.

X dan Y adlh nilai rata2 pengamatan X dan Y

ESTIMASI MODEL

REGRESSI LINIER BERGANDA

Model: Y

_i

= 

₀

+ 

₁

X

_1i

+ 

₂

X

_2i

+ 

_i

(y

_i

x

_1i

) (x

²_2i

) – (y

_i

x

_2i

) (x

_1i

x

_2i

) b

₁

=

(x

²_1i

) (x

²_2i

) – (x

_1i

x

_2i

)

²

(y

_i

x

_2i

) (x

²_1i

) – (y

_i

x

_1i

) (x

_1i

x

_2i

) b

₂

=

(x

²_1i

) (x

²_2i

) – (x

_1i

x

_2i

)

²

b

₀

, b

₁

dan b

₂

nilai penduga untuk 

₀

, 

₁

dan 

₂

. Model penduga: Ŷ

_i

= b

₀

+ b

₁

X

_1i

+ b

₂

X

_2i

b

₀

= Y

_i

– b

₁

X

_1i

– b

₂

X

_2i

Standard error of the estimates

Var(₂) = ² /  X_i²

²  Se(₂) = Var(₂) = =

 X_i2  X_i²

 X_i²

Var(₁) = ²

n  x_i²

 X_i²

Se(₁) = Var(₁) = ²

n  x_i²  _i²

² =  _i² =  y_i² – ₂²  x_i² n – 2

 (x_i y_i)² =  y_i² –

 x_i²

ESTIMASI MODEL

REGRESSI LINIER BERGANDA

1 X²₁ x²_2i – X²₂ x²_1i – 2 X₁ X₂ x_1i x_2i

var(b₀)= + ² n (x²_1i ) (x²_2i ) – (x_1i x_2i)²

x

²_1i

var(b

₁

)=

(x

²_1i

)(x

²_2i

) – (x

_1i

x

_2i

)

²

x

²_1i

var(b

₁

)=

(x

²_1i

)(x

²_2i

) – (x

_1i

x

_2i

)

²



²



²

se(b

_i

) = var(b

_i

) Utk i = 0, 1, 2.



_i²



²

=

n – 3



_i²

=  y

²_i

– b

₁

 y

_i

x

_1i

– b

₂

 y

_i

x

_2i

Koefisien Determinasi

•

TSS

RSS

ESS TSS = RSS + ESS

ESS RSS 1 = +

TSS TSS

 (Ŷ_i - Y)2  _i² = +

 (Y_i - Y)2  (Y_i - Y)²

ESS  (Ŷ

_i

- Y)

²

r

²

= =

TSS  (Y

_i

- Y)

²

atau

ESS

 _i²

= 1

–

= 1

–

TSS  (Y

_i

- Y)

²

X Y

Y

₁ + ₂ X_i

Atau:

 x_i² r² = ₂²

 y_i²  (x_i y_i)² =

 x_i²  y_i²

Koefisien Korelasi

A NUMERICAL EXAMPLE

ILLUSTRATIVE EXAMPLES

Dalam konsep dasarnya pengujian statistik SECARA PARSIAL mendasarkan pada hipotesis :

Uji Konstanta Intersep H0 : ß0 = 0

H1 : ß0 ≠ 0

Uji Koeff. Xi H0 : ßi = 0 H1 : ßi ≠ 0

REGRESI LINEAR BERGANDA

Y = ß0 + ß1 X + ß2 X + …. + ßn Xn

Tujuan

untuk mengetahui pengaruh (kontribusi) proses/ mekanisme yang disusun dalam praktikum terhadap pencapaian nilai ujian akhir praktikum, yaitu melalui

penilaian atas latihan di kelas dan penilaian atas laporan praktikum.

Dengan demikian dapat dibuat spesifikasi modelnya sebagai berikut :

Y = ß0 + ß1X1 + ß2X2 --- (model 1) Dimana :

Y : Nilai ujian akhir X1 : Nilai pretest X2 : Nilai Laporan

Contoh :

Dari hasil di atas selanjutnya dapat disusun persamaan berikut :

N_Akhir = -25.450 + 0.542 Latihan + 0.771 Laporan R2 = 0.702 SE (9.351) (0.089) (0.132)

T-Hit. 2.722 6.067 5.828 F-hit = 73,02

Df = 62

Interpretasi Hasil :

Pengujian statistik baik uji keseluruhan (Uji-F) dan uji koefisien variabel dalam model (Uji-t) memiliki kesamaan dengan analisis regresi linear sederhana.

Hipotesis uji-F adalah : H0 : ß0 = ß1 = ß2 = 0 H1 : ß0, ß1, ß2 ≠ 0

Sedangkan uji koefisien atau pengujian secara parsial memiliki hipotesis sebagai berikut :

Pengujian untuk intersep : H0 : ß0 = 0 H1 : ß0 ≠ 0

Pengujian untuk ß1 : H0 : ß1 = 0 H1 : ß1 ≠ 0

Pengujian untuk ß2 : H0 : ß2 = 0 H1 : ß2 ≠ 0

Hasil analisis di atas menunjukkan bahwa model secara statistik adalah memang dapat digunakan, terbukti dari nilai F-hit sebesar 73.02 yang signifikan pada tingkat alpha 5%

atau 0.05 Artinya bahwa ß0, ß1, ß2 mempengaruhi secara nyata terhadap N_Akhir (nilai Akhir).

Kekuatan pengaruh dari kedua variabel dalam menjelaskan variabel N_Akhir sebesar 70.2 % sedangkan sisanya yaitu sekitar 29.8% merupakan pengaruh dari variabel lain yang tidak dipertimbangkan dalam model.

Koefisien latihan 0.542 dapat diartikan jika Nilai Laporan tetap maka kenaikan 1 satuan nilai latihan akan cenderung menaikkan nilai ujian sebesar 0.542.

Demikian juga untuk pengaruh nilai Laporan. Jika nilai laporan naik 1 satuan maka akan cenderung meningkatkan nilai ujian Akhir sebesar 0.771.

Hal yang lebih menarik sebenarnya adalah faktor apa yang tersembunyi di balik angka-angka tersebut. Hal ini

memerlukan informasi yang bersifat kualitatif untuk mengungkap :