BAB II
TINJAUAN PUSTAKA
2.1 Analisis Regresi Parametrik
Analisis regresi merupakan sebuah alat statistika yang digunakan untuk melihat hubungan antara variabel respons dengan satu atau lebih variabel prediktor. Analisis regresi pertama kali dikemukakan oleh seorang antropolog dan ahli meteorologi terkenal di Inggris yaitu Sir Francis Galton (1822-1911). Dalam model regresi terdiri atas dua variabel yaitu variabel independent (variabel bebas) disebut juga variabel prediktor yang biasanya dinotasikan dengan variabel 𝑥, dan variabel dependent (variabel tak bebas) disebut juga variabel respons yang biasanya dinotasikan dengan variabel 𝑦. Variabel 𝑥 dan 𝑦 tersebut merupakan dua variabel yang saling berkorelasi. Misalkan terdapat data berpasangan (𝑥𝑖, 𝑦𝑖) untuk n pengamatan, maka hubungan antara variabel 𝑥𝑖 dan variabel 𝑦𝑖 dapat dinyatakan sebagai berikut:
𝑦𝑖 = 𝑓(𝑥𝑖) + 𝜀𝑖 ; 𝑖 = 1,2, … , 𝑛 (2.1)
dengan 𝑦𝑖 adalah respons ke-i, 𝑓(𝑥𝑖) adalah fungsi regresi atau kurva regresi, serta 𝜀𝑖 adalah sisaan yang diasumsikan independent dengan nilai tengah nol dan variansi σ2.
Regresi parametrik merupakan metode yang digunakan untuk mengetahui pola hubungan antara variabel respons dan prediktor apabila bentuk kurva regresinya diketahui. Model regresi dengan variabel prediktor lebih dari satu (𝑥1, 𝑥2, 𝑥3, … , 𝑥𝑝) secara umum dapat dituliskan sebagai berikut:
𝑦𝑖 = 𝛽0+ 𝛽1𝑥𝑖1+ 𝛽2𝑥𝑖2+ 𝛽3𝑥𝑖3+ ⋯ + 𝛽𝑝𝑥𝑖𝑝+ 𝜀𝑖 ; 𝑖 = 1,2,3, … , 𝑛 (2.2) dengan 𝛽0, 𝛽1, 𝛽2, 𝛽3, … , 𝛽𝑝 adalah koefisien regresi. Model dapat pula disajikan dalam bentuk matriks yang dituliskan pada persamaan sebagai berikut:
[ 𝑦1 𝑦2 ⋮ 𝑦𝑛 ] = [ 1 1 ⋮ 1 𝑥11 𝑥21 ⋮ 𝑥𝑛1 𝑥12 𝑥22 ⋮ 𝑥𝑛2 … … ⋱ … 𝑥1𝑝 𝑥2𝑝 ⋮ 𝑥𝑛𝑝 ] [ 𝛽0 𝛽1 ⋮ 𝛽𝑝 ] + [ 𝜀1 𝜀2 ⋮ 𝜀𝑛 ] atau 𝒚 = 𝒙𝜷 + 𝜺 (2.3) dengan 𝒚 = [ 𝑦1 𝑦2 ⋮ 𝑦𝑛 ], 𝒙 = [ 1 1 ⋮ 1 𝑥11 𝑥21 ⋮ 𝑥𝑛1 𝑥12 𝑥22 ⋮ 𝑥𝑛2 … … ⋱ … 𝑥1𝑝 𝑥2𝑝 ⋮ 𝑥𝑛𝑝 ], 𝜷 = [ 𝛽0 𝛽1 ⋮ 𝛽𝑝 ], dan 𝜺 = [ 𝜀1 𝜀2 ⋮ 𝜀𝑛 ] (2.4)
dengan 𝒚 adalah vektor kolom untuk variabel respons berukuran 𝑛 × 1, 𝑥 adalah matriks konstanta berukuran 𝑛 × 𝑝, 𝜷 adalah vektor parameter berukuran 𝑝 × 1, dan 𝜺 adalah vektor peubah acak normal bebas dengan nilai harapan 𝐸{𝜺} = 0 dan matrik ragam 𝜎2{𝜺} = 𝜎2 yang berukuran 𝑛 × 1.
2.2 Analisis Regresi Nonparametrik
Regresi nonparametrik merupakan suatu metode statistika yang digunakan untuk mengetahui pola hubungan antara variabel prediktor dengan respons ketika tidak diperoleh informasi sebelumnya tentang bentuk fungsi regresinya atau tidak diketahui bentuk kurva regresinya. Fungsi dari model regresi nonparametrik dapat berbentuk apa saja, baik linear atau nonlinear. Misalkan variabel respons adalah y
dan variabel prediktor adalah x untuk n pengamatan, model umum dari regresi nonparametrik adalah
𝑦𝑖 = 𝑓(𝑥𝑖) + 𝜀𝑖 ; 𝑖 = 1,2,3, … , 𝑛 (2.5)
dengan 𝑦𝑖 adalah variabel respons, 𝑥𝑖 adalah variabel prediktor, 𝑓(𝑥𝑖) adalah fungsi regresi yang tidak diketahui bentuknya, dan 𝜀𝑖 adalah sisaan yang diasumsikan bebas dengan nilai tengah nol dan varians σ2.
Metode regresi nonparametrik dapat digunakan dengan mengabaikan asumsi-asumsi yang melandasi metode regresi parametrik. Fungsi regresi nonparametrik f diasumsikan mulus sehingga memiliki fleksibilitas yang tinggi dalam mengestimasi fungsi regresinya. Ada beberapa teknik dalam mengestimasi regresi dalam nonparametrik yaitu deret Fourier, spline, dan kernel. Pada subbab berikutnya akan dibahas analisis regresi spline.
2.3 Analisis Regresi Spline
Spline merupakan model polinom yang tersegmen atau terpotong-potong yang mulus dan dapat menghasilkan fungsi regresi yang sesuai dengan data. Polinomial tersegmen tersebut memiliki peranan penting dalam teori dan aplikasi statistika. Mengestimasi spline tergantung pada titik knot. Titik knot merupakan suatu titik perpaduan yang terjadi karena perubahan pola perilaku dari suatu fungsi pada selang yang berbeda. Fungsi 𝑓(𝑥𝑖) pada persamaan (2.5)
nonparametrik merupakan fungsi regresi yang tidak diketahui bentuknya dan sifat pemulusnya, maka untuk mengestimasi 𝑓(𝑥𝑖) tersebut dapat digunakan model
regresi spline. Fungsi spline pada suatu fungsi f dengan orde p dapat dinyatakan sebagai berikut: 𝑓(𝑥𝑖) = 𝛽0+ 𝛽1𝑥𝑖1+ ⋯ + 𝛽𝑝𝑥𝑖𝑝+ ∑𝑟𝑙=1𝛽(𝑝+𝑙)(𝑥𝑖 − 𝑘𝑙)+𝑝 𝑓(𝑥𝑖) = ∑ 𝛽𝑗𝑥𝑖𝑗+ ∑𝑟 𝛽(𝑝+𝑙)(𝑥𝑖 − 𝑘𝑙)+𝑝 𝑙=1 𝑝 𝑗=0 (2.6)
dengan k menyatakan banyaknya titik knot dan (𝑥𝑖− 𝑘𝑙)+𝑝 menyatakan fungsi potongan (truncated) yang dapat dijabarkan sebagai berikut:
(𝑥𝑖− 𝑘𝑙)+𝑝 = {(𝑥𝑖0, 𝑥− 𝑘𝑙)𝑝, 𝑥𝑖 ≥ 𝑘𝑙
𝑖 < 𝑘𝑙 (2.7)
Bentuk matematis dari fungsi spline pada persamaan (2.6), dapat dinyatakan bahwa spline adalah potongan-potongan polinom yang berbeda digabungkan bersama titik knot 𝑘1, 𝑘2, 𝑘3, … . , 𝑘𝑟 untuk menjamin sifat kontinuitasnya.
Apabila terdapat n pengamatan, maka fungsi regresi spline dapat ditulis sebagai berikut: 𝑓(𝑥1) = 𝛽0+ 𝛽1𝑥11+ ⋯ + 𝛽𝑝𝑥1𝑝+ 𝛽(𝑝+1)(𝑥1− 𝑘1)+𝑝 + ⋯ + 𝛽(𝑝+𝑟)(𝑥1− 𝑘𝑟)+𝑝 𝑓(𝑥2) = 𝛽0+ 𝛽1𝑥21+ ⋯ + 𝛽 𝑝𝑥2𝑝+ 𝛽(𝑝+1)(𝑥2− 𝑘1)+𝑝 + ⋯ + 𝛽(𝑝+𝑟)(𝑥2 − 𝑘𝑟)+𝑝 𝑓(𝑥3) = 𝛽0+ 𝛽1𝑥31+ ⋯ + 𝛽𝑝𝑥3𝑝+ 𝛽(𝑝+1)(𝑥3− 𝑘1)+𝑝 + ⋯ + 𝛽(𝑝+𝑟)(𝑥3 − 𝑘𝑟)+𝑝 ⋮ 𝑓(𝑥𝑛) = 𝛽0+ 𝛽1𝑥𝑛1+ ⋯ + 𝛽𝑝𝑥𝑛𝑝+ 𝛽(𝑝+1)(𝑥𝑛 − 𝑘1)+𝑝 + ⋯ + 𝛽(𝑝+𝑟)(𝑥𝑛− 𝑘𝑟)+𝑝
Model regresi spline dapat pula disajikan dalam bentuk matriks yang dituliskan sebagai berikut:
[ 𝑓(𝑥1) 𝑓(𝑥2) 𝑓(𝑥3) ⋮ 𝑓(𝑥𝑛)] = [ 1 𝑥11 𝑥12 … 𝑥1𝑝 (𝑥1− 𝑘1)+𝑝 … (𝑥1− 𝑘𝑟)+𝑝 1 𝑥21 𝑥 22 … 𝑥2𝑝 (𝑥2− 𝑘1)+𝑝 … (𝑥2− 𝑘𝑟)+𝑝 1 𝑥31 𝑥 32 … 𝑥3𝑝 (𝑥3− 𝑘1)+𝑝 … (𝑥3− 𝑘𝑟)+𝑝 ⋮ 1 𝑥𝑛1 𝑥𝑛2 … 𝑥𝑛𝑝 (𝑥𝑛− 𝑘1)+𝑝 … (𝑥𝑛− 𝑘𝑟)+𝑝] [ 𝛽0 𝛽1 𝛽3 ⋮ 𝛽𝑝 𝛽(𝑝+1) ⋮ 𝛽(𝑝+𝑟)] atau 𝒇(𝒙) = 𝒙𝜷 (2.8) dengan𝒇(𝒙) = [ 𝑓(𝑥1) 𝑓(𝑥2) 𝑓(𝑥3) ⋮ 𝑓(𝑥𝑛)] , 𝒙 = [ 1 𝑥11 𝑥12 … 𝑥1𝑝 (𝑥1− 𝑘1)+𝑝 … (𝑥1− 𝑘𝑟)+𝑝 1 𝑥21 𝑥 22 … 𝑥2𝑝 (𝑥2− 𝑘1)+𝑝 … (𝑥2− 𝑘𝑟)+𝑝 1 𝑥31 𝑥 32 … 𝑥3𝑝 (𝑥3− 𝑘1)+𝑝 … (𝑥3− 𝑘𝑟)+𝑝 ⋮ 1 𝑥𝑛1 𝑥𝑛2 … 𝑥𝑛𝑝 (𝑥𝑛 − 𝑘1)+𝑝 … (𝑥𝑛− 𝑘𝑟)+𝑝] , (2.9) dan 𝜷 = [ 𝛽0 𝛽1 𝛽3 ⋮ 𝛽𝑝 𝛽(𝑝+1) ⋮ 𝛽(𝑝+𝑟)] .
Estimasi regresi nonparametrik spline diperoleh dengan menggunakan metode Maximum Likelihood Estimator (MLE). Jika error pada persamaan (2.5) diasumsikan berdistribusi normal, maka 𝑦𝑖 juga berdistribusi normal dengan nilai tengah 𝑓(𝑥𝑖) dan varians 𝜎2. Sehingga fungsi densitas peluang 𝑦
𝑓(𝑦; 𝑓(𝑥), 𝜎2) = 1
√2𝜋𝜎2exp [−
(𝑦−𝑓(𝑥))2
2𝜎2 ] , 𝑓(𝑥) > 0, 𝜎2 > 0 (2.10) Fungsi likelihood dapat dituliskan sebagai berikut:
𝐿(𝑦, 𝑓) = ∏𝑛𝑖=1𝑓(𝑦𝑖; 𝑓(𝑥𝑖), 𝜎2) = 𝑓(𝑦1; 𝑓(𝑥1), 𝜎2) … 𝑓(𝑦𝑛; 𝑓(𝑥𝑛), 𝜎2) = 1 √2𝜋𝜎2exp [− (𝑦1−𝑓(𝑥1))2 2𝜎2 ] … 1 √2𝜋𝜎2exp [− (𝑦𝑛−𝑓(𝑥𝑛))2 2𝜎2 ] = 1 (√2𝜋𝜎2)𝑛exp {− [ (𝑦1−𝑓(𝑥1))2 2𝜎2 + ⋯ + (𝑦𝑛−𝑓(𝑥𝑛))2 2𝜎2 ]} = 1 (√2𝜋𝜎2)𝑛exp [− ∑ (𝑦𝑖−𝑓(𝑥𝑖))2 2𝜎2 𝑛 𝑖=1 ] = (2𝜋𝜎2)−𝑛 2⁄ exp [− ∑ (𝑦𝑖−𝑓(𝑥𝑖))2 2𝜎2 𝑛 𝑖=1 ] = (2𝜋𝜎2)−𝑛 2⁄ exp [− 1 2𝜎2∑𝑛𝑖=1(𝑦𝑖− 𝑓(𝑥𝑖))2]. (2.11) Estimasi titik fungsi 𝑓 diperoleh dengan memaksimumkan fungsi likelihood 𝐿(𝑦, 𝑓) yang dapat diuraikan sebagai berikut:
max 𝑓 {𝐿(𝑦, 𝑓)} = max𝛽𝜀𝑅𝑝+𝑟{(2𝜋𝜎 2)−𝑛2exp (− 1 2𝜎2∑𝑛𝑖=1(𝑦𝑖 − (∑𝑝𝑗=1𝛽𝑗𝑥𝑖𝑗+ ∑𝑟𝑙=1𝛽𝑝+𝑙(𝑥𝑖 − 𝑘𝑙)+𝑝))) 2 } (2.12)
Dengan menerapkan transformasi logaritma pada persamaan (2.12), maka menghasilkan persamaan:
log 𝐿(𝑦, 𝛽) = log {(2𝜋𝜎2)−𝑛 2⁄ exp [− 1
2𝜎2(∑ 𝑦𝑖− (∑𝑝𝑗=1𝛽𝑗𝑥𝑖𝑗+ ∑𝑟𝑙=1𝛽𝑝+𝑙(𝑥𝑖− 𝑘𝑙)+𝑝)) 2 𝑛 𝑖=1 ]} = −𝑛2(2𝜋𝜎2) − 1 2𝜎2∑ (𝑦𝑖− (∑𝑝𝑗=1𝛽𝑗𝑥𝑖𝑗+ ∑𝑟𝑙=1𝛽𝑝+𝑙(𝑥𝑖 − 𝑘𝑙)+𝑝)) 2 𝑛 𝑖=1 = −𝑛2(2𝜋𝜎2) − 1 2𝜎2(𝒚 − 𝒙𝜷)′(𝒚 − 𝒙𝜷). (2.13)
Kemudian pesamaan (2.12) diturunkan secara parsial terhadap 𝜷 dan disamakan dengan nol di sisi kanannya maka akan mendapatkan hasil penjabaran sebagai berikut: 𝜕(log(𝑦,𝛽)) 𝜕𝜷 = 𝜕(−𝑛2(2𝜋𝜎2)− 1 2𝜎2(𝒚−𝒙𝜷)′(𝒚−𝒙𝜷)) 𝜕𝜷 =𝜕𝜷𝜕 (−2𝜎12(𝒚 − 𝒙𝜷)′(𝒚 − 𝒙𝜷)) = 0 = −2𝜎12(𝜕𝜷𝜕 (𝒚′𝒚 − 𝒚′𝒙𝜷 − 𝜷′𝒙′𝒚 + 𝜷′𝒙′𝒙𝜷)).
Karena hasil dari 𝒚′𝒙𝜷 merupakan matriks 1 × 1 maka 𝒚′𝒙𝜷 = (𝒚′𝒙𝜷)′= 𝜷′𝒙′𝒚sehingga : 𝜕(log(𝑦,𝛽)) 𝜕𝜷 = − 1 2𝜎2( 𝜕 𝜕𝜷(𝒚 ′𝒚 − 𝟐𝜷′𝒙′𝒚 + 𝜷′𝒙′𝒙𝜷)) = − 1 2𝜎2(−𝟐𝒙′𝒚 + 𝟐𝒙′𝒙𝜷) = −𝟐𝒙′𝒚 + 𝟐𝒙′𝒙𝜷 dengan demikian diperoleh
𝟐𝒙′𝒙𝜷 = 𝟐𝒙′𝒚 sehingga
𝜷̂ = (𝒙′𝒙)−𝟏𝒙′𝒚. (2.14)
Estimasi dari 𝑦̂ dapat dituliskan sebagai berikut: 𝒚̂ = 𝒙𝜷̂
𝒚̂ = 𝒙(𝒙′𝒙)−𝟏𝒙′𝒚 = 𝑨(𝒌)𝒚 (2.15)
dengan A(k) merupakan matriks yang digunakan untuk perhitungan pada rumus GCV dalam pemilihan titik knot optimal.
2.4 Pemilihan Titik Knot Optimal
Estimator spline yang baik diperoleh menggunakan titik knot (k) yang optimal. Titik knot adalah titik perpaduan bersama yang terjadi karena terdapat perubahan perilaku fungsi atau kurva pada suatu interval. Pemilihan titik knot yang optimal sangatlah penting dalam menentukan model terbaik dalam regresi spline. Titik knot merupakan titik fokus sehingga kurva yang terbentuk tersegmen pada titik tersebut. Pemilihan estimator regresi spline terbaik di antara model-model yang didapatkan dilihat berdasarkan kriteria Generalized Cross Validation (GCV) yang minimum. Rumus untuk menghitung GCV adalah sebagai berikut:
𝐺𝐶𝑉(𝑘) =
(𝑛−1𝑀𝑆𝐸 (𝑘)𝑡𝑟[𝐼−𝐴(𝑘)])2 (2.16)dengan 𝑀𝑆𝐸(𝑘) = 𝑛−1∑𝑛𝑖=1(𝑦𝑖− 𝑦̂)2, n adalah jumlah data, I adalah matriks identitas, k adalah titik knot (𝑘1, 𝑘2, 𝑘3, … , 𝑘𝑛), dan 𝑨(𝒌) = 𝒙(𝒙′𝒙)−𝟏𝒙′.
2.5 Kriteria Pemilihan Model Terbaik
Dalam analisis regresi, salah satu tujuan yang ingin dicapai adalah memperoleh hubungan yang signifikan antara variabel prediktor dengan variabel respons. Terdapat beberapa kriteria yang dapat digunakan dalam menentukan model regresi yang terbaik antara lain Mean Square Error (MSE), Cross Validation (CV), koefisien determinasi (𝑅2), dan Generalized Cross Validation (GCV), dan lain-lain. Dalam penelitian ini, kriteria pemilihan model terbaik menggunakan nilai GCV yang paling minimum dan nilai 𝑅2 yang maksimum.
Koefisien determinasi adalah nilai dari proporsi keragaman total disekitar nilai tengah 𝑦̅ yang dijelaskan dari model regresi (Draper and Smith, 1992). 1.6 Analisis Faktor
Analisis faktor adalah suatu analisis yang merupakan bagian dari analisis multivariat yang berfungsi mereduksi data atau meringkas dari banyaknya variabel diubah menjadi lebih sedikit variabel dan variabel yang telah diubah masih memuat sebagian besar informasi yang terkandung pada variabel yang asli (Supranto, 2010). Prinsip dasar dari analisis faktor adalah meringkas atau mereduksi data dari gugusan variabel asal 𝑥1, 𝑥2, 𝑥3, … , 𝑥𝑛 sehingga banyaknya
faktor variabel asal lebih sedikit dari variabel asal dan sebagian besar informasi variabel asal tersimpan dalam faktor. Analisis faktor memiliki Principal Component Analysis (PCA) yaitu suatu teknik analisis untuk mentransformasikan variabel-variabel asli yang masih berkolerasi satu dengan yang lainya menjadi sebuah variabel baru yang tidak berkorelasi lagi. Secara umum model analisis faktor (Johnson & Wichern, 1998) adalah :
n m nm n n n n m m m m F l F l F l x F l F l F l x F l F l F l x
2 2 1 1 2 2 2 22 1 21 2 2 1 1 2 12 1 11 1 1 (2.17)Persamaan (2.17) di atas dapat dinyatakan dalam bentuk matriks sebai berikut:
) 1 ( 3 2 1 ) 1 ( 3 2 1 ) ( 3 2 1 3 33 32 31 2 23 22 21 1 13 12 11 ) 1 ( 3 3 2 2 1 1 n p m m m n nm n n n m m m n n n F F F F l l l l l l l l l l l l l l l l x x x x (2.18)
atau ) 1 ( ) 1 ( ) ( ) 1 ( ) 1 (n n lnm Fm n x
. (2.19)Variabel asal ke-1 sampai ke-n dinyatakan 𝑥1, 𝑥2, 𝑥3, … , 𝑥𝑛. Rataan dari vektor acak ke-1 sampai ke-n dinyatakan 1,2,,n;l11,l12,,lnmmerupakan bobot (loading) variabel ke-1 sampai ke-m. Faktor ke-1 sampai ke-m dinyatakan sebagai F1,F2,,Fm. Sedangkan galat atau faktor spesifik (specific factor) untuk
variabel ke-1 sampai ke-n dinyatakan 1,2,,n.
Terdapat dua tipe dalam analisis faktor yaitu analisis eksploratif (Exploratory Factor Analysis disingkat EFA) dan analisis konfirmatif (Confirmatory Factor Analysis disingkat CFA). Analisis eksploratif digunakan untuk mengembangkan teori atau konsep pada sebuah variabel. Kegunaan dari analisis eksploratif adalah menentukan kelompok-kelompok dari kuesioner yang saling bergantung, menentukan skor faktor yang mengarah besaran pada konstruksi dasar untuk dipakai dalam analisis lainnya, dan mendemonstrasikan dimensi-dimensi pada suatu skala pengukuran.
Analisis konfirmatif digunakan untuk digunakan untuk menguji atau mengkonfirmasi teori dalam sebuah model. Kegunaan dari analisis konfirmatif adalah mengetahui validitas pada suatu model faktor tunggal, menguji kaitan antara dua atau lebih factor loading dan menguji signifikansi dari factor loading tertentu.
