REGRESI NONPARAMETRIK BIRESPON
Agustini Tripena*
Abstract : In the last decade Fourier series estimator in nonparametric regression (one response) a lot of attention from researchers because of its flexibility. In this paper will be developed in Fourier series estimator in nonparametric regression of two responses (Birespon). Data are given in pairs (t1j, y1j), j = 1, 2, ... n1 and (t2j, y2j), j = 1, 2, ... n2,. The relationship between t1j, t2j, y1j and y2j following nonparametric regression model Birespon: y1j = f1 (t1j) +
1j and y2j = f2 (t2j) +
2jForm of regression curves f1 and f2 are unknown and assumed to be contained within the space of continuous functions (0,
). Random error
1j mutually independent with mean zero and variance2 1
, and
1j alsomutually independent with mean zero and variance 2 2
. Random error
1j and
2j are correlated with theCor(
1j,
2j) = r. Regression curve f1(t) and f2(t) respectively were approached by a continuous and differentiablefunction: 1(1j) d t = 1 1 01 1 1 1 1 cos 2 K j k j k t kt
, And 2(2j) d t = 2 2 02 2 2 1 1 cos 2 K j k j k t kt
,1, 2, 01, 02 , 1k , k = 1, 2, ..., n1, 2k , k = 1, 2, ..., n2 are parameters that are unknown in the Fourier series model.
Estimated nonparametric regression curve Birespon f1(t) and f2(t) obtained from the complete optimization Penalized Weighted Least Square (PLST):
0 0 2 2 2 2 2 1 2 1 1 1 2 2 2 1 1 dt t f dt t f y w y ) ( , , )( ) [ ( ] [ ( ] ( n (n " " 2 1Completion of this form of optimization PLST Fourier series estimator that can be presented in the form: 1 2 1 1 1 2 2 2 ˆ ( ) ˆ ( ) ( , ) ˆ ( ) y f t f t B y f t
. Fourier series estimator in nonparametric regression Birespon is biased
to nonparametric regression curve
1 1 2 2
( )
( )
( )
f t
f t
f t
Although biased, but this estimator is a linear estimator, which is very supportive in building statistical inference for nonparametric regression curve Birespon.
PENDAHULUAN
Diberikan model regresi nonparametrik (satu respon) yj = f(tj) + εj, tj [a,b], j =1,2,…,n. Bentuk kurva regresi f diasumsikan tidak diketahui dan termuat di dalam suatu ruang fungsi tertentu, seperti ruang SobolevW2m[ , ]a b , ruang fungsi-fungsi kontinu ©(0,π), ruang Hilbert, ruang Entopi, dan yang lainya. Pengambilan asumsi ini, tergantung pada sifat smooth yang dimiliki oleh fungsi yang polanya tidak diketahui tersebut (Budiantara, 2000; 1999). Error random εj diasumsikan berdistribusi independen dengan mean nol dan variansi σ2. Persoalan dalam regresi
nonparametrik adalah bagaimana mendapatkan bentuk estimator untuk kurva regresi f. Dalam regresi nonparametrik umumnya bentuk estimator nonparametrik diperoleh dengan menggunakan pendekatan fungsi keluarga (misalnya deret orthogonal (Eubank,1988), Wavelets (Antoniadis, et al. (2001 ), Kernel (Eubank,1988) dan Spline (Budiantara, 2006). Berdasarkan pandangan teori estimasi, pendekatan fungsi keluarga umumnya sulit mendapatkan landasan dasar Statistika yang digunakan dalam pendekatan fungsi keluarga tersebut (Budiantara, 2001; 2002; 2005). Wahba (1990), Wang (1998) dan Budiantara (2002), tidak lagi menggunakan pendekatan fungsi keluarga, tetapi menggunakan optimasi Penalized yang menggabungkan Goodness of fit dan penalty. Estimator regresi nonparametrik diperoleh dari menyelesaikan optimasi :
Min
f H { R(f) +
J(f) }, untuk suatu ruang fungsi H. Kuantitas R(f) dan J(f) berturut-turut menyatakan goodness of fit dan ukuran kemulusan fungsi (penalty). Parameter penghalus (bandwith) mengontrol antara R(f) dan J(f). Kelompok regresi nonparametrik yang sering menggunakan pendekatan penalized ini adalah Spline.Karena kelebihannya ini, beberapa kelompok regresi lain seperti Deret Fourier juga mulai mengunakan pendekatan penalized, tetapi masih mengkombinasikannya dengan pendekatan fungsi keluarga (Bilodeau, 1992; Tripena dan Budiantara, 2006).
Estimator Deret Fourier dalam regresi nonparametrik satu respon, dalam beberapa tahun terakhir banyak mendapat perhatian dari beberapa peneliti regresi nonparametrik. Estimator Deret Fourier ini, umumnya digunakan apabila data yang diselidiki polanya tidak diketahui dan ada kecendrungan pola musiman (Tripena dan Budiantara, 2006 dan Bilodeau, 1992). Dalam estimator Deret Fourier, kurva regresi nonparametrik satu respon f diasumsikan tidak diketahui dan termuat di dalam ruang fungsi kontinu !(0,π). Error random εj diasumsikan berdistribusi normal independen dengan mean nol dan variansi σ2. Karena f(t) kontinu pada
interval (0,π) maka dapat dihampiri oleh fungsi
dimana
, i = 1,2,…,K merupakan parameter--parameter model (Bilodeau, 1992). Berdasarkan model Deret Fourier ini, Bilodeau (1992) memberikan estimator Deret Forier untuk kurva regresi nonparametrik satu respon, berbentuk :
ˆ ( )
F t
= 0 1 1 ˆ( ) ˆ ( ) ˆ( ) cos 2 K i i t it
, dengan 0 1ˆ
( )
( ( ),
ˆ
ˆ
( ),
ˆ
( ),...,
ˆ
K( ))
diperoleh dari persamaan :
ˆ ( )
= 1 1 1 (n X X
G) n X y , dimana G matriks diagonal dan X suatu matriks koefisien. Selanjutnya, Tripena dan Budiantara (2006), menyatakan bahwa apabila error random darimodel regresi nonparametrik satu respon berdistribusi normal, maka estimator Deret Fourier dan yang diberikan oleh Bilodeau (1992), mempuyai sifat (i). merupakan estimator bias untuk kurva regresi nonparametrik f(t). (ii). merupakan kelas estimator linear dalam observasi, dan (iii). dan masing-masing berdistribusi normal. Dalam beberapa persoalan praktis, sering dijumpai model regresi yang memiliki respon lebih dari satu (Birespon), pola kurva regresinya tidak jelas dan tidak diketahui, serta ada indikasi musiman. Secara teoritis estimator Deret Fourier dalam regresi nonparametrik Birespon merupakan generalisasi dari estimator Deret Fourier dalam regresi nonparametrik satu respon. Penelitian yang menyangkut estimator Deret Fourier dalam regresi nonparametrik Birespon, belum banyak dikembangkan oleh para peneliti. Dalam tulisan ini akan diberikan bentuk estimator Deret Fourier dalam regresi nonparametrik Birespon dan sifat-sifat yang dimiliki oleh estimator tersebut.
REGRESI NOPARAMETRIK BIRESPON DAN STRUKTUR MATRIKS VARIANCE-COVARIAN Diberikan data berpasangan y(t1j , y1j) , j = 1, 2, n1 dan (t2j, y2j), j = 1 ,2, …n2, Hubungan antara t1j, t2j, y1j, dan y2j diasumsikan mengikuti model regresinonparametrik dengan dua respon (Birespon) :y1j= f1(t1j) + 1j , j =1,2,…,n1 y2j= f2(t2j) + 2j,j =1,2,…,n2. (1)
Bentuk kurva regresi f1 dan f2 tidak diketahui dan diasumsikan termuat didalam ruang fungsi kontinu
!(0,π), dimana:!(0,π ={g ; g kontinu pada interval (0,π) }. Error random 1j, j =1,2,…,n1 saling independen dengan mean nol dan variansi , dan error random 2j, j =1,2,…,n2 juga saling independen dengan mean nol dan variansi . Error random 1j, j =1,2,…,n1 dan 2j, j =1,2,…,n2 saling berkorelasi dengan Cor(1j, 2j) = .Struktur matriks variance-covariance dari error ditulis:
1 2 2 1 2
( ,
,
)
W
=
2 1 12 12 12 2 1 12 12 12 2 1 12 12 12 2 21 21 21 2 2 21 21 21 2 2 21 21 21 2 0 0 0 0 0 0 0 0 0 0 0 0 0
.
Misalkan diberikan kuantitas1 2
, 1 2 r
dan korelasi 12 1 2
, maka covariansi 12 dapat ditulis menjadi 12 = 12 =.
Pada sisi lain variansi 2 1
dan 2 2
berturut-turut dapat disajikan menjadi : 12 1 2 1 2r
,dan. Dengan demikian matriks variance-covariance 1 2 2
1 2
( ,
,
)
W
dapat disajikan menjadi :1 2 2 1 2
( ,
,
)
W
= 0 0 0 0 0 0 0 0 0 0 0 0 0 r r r r r r Matriks 1 2 2 1 2( ,
,
)
W
dapat pula disajikan1 2 2 1 2
( ,
,
)
W
=
1 1 2 2 1 21
n n xn n xn nr I
J
J
I
r
, (2) dengan matriks In1 dan In2 berturut-turut menyatakan
matriks Identitas berukuran
n xn
1 1 dann xn
2 2, serta matriks 1 21 1 1 1 n x n J .
Berdasarkan matriks variance-covariace 1 2 2
1 2
( ,
,
)
W
ini, akan ditentukan bentuk estimator Deret Fourier Bivariate dalam regresi nonparametrik Birespon.ESTIMATOR DERET FOURIER BIVARIATE DALAM REGRESI NONPARAMETRIK BIRESPON Persamaan regresi nonparametrik Birespon (1) dapat dinyatakan dalam bentuk matriks:
1 2 22 21 1 12 11 1 2 22 2 21 2 1 1 1 12 1 11 1 1 2 22 21 1 12 11 ) ( ) ( ) ( ) ( ) ( ) ( n n n n n n t f t f t f t f t f t f y y y y y y
1 2 22 21 1 12 11 1 2 22 2 21 2 1 1 1 12 1 11 1 1 2 22 21 1 12 11 ) ( ) ( ) ( ) ( ) ( ) ( n n n n n n t f t f t f t f t f t f y y y y y y f2!(0,π), maka f1(t) dan f2(t) berturut-turut dapat dihampiri oleh fungsi kontinu dan diferensiabel d1(t) dan d2(t), yaitu : f1(t1j ) = d1(t1j ), j =1,2,…,n1 dan f2(t2j ) = d2(t2j ), j =1,2,…,n2 , dengan
1(1j) d t = 1 1 01 1 1 1 1 cos 2 K j k j k t kt
, dan (4) d t2(2j) = 2 2 02 2 2 1 1 cos 2 K j k j k t kt
(5)Persamaan regresi nonparametrik Birespon (3) dapat ditulis menjadi:
1 1 1 2 1 11 01 1 11 1 1 12 01 1 12 11 1 12 1 1 01 1 1 1 1 21 2 21 02 2 21 1 22 2 22 02 2 22 2 1 cos 2 1 cos 2 1 cos 2 1 cos 2 1 cos 2 K k k K k k K n k n n k K k k k k n t kt t kt y y t kt y y t kt y t kt y
1 2 2 2 11 12 1 21 22 1 2 2 2 02 2 2 1 (6) 1 cos 2 n K n K n k n k t kt
Kuantitas-kuantitas
1
,
2
,
01
,
02
,
1k
,
k
1, 2,...,
n
1,
2k
,
k
1, 2,...,
n
2merupakan parameter-parameter yang tidak diketahui di dalam model Deret Fourier (4) dan (5). Estimasi kurva regresi nonparametrik Birespon
f t
1( )
danf t
2( )
diperoleh dari menyelesaikan optimasi Penalized Least Square Terbobot (PLST ) :Vektor
y
y y
1
,
2
'
adalah vektor berukuran(
n
1
n x
2) 1
, dan 1 2(
,
,...,
)
k k k k kny
y
y
y
vektor berukuran kn
x1,k = 1,2.Vektorf
f f
1
,
2
'
merupakan vektor berukuran ,dan vektor berukuran x1, k = 1,2. matriksbobot berukuran yang tergantung pada dan dan berkaitan dengan persamaan (2). Parameter dan merupakan parameter penghalus (bandwith). Dari Persamaan (7) diuraikan komponen Goodness of fit :
1
2 2 ( ) ( ) ' ( , , )
2 1 2 1 1 1 1 0 2 ( ) ( ) ( , ) P P f P f f f t dt +
2 2 2 2 2 0 2 f t dt (9) dengan: 2 4 1 2 01 02 11 12 1 21 22 2 ( , , , , , ,..., K, , ,..., K) K
. Pertama, akan diuraikan komponen
Goodness of fit. Model regresi nonparametrik Birespon pada Persamaan (6) dapat disajikan dalam bentuk :
1 2
( , )
y
B t t
dengan 1 1 2 2 11 11 12 12 1 1 1 1 2 2 21 21 22 22 2 2 , , n n n n y y y y y y y y y 1 1 01 2 1 1 1 2 1 1 2 2 1 02 2 2 1 2 2 2 K K dan
1 1 1 1 2 11 11 11 11 12 12 12 12 1 1 1 1 1 2 21 21 21 21 22 22 22 22 21 cos cos 2 cos 0 0 0 0 0
1 cos cos 2 cos 0 0 0 0 0
1 cos cos 2 cos 0 0 0 0 0
( , )
0 0 0 0 0 1 cos cos 2 cos
0 0 0 0 0 1 cos cos 2 cos
0 0 0 0 0 1 cos n n n n n t t t Kt t t t Kt t t t Kt B t t t t t Kt t t t Kt t 2 2 2 2n cos 22n cos 2n t t Kt
Goodness of fit pada Persamaan (8) dapat dinyatakan menjadi :
2 2 1 2 1 1 1 2 1 2 1 ( ) ( , ) ' ( , , ) ( , ) G y B t t W y B t tn n . (10). Selanjutnya, akan diturunkan
Penalty dari Persamaan (9). Pertama diturunkan terlebih dahulu penalty suku pertama dari Persamaan (9), sebagai berikut :
2 1 1 1 0 2 ( ) f t d t
2 2 1 1 0 1 1 1 1 2 1 0 1 2 1 c o s 2 K k k d t k t d t d t
Untuk menyelesaikan integral ini, terlebih dahulu ditentukan kuantitas dari :
2 2 1 1 0 1 1 1 2 1 1 1 c o s 2 K k k d t k t d t
2 1 1 0 1 1 1 1 1 1 1 c o s 2 K k k d d t k t d t d t
2 1 1 1 1 sin K k k d k kt dt
2 2 1 1 1 cos K k k k k t
Persamaan terakhir memberikan :2 1 1 1 0 2 ( ) f t d t
2 2 1 1 1 1 0 2 cos K k k k k t dt
2
2 2 2 1 1 1 1 1 1 1 1 0 2cos 2 cos cos
K K K k k j k k j k j k kt k kt j jt dt
2
2 2 2 1 1 1 1 1 1 1 1 1 0 0 2 4cos cos cos
K K k k j k k j k kt dt k kt j jt dt
(11). Untuk menyelesaikanpersamaan ini, pertama dihitung nilai Integral suku pertama dari Persamaan (11), sebagai berikut :
2
2 1 1 1 1 0 2 c o s K k k k k t d t
4 2 2 1 1 1 1 0 2 cos K k k k kt dt
4 2 2 1 1 1 1 0 2 cos K k k k kt dt
4 2 1 1 1 1 0 2 1 2 c o s 2 K k k k t k d t
4 2 1 1 1 1 0 1 2 s in K k k k t k t k
4 2 1 1 K k k k
. Selanjutnya dihitung nilai Integral suku kedua dari Persamaan(11), sebagai berikut:
2 1 1
2 1 1
1 0 4 cos cos K k j k j k kt j jt dt 2 2 1 1 1 1 1 0 4 cos cos K k j k j k j kt jt dt
2 1 1 1 1 1 0 4 cos cos K k j k j kj kt jt dt . Selanjutnya diperoleh : 1 1 1 0 coskt cosjt dt
1
1 1 0 cos cos 2 k j t k j t dt
1 1 1 1 0 0 1 1 c o s c o s 2 k j t d t 2 k j t d t
1 1 1 1sin sin 0 sin 0
2 k j k j 2 k j k j t
0
.Akibatnya:
2 1 1
2 1 1
1 0 4 co s co s K k j k j k kt j jt d t
2 2 1 1 1 1 1 0 4 co s co s K k j k j k j kt jt d t
2 4 0 K k j k j kj a a
= 0. Hasil ini, memberikan nilai Penalty suku pertama dari Persamaan (9) :2 1 1 1 0 2 ( ) f t dt
4 12 1 K k k k
. (12) Langkah selanjutnya adalah menurunkan Penalty suku kedua dariPersamaan (9). Dengan cara yang serupa dengan cara perhitungan Penalty pada suku pertama, diperoleh nilai
Penalty dari suku kedua pada Persamaan (9) :
2 2 2 2 0
2
( )
f
t
dt
4 2 2 1 K k k k
(13).Berdasarkan Persamaan (12) dan (13), maka Penalty pada Persamaan (9) dapat ditulis menjadi :
( )
P
=
4 2 1 1 1 2 4 2 2 1 K k k K k k k k
= 4 1 1 1 4 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 K + 4 2 2 2 4 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 K = 1 1D
1
+
2
2
D
2 = 1 1 2 1 2 2 2 20
0
(
)
0
0
K KI
D
I
D
=
*D*
(14) dimana : 1 1 2 2 2 20
0
,
,
*
( , ),
0
0
K KI
D
D
Diag D D
I
D
dan 4 4 4 4 40 0
0
0
0 0
0
0
(0, 0,1 , 2 ,...,
)
0 0 1
0
0 0
0
D
Diag
K
K
. Dengan memperhatikan Persamaan (10) dan
Persamaan (14), ma ka optimasi PLS T pada Persama an (7) dapat dinyataka n menja di :
2K4 ( ) ( ) Min G P =
2 4 2 2 1 2 1 2 1 2 1 21
( , ) ' ( ,
,
)
( , )
* *
KMin
y B t t
W
y B t t
D
n
n
2 4 2 2 2 2 1 2 1 2 1 2 1 2 2 2 1 2 1 2 1 2 1 ( , , ) 2 ( , ) ( , , ) ( , ) ( , , ) ( , ) * * K Min y W y B t t W n n B t t W B t t D
2 4 2 2 2 2 1 2 1 2 1 2 1 2 1 2 2 2 1 2 1 2 1 2 1 21
2
( ,
,
)
( , )
( ,
,
)
1
( , )
( ,
,
) ( , )
*
*
KMin
y W
y
B t t W
n
n
n
n
B t t W
B t t
D
n
n
Dengan sedikit penjabaran dan menggunakan derivatif parsial, diperoleh persamaan normal :
2 2 2 2 1 2 1 2 1 2 1 2 1 2 1 2 1 22
1
( , ) ( ,
,
) 2
( , ) ( ,
,
) ( , )
* *
0.
B t t W
B t t W
B t t
D
n
n
n
n
Estimator untuk
diberikan oleh : ˆ
1 2 2 2 2 1 2 1 2 1 2 1 2 1 2 1 1 ( , ) ( , , ) ( , ) * * ( , ) ( , , ) B t t W B t t D B t t W y N N ,dengan N= n1 +n2. Estimator Deret Fourier untuk kurva regresi nonparametrik Birespon, diberikan oleh
: 1 2 1 1 2 1 2 2 ˆ ( ) ˆ( , ) ( , )ˆ ˆ ( ) f t f t t B t t f t
1 2 2 2 2 1 2 1 2 1 2 1 2 1 2 1 2 1 1 ( , ) ( , ) ( , , ) ( , ) * * ( , ) ( , , ) Bt t B t t W Bt t D B t t W y N N . =H
( ,
1 2)
y
, (15) dengan 1 2( , )
H
=
1 2 2 2 2 1 2 1 2 1 2 1 2 1 2 1 2 1 1 ( , ) ( , ) ( , , ) ( , ) * * ( , ) ( , , ) B t t B t t W B t t D B t t W N NSIFAT-SIFAT ESTIMATOR DERET FOURIER BIVARIATE
Persamaan (15), memberikan estimator Deret Fourier untuk kurva regresi nonparametrik Birespon yang
pada dasarnya dapat dinyatakan sebagai kombinasi linear dari observasi (respon)
1 2
y
y
y
, yaitu : = 1 2( ,
)
H
y
= 1 1 2 2( ,
)
y
H
y
. Persamaan ini memperlihatkan bahwa estimator Deret Fourier untuk kurva
regresi nonparametrik Birespon tegolong kelas estimator linear. Estimator linear dalam Statistika Inferensi, khususnya teori estimasi sangat disukai, karena sifat linear ini akan memberikan kemudahan dalam mendapatkan inferensi untuk kurva regresi nonparametrik Birespon. Walaupun estimator Deret Fourier ini tergolong estimator linear, tetapi estimator Deret Fourier ini bersifat bias. Hal ini dapat ditunjukan sebagai berikut. Dari Persamaan
(15), diperoleh : 1 2 1 1 2 2
ˆ ( )
ˆ ( , )
ˆ ( )
f
t
E f t t
E
f
t
=E H
( ,
1 2)
y
= 1 1 2 2 ( , ) y E H y
= 1 1 2 2( )
( ,
)
(
)
E y
H
E y
= 1 1 1 2 2 2( )
( ,
)
( )
f t
H
f t
1 1 2 2( )
( )
f t
f
f t
.REFERENSI
Antoniadis, A., Bigot, J. and Spatinas, T., 2001, Wavelet Estimators in Nonparametric Regression : A Comparative Simulation Study, Journal of Statistical Software, 6, 1-83.
Bilodeau, M., 1992, Fourier Smoother and Additive Models, The Canadian Journal of Statistics, 3, 257-269.
Budiantara, I. N., 1999, Estimator Spline Terbobot Dalam Regresi Semiparametrik, Majalah Ilmu Pengetahuan dan Teknologi (IPTEKS), 10, 103-109.
Budiantara, I. N., 2000, Optimasi dan Proyeksi Dalam Regresi Nonparametrik Spline, Majalah Berkala Matematika dan Ilmu Pengetahuan Alam (BMIPA), Universitas Gadjah Mada, 10, 35-44.
Budiantara, I. N., 2001, Regresi Nonparametrik dan Semiparametrik Serta Perkembangannya, Makalah Pembicara Utama pada Seminar Nasional Alumni Pasca Sarjana Matematika Universitas Gadjah Mada, Yogyakarta.
Budiantara, I. N., 2002, Estimator Tipe Penalized Likelihood, Jurnal Natural FMIPA Unibraw, Edisi Khusus, 231-235.
Budiantara, I. N., 2005, Model Keluarga Spline Polinomial Truncated Dalam Regresi Semiparametrik, Makalah Seminar Nasional Matematika, Jurusan Matematika Universitas Diponegoro, Semarang.
Budiantara, I. N., 2006, Model Spline Dengan Knots Optimal, Jurnal Ilmu Dasar, FMIPA Universitas Jember, 7, 77-85.
Eubank,R.L.,1988, Spline Smoothing and Nonparametric Regression, Mercel Dekker, New York.
Tripena, A. and Budiantara, I N., 2006, Fourier Estimator in Nonparametric Regression, International Conference On Natural Sciences and Applied Natural Scienes, Ahmad Dahlan University, Yogyakarta.
Wahba G.,1990, Spline Models For Observasion Data, SIAM Pensylvania.
Wang, Y., 1998, Spline Smoothing Models With Correlated Errors, Journal of the American Statistical Association., 93, 341-348.