Pengenalan Pola Secara Statistika Dengan Pendekatan Analisis Diskriminan Linier 2-Dimensi Simetris

2-DIMENSI SIMETRIS

SKRIPSI

RINA WIDYASARI

060803052

DEPARTEMEN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS SUMATERA UTARA

2-DIMENSI SIMETRIS

SKRIPSI

Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar Sarjana Sains

RINA WIDYASARI

060803052

DEPARTEMEN MATEMATIKA

FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM

UNIVERSITAS SUMATERA UTARA

PERSETUJUAN

Judul : PENGENALAN POLA SECARA STATISTIKA

DENGAN PENDEKATAN ANALISIS

DISKRIMINAN LINIER 2-DIMENSI SIMETRIS

Kategori : SKRIPSI

Nama : RINA WIDYASARI

Nomor Induk Mahasiswa : 060803052

Program Studi : SARJANA (S1) MATEMATIKA

Departemen : MATEMATIKA

Fakultas : MATEMATIKA DAN ILMU PENGETAHUAN ALAM (FMIPA) UNIVERSITAS SUMATERA UTARA

Medan, 21 September 2010

Komisi Pembimbing :

Pembimbing 2, Pembimbing 1,

Drs. Suwarno Ariswoyo, M.Si Dr. Sutarman, M.Sc

NIP. 19500321 198003 1 001 NIP. 19631026 199103 1 001

Diketahui oleh

Departemen Matematika FMIPA USU Ketua,

PERNYATAAN

PENGENALAN POLA SECARA STATISTIKA DENGAN PENDEKATAN ANALISIS DISKRIMINAN LINIER 2-DIMENSI SIMETRIS

SKRIPSI

Saya mengakui bahwa skripsi ini adalah hasil kerja saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing disebutkan sumbernya.

Medan, 21 September 2010

PENGHARGAAN

Puji dan syukur kepada Allah SWT, karena berkat, rahmat dan hidayah-Nya sehingga penulis dapat menyelesaikan skripsi yang berjudul ”PENGENALAN POLA

SECARA STATISTIKA DENGAN PENDEKATAN ANALISIS

DISKRIMINAN LINIER 2-DIMENSI SIMETRIS” ini dengan baik.

Dalam menyelesaikan skripsi ini penulis banyak menerima bantuan dan saran dari berbagai pihak. Pada kesempatan ini, penulis mengucapkan terima kasih sebesar-besarnya kepada:

1. Bapak Dr. Sutarman, M.Sc, selaku Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Sumatera Utara

2. Bapak Dr. Saib Suwilo, M.Sc, Ph.D, dan Bapak Henry Rani S, M.Si selaku Ketua dan Sekretaris Departemen Matematika di FMIPA USU

3. Bapak Dr. Sutarman, M.Sc, selaku dosen pembimbing I dan Bapak Drs. Suwarno Ariswoyo, M.Si selaku dosen pembimbing II yang telah memberikan panduan, dukungan moral, motivasi dan ilmu pengetahuan bagi penulis dalam menyelesaikan penelitian ini.

4. Bapak Syahril Efendi, S.Si, M.IT selaku dosen penasehat akademik yang selalu memberikan arahan dan motivasi kepada penulis selama menjalani studi di strata satu Matematika ini.

5. Seluruh Staf Pengajar Departemen Matematika dan pegawai Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Sumatera Utara. 6. Ayahanda Junaidi dan Ibunda Sulastri yang paling saya sayangi selama

hidup ini serta adik-adikku Irmayati, Rizky Ayu Lestari, Fajar Faturrahman dan Nabila Azzuhra yang selalu memberikan curahan do’a, kasih sayang, motivasi, semangat untuk terus menggapai cita-cita, serta dukungan moril maupun materil kepada penulis.

Penulis juga berterima kasih kepada Mas Sentot Budi Santoso atas perhatian, bantuan, motivasi yang dicurahkan kepada penulis selama ini. Terima kasih pula kepada kedua sahabat terbaik yaitu Aghní Syahmarani dan Sri Rafiqoh yang selalu setia mendukung baik selama perkuliahan, skripsi maupun hal-hal lain dalam kehidupan penulis. Begitu juga dengan Mahater Muhammad, Astria Puji Astuti, Linda Arizta, Priskilla Br. Ginting, Rion Siboro, yang saling memberikan motivasi, doa dan melakukan bimbingan secara bersamaan selama penulisan skripsi ini.

Penulis menyadari terdapat banyak kekurangan dalam penulisan ini. Oleh karena itu, penulis meminta saran dan kritik dari pembaca sekalian guna menyempurnakan tulisan ini.

Demikianlah yang dapat penulis sampaikan, atas perhatian, atensi dan kerjasamanya penulis ucapkan terima kasih. Semoga tulisan ini bermanfaat bagi siapa yang membutuhkan.

Medan, 21 September 2010 Penulis,

ABSTRAK

SYMMETRIC TWO-DIMENSIONAL LINEAR DISCRIMINANT ANALYSIS IN STATISTICAL PATTERN RECOGNITION

ABSTRACT

Statistical pattern recognition is a system that aims to classify a number of objects to a number of categories or classes. Given a data matrix A, A = {∏1, ∏2,…, ∏k} where

DAFTAR ISI

Halaman

PERSETUJUAN i

PERNYATAAN ii

PENGHARGAAN iii

ABSTRAK v

ABSTRACT vi

DAFTAR ISI vii

DAFTAR TABEL viii

DAFTAR GAMBAR ix BAB 1. PENDAHULUAN 1 1.1 Latar Belakang 1 1.2 Perumusan Masalah 4 1.3 Tinjauan Pustaka 5 1.4 Tujuan Penelitian 9 1.5 Manfaat Penelitian 10

1.6 Metodologi Penelitian 10

2. LANDASAN TEORI 11

2.1 Pengenalan Pola Secara Statistika 11

2.1.1 Vektor Acak dan Distribusinya 12

2.1.2 Matriks Kovarians 13

2.1.3 Nilai Eigen dan Vektor Eigen 15

2.2 Analisis Diskriminan Linier (ADL) 18

2.3 Analisis Diskriminan Linier 2-Dimensi (ADL2-D) 22

2.3.1 Transformasi Bilinier 28

3. ANALISIS DISKRIMINAN LINIER 2-DIMENSI SIMETRIS (ADL2-D SIMETRIS) 29

3.1 Analisis Diskriminan Linier 2-Dimensi Simetris 29

3.2 Aplikasi Analisis Diskriminan Linier dan Analisis Diskrimi-nan Linier 2-Dimensi pada Suatu Contoh Pengenalan Pola Karakter 38

4. KESIMPULAN DAN RISET LANJUTAN 49

4.1 Kesimpulan 49

4.2 Riset Lanjutan 50

DAFTAR TABEL

DAFTAR GAMBAR

Halaman Gambar 1.1 : Model pengenalan pola secara statistika 6 Gambar 2.1 : Contoh dua pengukuran pola (a) gelombang (b) huruf 12 Gambar 2.2 : Hasil Klasifikasi dengan Analisis Diskriminan Linier 20 Gambar 3.1 : Perbandingan fungsi objektif dan keakuratan klasifikasi antara

metode ADL2-D dan ADL2-D Simetris jika dipartisi menjadi

2 kelas 46

Gambar 3.2 : Perbandingan fungsi objektif dan keakuratan klasifikasi antara metode ADL2-D dan ADL2-D Simetris jika dipartisi menjadi

3 kelas 47

Gambar 3.3 : Perbandingan fungsi objektif dan keakuratan klasifikasi antara metode ADL2-D dan ADL2-D Simetris jika dipartisi menjadi

ABSTRAK

SYMMETRIC TWO-DIMENSIONAL LINEAR DISCRIMINANT ANALYSIS IN STATISTICAL PATTERN RECOGNITION

ABSTRACT

Statistical pattern recognition is a system that aims to classify a number of objects to a number of categories or classes. Given a data matrix A, A = {∏1, ∏2,…, ∏k} where

PENDAHULUAN

1.1 Latar Belakang

Pengenalan pola atau dikenal dengan sebutan pattern recognition merupakan salah satu cabang sains yang pada dasarnya adalah suatu sistem yang bertujuan mengklasifikasi objek-objek ke dalam kategori-kategori atau kelas-kelas (Theodoridis, 2003), berdasarkan baik pada apriori pengetahuan atau pada informasi statistik yang diambil dari pola. Pola-pola tersebut biasanya diklasifikasikan ke dalam kelompok pengukuran atau pengamatan yang juga menentukan titik-titik ruang multidimensi yang tepat. Suatu sistem pengenalan pola yang lengkap terdiri atas suatu sensor yang mengumpulkan pengamatan untuk diklasifikasi atau digambar, suatu skema mekanisme ekstraksi fitur yang menghitung informasi numerik atau simbolik dari pengamatan, dan skema klasifikasi atau deskripsi yang mengklasifikasikan atau mendeskripsikan pengamatan dengan mengandalkan fitur yang diekstraksi (Wikipedia, 22 Februari 2010).

Desain dari sebuah sistem pengenalan pola terdiri atas tiga aspek sebagai berikut:

1. akuisisi data dan pre-proses 2. representasi data, dan 3. pengambilan keputusan

Proses pada sistem pengenalan pola dimulai dari pemilihan pola sebagai sensor, kemudian pola-pola tersebut masuk ke teknik pemrosesan, bagan representasi, dan terakhir adalah proses pemodelan pembuatan keputusan. Dalam hal ini, empat pendekatan terbaik yang dikenal untuk pengenalan pola ialah:

1. pencocokan template (template matching) 2. klasifikasi statistik

3. sintaktis atau pencocokan struktur, dan 4. jaringan saraf tiruan

Model-model ini tidak independen dan kadang memiliki metode pengenalan pola yang sama dengan perbedaan interpretasi (Jain et. al, 2000).

Pada pengenalan pola terdapat bagan klasifikasi yang digunakan untuk mengelompokkan data. Bagan klasifikasi yang digunakan dalam penelitian ini akan menggunakan pendekatan statistik. Pengenalan pola secara statistik didasarkan pada pola-pola karakterisasi statistik, dengan asumsi bahwa pola-pola yang dihasilkan merupakan suatu sistem probabilitas.

Fukunaga (1990) dalam tulisannya menyajikan cara-cara dasar perhitungan matematika untuk proses pembuatan keputusan secara statistik dalam pengenalan pola. Tujuan utama pattern recognition adalah mengklarifikasikan mekanisasi sulit yang sering ditemukan dalam dunia sehari-hari seperti langkah dalam permainan catur didasarkan pada pola yang ada di papan catur, pembelian atau persediaan penjualan diputuskan melalui suatu pola informasi yang kompleks.

Dalam penelitian ini, peneliti menggunakan metode Analisis Diskriminan Linier dan perkembangannya yakni metode Analisis Diskriminan Linier 2-Dimensi dan Analisis Diskriminan Linier 2-Dimensi Simetris. Analisis Diskriminan Linier selanjutnya disingkat penulis dengan ADL telah sukses diaplikasikan dalam visualisasi komputer. Peneliti menggunakan metode ini karena metode ini dapat mengklasifikasikan objek-objek dengan baik sehingga terdapat perbedaan antara pola yang memudahkan untuk proses pengenalan pola. Sebagai suatu pendekatan analisis subruang untuk mempelajari struktur berdimensi rendah data berdimensi tinggi, ADL mencari suatu himpunan vektor-vektor yang memaksimumkan Criterion Fisher Discriminant. Metode ini secara simultan meminimumkan sebaran dalam kelas (Sw) dan memaksimumkan sebaran antar kelas (Sb) dalam proyeksi fitur ruang vektor.

1

[ ][ ]

k i c

T

w k i k i

i X X

S X  X 

 



 

 

1

[ ][ ]

c

T

b i i i

i

S N    







 

dimana N_i adalah jumlah sampel pada kelas

X

_i, dan _i adalah image rata-rata dari kelas X_i, dan  adalah rata-rata keseluruhan. Rumus rata-rata kelas dan rata-rata keseluruhan adalah sebagai berikut:

1

i

i _x

i

x N

 



_ adalah mean (rata-rata) dari kelas ke-i, dan

1

1

i k

i x x

N



 

_{ }

adalah rata-rata keseluruhan (Fukunaga, 1990).

demi kolom untuk mereduksi sejumlah kolom. Kemudian, Yang et. al (2005) memperbaiki dan memberikan suatu algoritma pertama untuk mereduksi banyaknya kolom, dan selanjutnya mereduksi banyaknya baris. Metode ini merupakan algoritma yang dependen. Sebelumnya, Ye et. al (2004) memperkenalkan suatu order bebas (independen) ADL2-D dengan suatu solusi algoritma iterasi. Mereka mempertimbangkan proyeksi data ke dalam suatu ruang yang merupakan produk tensor dalam 2 vektor ruang.

Meskipun metode ADL2-D lebih baik dibandingkan metode ADL klasik, namun metode ini menyisakan suatu problem mendasar yang tidak terpecahkan. Untuk vektor 1-Dimensi, matriks sebaran antar kelas maupun matriks sebaran dalam kelas didefinisikan tunggal. Untuk matriks 2-Dimensi seperti gambar, dan pada umumnya gambar bersifat tidak simetris Xi  XiT, maka matriks sebaran antar kelas maupun matriks sebaran dalam kelas didefinisikan tidak tunggal yakni

( T) ( T ),

b b

S XX S X X ( T) ( T ),

w w

S XX S X X

sehingga terdapat sejumlah pilihan-pilihan yang mungkin untuk menentukan fungsi objektif ADL yang tepat.

1.2 Perumusan Masalah

1.3 Tinjauan Pustaka

Pengenalan pola merupakan cabang sains yang bertujuan untuk mengklasifikasi objek-objek ke dalam kategori-kategori atau kelas-kelas (Theodoridis, 2003). Aplikasi pengenalan pola sangat luas, di antaranya mengenali suara dalam sistem pengamanan, membaca huruf dalam OCR, mengklasifikasikan penyakit secara otomatis berdasarkan hasil diagnosa kondisi medis pasien, analisis gambar, pengenalan karakter, mengidentifikasi seseorang, dan sebagainya.

Berbagai metode dikenal dalam pengenalan pola, seperti analisis diskriminan linier, model hidden markov hingga metode kecerdasan buatan seperti artificial neural network. Banyak peneliti menggunakan Analisis Diskriminan untuk mengklasifikasikan objek dalam visualisasi komputer. Mereka menggunakan sistem pengklasifikasian umum dengan urutan pengenalan pola sebagai sensor, pengukuran pola, pemilihan pola, pengklasifikasian, dan yang terakhir adalah sistem evaluasi. Selanjutnya, Yu and Dasgupta (2008) menggunakan metode pengenalan pola dengan sebutan Conserved Self Pattern Recognition Algorithm (CSPRA) yang diaplikasikan untuk mendiagosis penyakit kanker payudara. Algoritma ini mendeteksi kasus malignant menggunakan data yang dikumpulkan oleh Dr. Wolberg, kemudian dievaluasi untuk pengukuran rata-rata deteksi dan kesalahan alarm rata-rata. Hasil penelitian ini menunjukkan bahwa pendekatan yang mereka gunakan telah menjanjikan dan memberikan suatu potensi yang besar dalam pendiagnosisan kanker secara klinis.

Sistem pengenalan pola yang selalu digunakan dalam penelitian, dioperasikan ke dalam dua model yaitu: pelatihan (learning) dan pengujian (testing). Peraturan dari modul pemrosesan adalah dengan membagi-bagi pola dari latar belakang, pemindahan noise, menormalisasikan pola, dan pengoperasian lain yang akan terlibat dalam pendefinisian representasi data.

klasifikasi, pengklasifikasi terlatih memberikan pola masukan ke salah satu pola-pola kelas dengan pertimbangan berdasarkan fitur-fitur terhitung. Untuk lebih jelasnya mari perhatikan bagan pengenalan dan pengklasifikasian pola berikut (Jain et. al, 2000).

test

pola

Pengklasifikasian Pelatihan

latihan pola

Gambar 1.1 : Model pengenalan pola secara statistik

Metode klasifikasi yang digunakan dalam pengenalan pola ini adalah Analisis Diskriminan Linier 2-Dimensi Simetris (ADL2-D Simetris) yaitu perkembangan dari Analisis Diskriminan Linier klasik (ADL klasik). Analisis diskriminan adalah teknik statistika multivariat yang terkait dengan pemisahan (separating) atau alokasi/klasifikasi (classification) sekelompok objek atau observasi ke dalam kelompok (group) yang telah terlebih dahulu didefinisikan. Dalam tujuan pengenalan objek (observasi), metode ini mencoba menemukan suatu ‘discriminant’ yang nilainya secara numeris sedemikian sehingga mampu memisahkan objek yang karakteristiknya telah diketahui. Sedangkan dalam tujuan klasifikasi objek, metode ini akan mensortir objek (observasi) ke dalam 2 atau lebih kelas (Fukunaga, 1990).

Jika diberikan suatu matriks data ARN n , ADL klasik bertujuan untuk menemukan suatu transformasi GRN l yang memetakan setiap kolom ai dari

Pemrosesan Pengukuran

fitur Pengklasifikasian

Pemrosesan Pengukuran fitur

matriks A, untuk 1≤ i ≤ n, dalam ruang dimensi N ke vektor bi dalam ruang dimensi l. Yakni G : a_iRN n  b_i G aT _iR ll( N). Ekivalennya, ADL bertujuan untuk menemukan suatu ruang vektor  direntangkan oleh { }l₁

i i

g _ dimana G= [g1, g2, …,gl], sehingga setiap ai diproyeksikan ke  oleh ( 1. ,..., . )

T T T l

i l i

g a g a R (Ye et. al, 2004).

Asumsikan bahwa data asli dalam A dipartisi ke dalam k kelas sehingga A = {

∏1, ∏2,…, ∏k}, dimana ∏i memuat ni titik data dari kelas ke –i, dan

1

k i i n n



.

ADL klasik bertujuan untuk menemukan transformasi optimal G sehingga struktur kelas dari data ruang berdimensi tinggi yang asli diubah ke dalam ruang berdimensi rendah (Ye et. al, 2004).

Dalam metode Analisis Diskriminan Linier, terdapat dua matriks sebaran yaitu matriks sebaran dalam kelas disimbolkan dengan S_w , dan matriks sebaran antar kelas disimbolkan dengan S_b didefinisikan masing-masing sebagai berikut:

1

[ ][ ]

k i c

T

w k i k i

i X X

S X  X 

 



 

  (1.1)

1

[ ][ ]

c

T

b i i i

i

S N    







  (1.2)

dimana N_i adalah jumlah sampel pada kelas

X

_i, dan _i adalah image rata-rata dari kelas X_i, dan  adalah rata-rata keseluruhan. Rumus rata-rata kelas dan rata-rata keseluruhan adalah sebagai berikut:

1

i

i x

i

x N

 



_ adalah mean (rata-rata) dari kelas ke-i, dan

1

1

i k

i x x

N



 

_{ } adalah rata-rata keseluruhan (Fukunaga, 1990).

G akan memaksimumkan ( L b

S ) dan meminimumkan ( L w

S ). Optimisasi umum dalam Analisis Diskriminan Linier meliputi (lihat Fukunaga, 1990) :

1 1

max{ (( ) )} dan min{ (( ) )}

b w

L L L L

w _G b

G trace S S trace S S

 

Catatan bahwa trace(A/B) = trace(B-1A) = trace (AB-1).

Penelitian selanjutnya tentang Analisis Diskriminan Linier 2-Dimensi (ADL2-D) yakni suatu metode baru yang merupakan perkembangan dari Analisis Diskriminan Linier. Beberapa tahun belakangan ini, metode-metode ADL2-D ini telah diperkenalkan. Li and Yuan (2005), dan Xiong et. al (2005) memformulasikan gambar berdasarkan perhitungan matriks sebaran dalam kelas dan antar kelas. Metode-metode tersebut tidak merepresentasikan gambar ke dalam vektor sehingga tereduksi secara dimensional ke dalam matriks gambar. Song et. al (2005) dan Yang et. al (2003) menggunakan korelasi kolom demi kolom untuk mereduksi sejumlah kolom. Selanjutnya Yang et. al (2005) memperbaiki dan memberikan suatu algoritma untuk mereduksi bilangan-bilangan pada kolom pertama dan mereduksi bilangan-bilangan pada baris berikutnya. Metode ini merupakan suatu algoritma dependen. Ye et. al (2005) memperkenalkan suatu ADL2-D independen dengan suatu algoritma solusi iteratif.

Untuk Analisis Diskriminan Linier 2 Dimensi, perbedaan utama antara ADL klasik dan ADL2-D yang peneliti usulkan dalam penelitian ini adalah perwakilan (representasi) data. ADL klasik menggunakan representasi vektor, sedangkan D bekerja dengan data dalam representasi matriks. Dalam penggunaan metode ADL2- ADL2-D akan terlihat bahwa representasi mengarah ke eigen-dekomposisi pada matriks dengan ukuran lebih kecil. Lebih khusus, ADL2-D melibatkan eigen-dekomposisi dari matriks dengan ukuran r × r dan c × c, yang jauh lebih kecil daripada matriks ADL klasik (Ye et. al, 2005).

Dalam ADL2-D telah disepakati bahwa suatu himpunan gambar disimbolkan dengan X =(X1, X2, ..., Xn), Xi r c . Dengan intuisi yang sama dengan ADL klasik, ADL2-D mencoba untuk mencari suatu transformasi bilinier

sehingga kelas-kelas yang berbeda dipisahkan. Kuncinya adalah bagaimana memilih ruang bagian L dan R berdasarkan matriks sebaran dalam kelas dan antar kelas (Luo et. al, 2007).

Tidak seperti ADL klasik, ADL2-D menganggap hal berikut (l 1×l2) - ruang dimensi L⊗R, yang merupakan tensor product (kronecker product) dua ruang berikut: L direntang oleh 1

1

{ }u_{i i}l_ dan R direntangkan oleh 1

1

{ }v_{i i}l_ . Didefinisikan dua matriks L = [u1, ..., ul] Rr l1 dan R = [v1, ..., vl] Rc l2. Kemudian proyeksi dari XRr c ke ruang L⊗R adalah LTX R _Rl l12 _{(Ye et. al, 2004).}

Meskipun demikian, ADL2-D mempunyai suatu masalah mendasar yaitu masalah keraguan sehingga metode tersebut menimbulkan banyak spekulasi untuk menentukan suatu fungsi objektif optimum. ADL2-D Simetris adalah suatu perkembangan metode dari ADL2-D yang diperkenalkan oleh Luo, et al. (2007). Kontribusi utama dalam penelitian ini adalah untuk memperkenalkan suatu representase data baru untuk memecahkan masalah ambigu dari ADL2-D yang ada. Pendekatan ini didorong oleh satu kunci penelitian: jika gambar simetris, yakni Xi = XiT , maka:

( T) ( T ),

w w

S XX S X X

(

T

)

(

T

).

b b

S XX



S X X

Kemudian masalah ambigu yang terdapat dalam ADL2-D biasa dapat dipecahkan. Karena alasan ini, peneliti memperkenalkan suatu representasi data baru yang disebut “Transformasi Bilinier.”

1.4 Tujuan Penelitian

1.5 Manfaat Penelitian

1. Memberikan manfaat bagi pembaca untuk lebih mengetahui dan memahami tentang pengenalan pola secara statistika dengan pendekatan Analisis Diskriminan Linier 2-Dimensi Simetris yang juga dapat digunakan dalam pengklasifikasian data.

2. Dapat diaplikasikan dalam pengenalan wajah atau klasifikasi objek dalam visualisasi komputer.

1.6 Metodologi Penelitian

Metode ini bersifat literatur dan kepustakaan. Untuk mengatasi masalah keraguan yang terdapat pada Analisis Diskriminan Linier 2-Dimensi biasa dilakukan dengan cara pendekatan sebagai berikut:

1. Terlebih dahulu memahami cara menentukan matriks sebaran dalam kelas (Sw), matriks sebaran antar kelas (Sb) yang merupakan matriks kovarians, matriks R dan L, eigen vektor dari kedua matriks tersebut, dan transformasi bilinier Bl = LTAl R.

2. Menganalisis persamaan-persamaan yang terdapat pada Analisis Diskriminan Linier 2-Dimensi kemudian dengan menggunakan Transformasi Bilinier akan ditentukan fungsi objektif optimum ADL2-D 3. Menguraikan teorema dan kemudian menyelesaikan masalah keraguan

yang terdapat pada ADL2-D biasa

4. Menyusun algoritma sebagai solusi untuk mengatasi masalah keraguan yang dapat digunakan dalam program visualisasi komputer

LANDASAN TEORI

Pada bab ini akan diperlihatkan teori-teori yang berhubungan dengan penelitian ini sehingga dapat dijadikan sebagai landasan berfikir dalam melakukan penelitian ini dan akan mempermudah dalam hal pembahasan hasil utama pada bab berikutnya. Teori tersebut mencakup pengertian dari pengenalan pola secara statistika (statistical pattern recognition), contoh statistical pattern recognition, matriks kovarians, contoh matriks kovarians, nilai eigen dan vektor eigen,contoh nilai eigen dan vektor eigen, analisis diskriminan linier, analisis diskriminan linier 2-dimensi dan analisis diskriminan linier 2-dimensi simetris.

2.1 Pengenalan Pola Secara Statistika (Statistical Pattern Recognition)

Pengenalan pola atau dikenal dengan sebutan pattern recognition merupakan salah satu cabang ilmu sains. Pengenalan pola pada dasarnya adalah suatu sistem yang tujuannya adalah mengklasifikasikan objek-objek ke dalam kategori-kategori atau kelas-kelas berdasarkan baik pada apriori pengetahuan atau pada informasi statistik yang diambil dari pola (Theodoridis, 2003).

dalam pattern recognition dikarakterkan ke dalam satu bentuk kurva atau pola gambar geometri. Sebagai contoh, pengetesan suatu mesin layak atau tidak menampilkan pola berbentuk kurva. Masalah ini mereduksi untuk pemisahan kurva dari mesin yang bagus dan yang tidak bagus. Pada contoh lain, pengenalan pola huruf hasil cetak tulisan tangan diklasifikasikan dalam bentuk gambar geometri. Dalam proses untuk pengklasifikasiannya, pertama kita ukur karakteristik-karakteristik pengamatan dari sampel. Kemudian, ekstrasi seluruh informasi yang terdapat dalam sampel untuk menghitung nilai sampel-waktu untuk suatu pola berbentuk kurva, x t( ),..., ( )₁ x t_n , dan tingkat kehitaman piksel untuk suatu figur,

(1),..., ( )

x x n seperti yang ditunjukkan dalam gambar 2.1.

Gambar 2.1: Contoh dua pengukuran pola (a) gelombang (b) huruf

Karena input dari pengenalan pola merupakan suatu vektor acak dengan n peubah, maka, baik untuk pola berbentuk gelombang ataupun huruf, keduanya diekspresikan ke dalam bentuk vektor dalam suatu ruang dimensi-n. Sebagai contoh, pengamatan x(i) bervariasi dari huruf A yang satu ke huruf A yang lainnya dan oleh karena itu, x(i) merupakan suatu variabel acak, dan X merupakan vektor acak.

2.1.1 Vektor Acak dan Distribusinya

Seperti yang telah didiskusikan pada bagian 2.1, input dari jaringan pengenalan pola merupakan suatu vektor acak dengan n peubah sebagai berikut



1 2



X= x x ...x_n T (2.1) 0 t1 t2 t3

x(t)

t tn-1 tn

(a)

. . .

Pixel #1

dimana T adalah transpos dari vektor.

Suatu vektor acak dapat dikarakterisasikan oleh suatu fungsi distribusi peluang, yang didefinisikan oleh





1 1 1

( , . . ., )n Pr x , . . ., xn n

P x x  x x (2.2)

(Fukunaga, 1990)

Selain itu, suatu vektor acak mempunyai suatu paramater distribusi. Parameter distribusi yang akan dibahas dalam penelitian ini adalah matriks kovarians.

2.1.2 Matriks Kovarians

Matriks kovarians S adalah matriks kovarians sampel yang didefinisikan sebagai berikut:

S = E[ Xi– Mi ] [ Xi– Mi]T (Fukunaga, 1990) (2.3)

Xi adalah data pada masing-masing kelas, Mi adalah rata-rata kelas ke-i. Matriks kovarians S berisi nilai varians pada diagonal utama sebanyak p variabel dan nilai kovarians pada elemen lainnya sebanyak p – 1 kovarians. Suatu matriks  dikatakan matriks kovarians populasi jika matriks tersebut adalah matriks simetris yang diagonalnya harus berisi elemen-elemen nonnegatif sehingga matriks tersebut merupakan matriks definit nonnegatif.

Jika Ai = [ ai1, ai2, . . ., ain]Tmempunyai rata-rata kelas

1

1 n

i i

i i

M a

n _





, maka

untuk melihat betapa dekatnya korelasi antar kelas, harus diatur agar masing-masing nilai mempunyai jumlah selisih rata-rata sama dengan 0, yaitu dengan cara mengurangi setiap ai dengan rata-rata kelasnya. Kemudian menempatkan nilai-nilai tersebut ke dalam sebuah matriks seperti berikut:

11 1 1

1 1

 

 

 

 _{ }

 _{ } 

 



 



n n

n nn n

a M a M

X

11 1 1 11 1 1

1 1 1 1

1 1

T

n n n n

n nn n n nn n

a M a M a M a M

S n

a M a M a M a M

   

   

   

 _{   }

 _{  }  _{   } _

 

   

 

(2.4)

Komponen diagonal dari matriks kovarians adalah varians dari masing-masing kelas peubah acak. Untuk lebih jelasnya tentang matriks kovarians, perhatikan contoh 2.1.2 berikut.

Contoh 2.1.2

Diketahui suatu data nilai 7 mahasiswa meliputi nilai tugas rumah, ujian dan ujian akhir sebagai berikut.

Mahasiswa Nilai Tugas Rumah Ujian Ujian Akhir

MH 1 198 200 196

MH 2 160 165 165

MH 3 158 158 133

MH 4 150 165 91

MH 5 175 182 151

MH 6 134 135 101

MH 7 152 136 80

Rata-rata 161 163 131

37 37 65 -1 2 34 -3 -5 2 -11 2 -40 14 19 20 -27 -28 -30 -9 -27 -51

 

 

 

 

 

 

 

 

 

 

 

Jika terdapat lebih dari dua kelompok data, maka dapat dibentuk sebuah matriks X dimana kolom-kolomnya memperlihatkan simpangan dari rata-rata untuk setiap kelompok dan kemudian membentuk sebuah matriks kovariansi S dengan menetapkan

1 -1 S

n

 T

X X

Matriks kovariansi untuk ketiga kelompok data nilai matematika adalah 37 37 65

1 2 34

37 1 3 11 14 27 9 3 5 2

1

37 2 5 2 19 28 27 11 2 40

6

65 34 2 10 20 30 51 14 19 20

27 28 30

9 27 51

S

 

 _ 

 

 

      

 

 

 

 _    _  _

 _{  }  

 _{ }

  

 

 _{  } 

 

417, 7 4375,5 725, 7 437, 5 546, 0 830, 0 725, 7 830, 0 1814,3

 

 

 _{ }

 

 

Entri-entri diagonal matriks S adalah variansi untuk ketiga kelompok nilai dan entri-entri di luar diagonal adalah kovariansi-kovariansi.

2.1.3 Nilai Eigen dan Vektor Eigen

Definisi. Anggap A adalah suatu matriks n _× n. Skalar  disebut sebagai suatu nilai eigen atau nilai karakteristik dari A jika terdapat suatu vektor tak nol x, sehingga Ax =

Untuk mengetahui lebih jelas mengenai nilai eigen dan vektor eigen, perhatikan contoh 2.1.3 berikut.

Contoh 2.1.3

Misalkan 3 2 dan -1

3 -2 3

A_ _  _{ }

  x  .

Karena 3 2 -1 3 -3 -1 -3

3 -2 3 -9 3

A _     _{    }   _{ }

       

x x,

dari penyelesaian contoh soal di atas terlihat bahwa  =-3 adalah nilai eigen dari A

dan x = -1

3

   

  merupakan vektor eigen yang berasosiasi dengan  = -3.

Hasil Kali dan Jumlah Nilai Eigen

Jika p() adalah polinom karakteristik dari matriks A yang berorde n _× n, maka

11 12 1

21 12 2

1 2

( ) det( )

n n

n n nn

a a a

a a a

p A I

a a a





 







  

 

 (2.5)

Dengan menguraikan determinan sepanjang kolom pertama, diperoleh

1

11 11 1 1

1

det( - ) ( - ) det( ) (-1) det( )

n

i

i i

i

A I a  M a  M



 



di mana minor-minor Mi1, i = 2, . . ., n tidak mengandung kedua elemen diagonal (a_ii). Dengan menguraikan det(M11) dengan cara yang sama, dapat disimpulkan bahwa

(a₁₁)(a₂₂)...(a_nn) (2.6) adalah satu-satunya suku dalam ekspansi det(AI)yang menyebabkan suatu hasil kali lebih dari n –2 elemen diagonal. Jika persamaan (2.7) diuraikan, maka koefisien dari n akan menjadi (-1)n. Jadi, koefisien utama dari p() adalah (-1)n dan dengan demikian jika 1, . . .,n adalah nilai-nilai eigen dari A, maka

1 2

( ) ( 1) (n )( )...( _n)

1 2

( ) ( )( )...( _n ) p           Dari persamaan (2.5) dan (2.7) maka diperoleh

1. 2 n p(0) det( )A

    

Dari persamaan (2.6), juga diperoleh

1 n

ii i

a 



sebagai koefisien dari (-)n – 1. Jika dengan

persamaan (2.7)

1 n

i i







. Dengan demikian, maka

1 n

i i







=

1 n

ii i

a 



Jumlah elemen diagonal dari (A) dinamakan trace dari A, dan dilambangkan dengan tr(A), catatan bahwa tr(A + B) = tr(A) + tr(B) (Horn and Johnson, 1985).

Contoh 2.1.3.1

Jika 3 2 3 2 A  _

  maka det(A) = (-6) – 6 = -12 dan tr(A) = -3 + 2 = -1

Polinom karakteristik dari A diberikan oleh persamaan

2

3 2

12

3 2

 _{ }



  _{  } 

dan sebagai akibatnya nilai-nilai eigen dari A adalah -4 dan 3. Dapat ditinjau bahwa 1+ 2 = -1 = tr(A) dan 1 . 2 = -12 = det(A).

2.2 Analisis Diskriminan Linier (ADL)

Analisis diskriminan adalah teknik statistik multivariat yang terkait dengan pemisahan (separating) atau alokasi/klasifikasi (classification) sekelompok objek atau observasi ke dalam kelompok (group) yang telah terlebih dahulu didefinisikan. Dalam tujuan pengenalan objek (observasi), metode ini mencoba menemukan suatu ‘discriminant’ yang nilainya secara numeris sedemikian sehingga mampu memisahkan objek yang karakteristiknya telah diketahui. Sedangkan dalam tujuan klasifikasi objek, metode ini akan mensortir objek (observasi) ke dalam 2 atau lebih kelas (Fukunaga, 1990).

Jika diberikan suatu matriks data ARN n , metode ADL klasik bertujuan menemukan suatu transformasi _G_RN l _{yang memetakan setiap kolom a}

i dari matriks A, untuk 1≤ i ≤ n, dalam ruang dimensi N ke vektor bi dalam ruang dimensi l. Yakni G : a_iRN n  b_i G aT _iR ll( N). Dengan kata lain, ADL bertujuan menemukan suatu ruang vektor  direntangkan oleh { }g_{i i}l_1 di mana G= [g1, g2, …,gl], sehingga setiap ai diproyeksikan ke  oleh (g a₁T. ,...,_i g aT_l. )_i TRl (Ye et. al, 2004).

Asumsikan bahwa data asli dalam A dipartisi ke dalam k kelas sehingga A = {∏1, ∏2,…, ∏k}, dimana ∏i memuat ni titik data dari kelas ke –i, dan

1

k i i n n



.

ADL klasik bertujuan untuk menemukan transformasi optimal G sehingga struktur kelas dari data ruang berdimensi tinggi yang asli diubah ke dalam ruang berdimensi rendah (Ye et. al, 2004).

Dalam ADL, transformasi ke subruang yang berdimensi lebih rendah yaitu

T

i i

Dalam metode Analisis Diskriminan Linier, terdapat dua matriks sebaran yaitu matriks sebaran dalam-kelas disimbolkan dengan S_w, dan matriks sebaran antar-kelas disimbolkan dengan S_b, masing-masing didefinisikan sebagai berikut:

1

[ ][ ]

k i c

T

w k i k i

i x

S x m x m

 



 

  (2.9)

1

[ ][ ]

c

T

b i i i

i

S n m m m m







  (2.10)

di mana n_i adalah jumlah sampel pada kelas

x

_i, dan m_i adalah image rata-rata dari kelas ke-i dan m adalah rata-rata keseluruhan. Rumus rata-rata kelas dan rata-rata keseluruhan adalah sebagai berikut:

1

i

i _x

i

m x

n 





adalah mean (rata-rata) dari kelas ke-i, dan

1

1

i k

i x

m x

n  



 

adalah rata-rata keseluruhan (Fukunaga, 1990).

Seperti diutarakan sebelumnya, metode Analisis Diskriminan Linier diharapkan dapat meminimumkan jarak dalam matriks sebaran dalam-kelas (S_w) sementara jarak matriks sebaran antar-kelas (S_b)dapat dimaksimumkan sehingga dapat terlihat perbedaan atau pemisahan antar kelas. Dalam hasil ruang dimensi yang lebih rendah dari transformasi linier G (atau proyeksi linier ke dalam ruang vektor ), S_b dan

w

S menjadi

( ) T ( ) ,

b b

S Y G S X G (2.11)

( ) T ( ) .

w w

S Y G S X G (2.12)

Transformasi optimal G akan memaksimumkan trace(S_bL) dan meminimumkan trace( L

w

S ).

Optimisasi umum dalam Analisis Diskriminan Linier meliputi (lihat Fukunaga, 1990) :

1 1

max{ (( ) )} dan min{ (( ) )}

b w

L L L L

w _G b

G trace S S trace S S

  _(2.13)

( ) ( ) max ( ) tr tr

( ) ( )

T

b b

T G

w w

S Y G S X G

J G

S Y G S X G

  (2.14)

Catatan bahwa trace(A/B) = trace(B-1A) = trace (AB-1)

Masalah optimisasi dari persamaan (2.14) di atas ekivalen dengan masalah generalisasi nilai eigen berikut: S x_b S x_w , untuk   0. Penyelesaiannya dapat diperoleh dengan menerapkan eigen-dekomposisi ke matriks S S x_w1 _b jika S_w nonsingular, atau 1

b w

S S x jika S_b nonsingular. Terdapat paling banyak k – 1 vektor-vektor eigen yang cocok ke nilai eigen tak nol, karena kedudukan dari matriks S_b dibatasi oleh k – 1. Oleh karena itu, dimensi yang direduksi oleh ADL klasik terletak pada k – 1.

[image:33.612.213.441.353.486.2]

Gambar berikut ini menunjukkan hasil dari penerapan metode Analisis Diskriminan Linier (ADL) dalam pengklasifikasian.

Gambar 2.2 Hasil Klasifikasi dengan Analisis Diskriminan Linier

Dalam hal transformasi setiap data, Fukunaga (1990) mengklasifikasikan himpunan data dan vektor uji ke dalam ruang transformasi melalui dua pendekatan yang berbeda sebagai berikut:

1. Transformasi Class-dependent yaitu pendekatan yang memaksimumkan rasio varians antar-kelas ke varians dalam-kelas.

2. Transformasi Class-independent yaitu memaksimumkan rasio seluruh varians dalam-kelas.

1. Formulasikan himpunan data dan data uji yang akan diklasifikasikan dalam ruang aslinya. Untuk memudahkan pengertian, peneliti menggunakan dua data dan direpresentasikan ke dalam matriks yang berisi fitur dalam bentuk seperti berikut

11 12

21 22

1 2

1

m m

a a

a a

set

a a

 

 

 

 



 

 

 

 

   

11 12

21 22

1 2

1

m m

b b

b b

set

b b

 

 

 

 



 

 

 

 

   

2. Hitung rata-rata setiap himpunan data dan rata-rata dari seluruh data. Anggap ₁ dan ₂adalah rata-rata dari himpunan data 1 dan 2, serta ₃ sebagai rata-rata dari seluruh data yang diperoleh dari

3 p1 1 p2 2

    

di mana p1 dan p2 adalah peluang dari masing-masing kelas. Pada kasus dua kelas, faktor peluang diasumsikan sebesar 0,5.

3. Matriks sebaran dalam kelas merupakan ekspektasi kovarians dari setiap kelas. dengan perhitungan sebagai berikut

cov

w j j

j

S 



p Untuk permasalahan dua kelas,

1 2

0, 5 cov 0, 5 cov

w

S  

Semua matriks kovarians adalah matriks yang simetris. Matriks kovarians dihitung menggunakan persamaan berikut

cov ( )( )T

j  xjj xjj

Matriks sebaran antar-kelas dihitung dengan menggunakan persamaan berikut

3 3

( )( )T

b j j

j

S 



    

Faktor optimisasi dalam tipe dependent-class transformasi dapat dihitung sebagai

( )

j

criterion invcov_j S_b

Faktor optimisasi dalam tipe independent-class transformasi dapat dihitung sebagai

( )

2.3 Analisis Diskriminan Linier 2-Dimensi

Analisis Diskriminan Linier 2-Dimensi (ADL2-D) adalah suatu metode baru yang merupakan perkembangan dari Analisis Diskriminan Linier. Beberapa tahun belakangan ini, metode-metode ADL2-D ini telah diperkenalkan. Li and Yuan (2005), dan Xiong et. al (2005) memformulasikan gambar berdasarkan perhitungan matriks sebaran dalam kelas dan antar kelas. Metode-metode tersebut tidak merepresentasikan gambar ke dalam vektor sehingga tereduksi secara dimensional ke dalam matriks gambar. Song et. al (2005) dan Yang et. al (2003) menggunakan korelasi kolom demi kolom untuk mereduksi sejumlah kolom. Selanjutnya Yang et. al (2005) memperbaiki dan memberikan suatu algoritma untuk mereduksi bilangan-bilangan pada kolom pertama dan mereduksi bilangan-bilangan-bilangan-bilangan pada baris berikutnya. Metode ini merupakan suatu algoritma dependen. Ye et. al (2005) memperkenalkan suatu ADL2-D independen dengan suatu algoritma solusi iteratif.

Untuk Analisis Diskriminan Linier 2 Dimensi, perbedaan utama antara ADL klasik dan ADL2-D yang peneliti usulkan dalam penelitian ini adalah tentang perwakilan (representasi) data. ADL klasik menggunakan representasi vektor, sedangkan ADL2-D bekerja dengan data dalam representasi matriks. Dalam penggunaan metode ADL2-D akan terlihat bahwa representasi mengarah ke eigen-dekomposisi pada matriks dengan ukuran lebih kecil. Lebih khusus, ADL2-D melibatkan eigen-dekomposisi matriks dengan ukuran r × r dan c × c, yang jauh lebih kecil daripada matriks ADL klasik (Ye et. al, 2005).

Dalam ADL2-D telah disepakati bahwa suatu himpunan gambar disimbolkan dengan X=(X1, X2, ..., Xn), Xi r c . Dengan intuisi yang sama dengan ADL klasik,

ADL2-D mencoba untuk mencari suatu transformasi bilinier

 TX

i i

Y L R (2.15)

Tidak seperti ADL klasik, ADL2-D menganggap hal berikut (l1×l2) - ruang dimensi L⊗R merupakan perkalian tensor (kronecker product) dua ruang berikut: L direntang oleh 1

1

{ }u_i l_i dan R direntangkan oleh 2

1

{ }l i

i

v dan didefinisikan sebagai dua

matriks L =[ ] 1

1 l

u , ..., u _Rr l1 _{dan R = [ ]}

2

1 l

v , ..., v _Rc l2_{. Kemudian, himpunan}

gambarXRr c diproyeksikan ke ruang L⊗ Rsehingga hasil proyeksinya adalah LTX R _Rl l12 _{(Ye et. al, 2004).}

Kronecker product (perkalian tensor) didefinisikan sebagai: anggapL _Rr l1_,

R_Rc l2 _{maka Kronecker product (perkalian tensor) L dan R didefinisikan sebagai}

matriks

1

1

11 1

1

l

r rl

l R l R

L R

l R l R

 

 

   

 

 

   



LR  RLdan apabila L _Rr l1 _{dan R}_Rc l2 _{simetris maka L}_Rsimetris

(Horn and Johnson, 1985). Sebagai contoh

11 12

21 22

a a

L

a a

 

 _ _ dan R maka 11 12

21 22

a R a R

L R

a R a R

 

  _ _

Jika dimisalkan Ai r c , untuk i = 1, 2, …, n adalah gambar (pola) dalam dataset, kemudian masing-masing pola dikelompokkan ke dalam ∏1, ∏2,…, ∏k

dimana ∏i memiliki ni gambar (pola). Misalkan

1

i

i _x

i

M X

n 





adalah rata-rata

dari kelas ke–i, 1 ≤ i ≤ k , dan

1

1

i k

i x

M X

n  



 

berarti rata-rata keseluruhan, dalam 2DLDA, peneliti menganggap gambar sebagai sinyal dua dimensi dan bertujuan untuk menemukan dua matriks transformasi _Lr l1_{dan R}c l2_yang

memetakan setiap anggota Ai r c untuk 1≤ x≤ n, ke suatu matriks Bi l l12 sehingga Bi = LT Ai R.

berdimensi tinggi yang asli diubah ke ruang berdimensi rendah. Suatu kesamaan metrik alami antara matriks adalah norma Frobenius (Ye, et. al, 2004). Di bawah metrik ini kuadrat jarak dari within-class (dalam kelas) dan between class (antar kelas) dapat dihitung sebagai berikut:

2

1 i

k

w i F

i x

D X M

 



 

 , 2

1 k

b i i F

i

D n M M







 (2.16)

trace (M MT)= 2

F

M , untuk suatu matriks M, maka diperoleh

2

1 i k

w i F

i x

D trace X M

 

 

 _  _



 

 (2.17)

2

1 i k

b i F

i x

D trace X M

 

 

   



 

 (2.18)

Dalam ruang berdimensi rendah, hasil dari transformasi linier L dan R, jarak within-class dan between within-class menjadi:









_ 1 i k T T T

w _{i i}

i x

D trace L X M RR X M L

 

 

    



 

 (2.19)









_ 1 k T T T

b _{i i i}

i

D trace n L X M RR X M L



 

 _   _





 (2.20)

Transformasi optimal L dan R akan memaksimumkan

_ b

D dan meminimumkan

_ w

Beberapa notasi penting yang digunakan dalam penelitian ini terdaftar dalam Tabel 2.1 dibawah ini:

Tabel 2.1 Notasi Penting dalam Analisis Diskriminan Linier 2 Dimensi

Perhitungan L

Untuk suatu R tetap,

_ w

D dan

_ b

D dapat ditulis kembali sebagai





_

T R

w _w

D trace L S L ,





_

T R

b _b

D trace L S L (2.21)

di mana

1 1

( ) ( ) , ( ) ( )

i

k k

R T T R T T

w i i b i i i

i X i

S M RR M S n M M RR M M

  



 

X X 



  (2.22)

Sama seperti masalah yang terdapat pada persamaan (2.14), optimal L dapat dihitung dengan memecahkan masalah optimisasi berikut: maxL trace((L S LT wR ) (1 L S LT bR ))

 _.

Penyelesaiannya dapat diperoleh dengan memecahkan masalah generalisasi nilai Notasi Keterangan

N jumlah gambar dalam dataset K jumlah kolom dalam dataset

Ai Gambar ke-i dalam representasi matriks ai gambar ke-i dalam representasi vektor R jumlah baris dalam matriks A

C jumlah kolom dalam matriks A N Dimensi dari ai (N= r * c)

∏j Kelas ke- j dalam dataset

L matriks transformasi (kiri) oleh ADL2D R matriks transformasi (kanan) oleh ADL2D I jumlah iterasi dalam ADL2D

Bi Pereduksian representasi Ai oleh ADL2D l1 jumlah baris dalam Bi

[image:38.612.168.489.166.468.2]

eigen berikut: S x_wR S x_bR . Karena S_wR secara umum adalah nonsingular, maka L optimum dapat diperoleh dengan menghitung suatu eigen-dekomposisi pada

1

(S_wR) S_bR. Catatan bahwa ukuran dari matriks R w

S dan R b

S adalah r r (matriks bujursangkar), yang ukurannya lebih kecil dibandingkan ukuran matriks S_wdan

b

S dalam ADL klasik.

Perhitungan R

Kemudian menghitung R untuk suatu L yang tetap.

_ w

D dan

_ b

D dapat ditulis kembali sebagai





_

T L

w _w

D trace R S R ,





_

T L

b _b

D trace R S R (2.23)

di mana

1 1

( ) ( ), ( ) ( )

i

k k

L T T L T T

w i i b i i i

i X i

S X M LL X M S n M M LL M M

  



 

  



  (2.24)

Sama seperti masalah yang terdapat pada persamaan (2.14), optimal L dapat dihitung dengan memecahkan masalah optimisasi berikut: maxR trace((R S RT wL ) (1 R S RT bL ))

 _.

Penyelesaiannya dapat diperoleh dengan memecahkan masalah generalisasi nilai eigen berikut: S x_wL S x_bL . Karena S_wL secara umum adalah nonsingular, maka R optimum dapat diperoleh dengan menghitung suatu eigen-dekomposisi pada

1

(S_wR) S_bR. Catatan bahwa ukuran dari matriks S_wL dan S_bL adalah r r (matriks bujursangkar), yang ukurannya lebih kecil dibandingkan ukuran matriks S_wdan

b

S dalam ADL klasik.

Algoritma 2.2 ADL2D ( A1,…,An,l1, l2) Input: A1,…,An, l1, l2

Output: L, R, B1,…, Bn

1. Hitung rata-rata Mi dari kelas ke-i untuk setiap i sebagai

1

i

i x

i

M X

n 





2. Hitung rata-rata global

1

1

i k

i x

M X

n  

3. 





2 0 ,0 T l R I

4. Untuk j dari 1 sampai I

5.





_{1 1}





1 i k

T

R T

w i j j i

i x

S X M R R_{ } X M

 



 

 





1 1





1

k T

R T

b _i i i j j i

S n X M R R_{ } X M







 

6. Hitung eigen vektor l1 pertama { } dari 1₁

l L l i

  (S ) SR -1w Rb

7.

1

1

{ L,..., L}

j l

L   

8.









1 i

k

T

L T

w i j j i

i x

S X M L L X M

  

 

 









1 k T L T

b _i i i j j i

S 



_ n X M L L X M

9. Menghitung eigen vektor l2 pertama

2

1

{_lR} dari l_l (S ) SL_w -1 L_b

10.

2

1

{ R,..., R}

j l

R   

11. End for

12. LL R_I, R_I

13. B_l L A RT _l , untuk l1, 2,...,n

14. Return (L, R, B1, …,Bn)

(Ye, et.al, 2004)

Namun, dalam ADL2-D kita akan melihat ada suatu masalah keraguan yang sangat mendasar yakni ada dua cara untuk mendefinisikan matriks sebaran dalam kelas S_w

1

( ) ( )( )

i j k

T T

w j j

j x

S XX M M



 



 

Xi Xi (2.25)

1

( ) ( ) ( )

i j k

T T

w j j

j x

S X X M M



 



 

Xi Xi (2.26)

dan ada 2 cara untuk mendefinisikan matriks sebaran antar kelas Sb

1

( ) ( )( )

k

T T

b j j j

j

S XX n M M M M







  (2.27)

1

( ) ( ) ( )

k

T T

b j j j

j

S X X n M M M M



Oleh karena itu, dalam ruang transformasi, dapat dituliskan sebagai ( T), ( T ),

b b

S YY S Y Y ( T), ( T ),

w w

S YY S Y Y

Pada umumnya, gambar tidak bersifat simetris: XiXiT , maka ( T) ( T ),

b b

S YY S Y Y ( T) ( T ),

w w

S YY S Y Y

Karena alasan ini, fungsi objektif ADL menjadi bermakna ganda dan menimbulkan keraguan manakah fungsi objektif yang baik yakni mempunyai sejumlah pilihan sebagai berikut: 1 ( ) tr ( ) T b T w S YY J S YY

 (2.29)

2 ( ) tr ( ) T b T w

S Y Y J

S Y Y

 (2.30)

3 ( ) ( ) tr ( ) ( ) T T b b T T w w

S YY S Y Y

J

S YY S Y Y

 

 _  _

  (2.31)

4 ( ) ( ) tr , ( ) ( ) T T b b T T w w

S Y Y S YY J

S Y Y S YY

 

 _ _ (2.32)

5 ( ) ( ) tr , ( ) ( ) T T b b T T w w

S YY S Y Y J

S YY S Y Y



 _ (2.33)

dan lain-lain.

2.3.1 Transformasi Bilinier

Suatu transformasi bilinier didefinisikan sebagai:

   _ _  , _ _       T i T i T i i X L Y X R

Y (Luo, et.al, 2007) (2.34)

Dengan menggunakan transformasi symmetris ini, matriks sebaran menjadi tunggal dan masalah keraguan yang terdapat dalam ADL2-D dapat diselesaikan.

 

 

 _{    }

   

T T

i

T i

T T

i i

X R X L

X L X R (2.35) maka Yi = LT Xi R.

Pada Fukunaga(1990), matriks Γ didefinisikan sebagai:

1 0 0

0 0





 

 

 

 

 

   n

ANALISIS DISKRIMINAN LINIER 2-DIMENSI SIMETRIS

Pada bab ini akan diperlihatkan hasil utama dari penelitian ini. Adapun hasil utama dari tulisan ini yaitu fungsi objektif optimum dan algoritma Analisis Diskriminan Linier 2-Dimensi Simetris serta perbandingannya dengan metode Analisis Diskriminan Linier dan Analisis Diskriminan Linier 2-Dimensi biasa.

3.1 Analisis Diskriminan Linier 2-Dimensi Simetris (ADL2-D Simetris)

Telah diutarakan pada bab sebelumnya bahwa pendekatan pengklasifikasian dengan Analisis Diskriminan Linier 2-Dimensi (ADL2-D) menimbulkan masalah keraguan yang mendasar yaitu terdapat dua cara untuk mendefinisikan matriks sebaran dalam-kelas S_w

1

( ) ( )( )

i j k

T

w i j i j

j X

S X M X M



 



 

  T

XX

1

( ) ( ) ( )

i j k

T

w i j i j

j x

S X M X M



 



 

 

T

X X

dan terdapat dua cara untuk mendefinisikan matriks sebaran antar-kelas S_b

1

( ) ( )( )

k

T

b j j j

j

S n M M M M







 

T

XX

1

( ) ( ) ( )

k

T

b j j j

j

S n M M M M







 

T

XX

Oleh karena itu, dalam ruang transformasi dapat dituliskan ( ), ( ),

b b

S YYT S Y YT

( ), ( ),

w w

S T S T

YY Y Y

( ) ( ),

b b

S YYT S Y YT

( ) ( ),

w w

S T S T

YY Y Y

Karena alasan ini, pemilihan fungsi objektif ADL menimbulkan keraguan manakah fungsi yang paling baik diantara sejumlah pilihan berikut:

1 ( ) tr ( ) b w S J S

 TT

YY YY 2 ( ) tr ( ) b w S J S

 TT

Y Y Y Y 3 ( ) ( ) tr ( ) ( ) b b w w S S J S S    _  _   T T T T

YY Y Y

YY Y Y

4 ( ) ( ) tr , ( ) ( ) b b w w S S J S S    _ _ T T T T

Y Y YY

Y Y YY

5 ( ) ( ) tr , ( ) ( ) b b w w S S J S S   TT _ TT

YY Y Y

YY Y Y

Analisis Diskriminan Linier 2-Dimensi Simetris dalam menyelesaikan masalah ambigu di atas. dimotivasi dengan suatu kunci pengamatan: jika gambar simetris, yakni Xi = XiT , maka

( ) ( ),

w w

S XXT S X XT

(

)

(

).

b b

S

XX

T



S

X X

T

Masalah yang terdapat pada metode ADL2-D ini dapat diselesaikan dengan menggunakan suatu representasi data baru yaitu transformasi bilinier simetris

        _ _ _ _   T i T i T i i X L Y =Γ Γ, Γ = X R Y

Pada Fukunaga(1990), matriks Γ didefinisikan sebagai:

1 0 0

yakni matriks yang diagonal utamanya merupakan nilai varians dari suatu data dan elemen yang lainnya 0.

Transformasi bilinier di atas ekivalen dengan transformasi linier Yi = LT Xi R.

Penjabarannya yakni sebagai berikut:

        _ _ _ _   T i T i T i i X L Y =Γ Γ, Γ = X R Y          _ _ _ __ _   T T i i T i i X L L Y = X R R Y          _ _ _     T T i i T T i i X L Y R = X R Y L         _ _    

T T T

i i

T

i i

L

Y R X

=

R

Y L X

   

   

   

T T T

i i

T

i i

Y R X L

=

Y L X R

diperoleh Yi = LT Xi R dan YiT= RT XiT L. Selain itu, juga terdapat

      _ _   2 T 2

i T T

i i i T i i Y X

-Γ Γ = 2 X - LY R

Y

X

Oleh karena itu, optimisasi menggunakan (L, R) ekivalen dengan optimisasi menggunakan Γ.

Selain itu, dengan menggunakan transformasi bilinier simetris, dihasilkan suatu teorema:

Teorema 3.1: Fungsi objektif ADL tunggal untuk ADL2-D ialah

2 tr tr

ADL D

J _  

T T

b b

T T

w w

S (YY ) S (Y Y)

S (YY ) S (Y Y) (3.1)

2 tr

ADL D

J _  _  _

 

b b

T L T R

T L T R

w w

R S R L S L

R S R L S L (3.2)

2004). Di bawah metrik ini kuadrat jarak dari within-class (dalam kelas) dan between class (antar kelas) dapat dihitung sebagai berikut:

2

1 i

k

w i F

i X

D X M

 



 

 . 2

1 k

b i i F

i

D n M M









trace (M MT)= 2

F

M . untuk suatu matriks M.maka diperoleh

2

1 i

k

w i F

i X

D X M

<