Faktorisasi Matrik Non Negatif

FAKTORISASI MATRIK NON NEGATIF

Pasukat Sembiring

Departemen Matematika, FMIPA, USU Medan

Abstract

Non negative matrix factorization can be used for finding representations of non-negative data. Therefore this factorization can be formulated as a minimization problem with bound constrain. The project gradient method as one of the existing technique for bound-constrained optimization is used for the non-negative factorization. The proposed methods exhibit strong optimization properties.

Keywords: Matrix factorization, Non negative matrix

PENDAHULUAN

1. Latar Belakang

Umumnya matriks dapat digunakan di dalam kehidupan sehari-hari misalnya dalam bidang industri, pertanian, teknik dan lain-lain. Matriks yang digunakan dalam hal ini adalah matriks yang berskala besar. Untuk memproses matriks berskala besar memerlukan ketelitian yang sangat rumit dan waktu yang lama. Untuk menghindari hal ini diperlukan suatu cara menyederhanakan sehingga lebih efisien.

Faktorisasi matriks non negatif (FMN) berguna untuk memperoleh gambaran dari data

non-negatif. Dengan adanya n x m data matriks V

integer Vіј > 0 dan bilangan bulat positif r < min

(n,m), faktorisasi matriks non negatif memperoleh 2 (dua) matriks non negatif W Є Rr x n dan H Є Rr x m seperti :

V ≈ W H

Jika setiap kolom V representatif pada suatu objek, faktorisasi matriks non negatif

memperkirakannya dengan kombinasi linier dari r

basis dalam kolom W. Faktorisasi matriks non

negatif telah digunakan dalam banyak bidang.

Pendekatan konvensional untuk mendapatkan W dan

H dengan memperkecil perbedaan antara V dan W

H:

f (W,H ) =

∑∑

= =

−

n

i m

j

ij ij

WH

V

1 1

2

)

)

(

(

2

1

Subject to

W

_ia

≥

0

,

W

_bj

≥

0

,

∀

i

,

a

,

b

,

j

Ketidaksamaan seperti variabel atas dan bawah adalah mengacu kepada batas kendala. Dapat dicatat bahwa:

2

1 1

2

)

)

(

(

_F

n

i m

j

ij

ij

WH

V

W

H

V

−

=

−

∑∑

_{= =}

Dimana

⋅

adalah norm Frobenius

Pendekatan yang paling populer adalah algoritma multiplikatif. (Lee dan Seung, 2001). Hal tersebut mudah untuk dilakukan dan sering memberikan hasil yang baik. Setiap iterasi metode

ini, elemen W dan H dikalikan dengan faktor –

faktor tertentu. Sebagaimana elemen nol tidak

update, semua komponen dari W dan H adalah positif untuk semua iterasi. Tipe strategi ini berlawanan dengan metode tradisional optimisasi batas kendala, yang biasanya membolehkan iterasi untuk mendapatkan elemen tertentu. (Contohnya dalam hal ini elemen nol).

Faktorisasi matriks non negatif dapat digunakan pada pengendalian tingkat dimana

gambaran (representative) data menggunakan

matriks jarang. Dalam banyak penerapan dibutuhkan pengendalian terhadap sifat-sifat dari data yang representatif tersebut. Dalam hal ini harus diminimumkan kesalahan sehingga data yang diperoleh lebih representatif.

2. Tinjauan Pustaka

1. Metode yang ada dan sifat-sifat baru

dalam masalah faktorisasi matriks non negatif. Gradien fungsi (W, H ) terdiri dari dua bagian :

HT

V

WH

H

W

f

W

(

,

)

=

(

−

)

∇

_dan

)

(

)

,

(

W

H

WT

WH

V

f

H

=

−

∇

Yang berturut-turut diturunkan secara parsial kepada elemen dalam W dan H. Dari

Karush-Kuhn-Tucker (KKT) kondisi optimal (W,H) adalah

satu titik tetap jika dan hanya jika :

0

,

0

≥

≥

_bj ia

H

W

0

)

,

(

,

0

)

,

(

≥

∇

≥

∇

W

f

W

H

_ia

H

f

W

H

_bj

,

0

)

,

(

.

∇

_ia

=

ia

W

f

W

H

W

dan

j

b

a

i

H

W

f

H

H

_bj

.

∇

(

,

)

_bj

≥

0

,

∀

,

,

,

Metode optimisasi untuk faktorisasi matriks non negatif menghasilkan satu barisan

{

,

}

k=1

k k

H

W

dari iterasi.

2. Metode Multiplikatif Update

Algoritma 1 Multiplikatif Update: 1. Permulaan

W

_iak+1

>

0

,

∀

i

,

a

,

b

,

j

2. Untuk k = 1,2, . . .

a

i

H

H

W

H

V

W

W

ia T k k k ia T k k ia k

ia

,

,

)

)

(

(

)

)

(

(

1

∀

=

+

j

b

H

W

W

V

W

H

H

bj k k T k bj T k k bj k

bj

,

,

)

)

(

)

)

(

1 1 1 1

∀

=

_{+ +} + +

Algoritma ini adalah metode tipe titik

tertentu jika

(

W

k

H

k

(

H

k

)

T

)

ia

≠

0

dan

0

1

>

=

+ k ia k ia

W

W

,

lalu

(

V

(

H

_k

)

T

)

_ia=

(

W

_k

H

_k

(

H

_k

)

T

)

_ia

menunjukkan bahwa

∇

W

f

(

W

_k

,

H

_k

)

_ia

=

0

,

_yang merupakan bagian dari kondisi KKT telah menunjukan bahwa nilai fungsi tidak bertambah setelah diperbaharui. (Lee dan Seung, 2001).

)

,

(

)

,

(

W

_{k 1}

H

_k

f

W

_k

H

_k

f

₊

≤

_dan

)

,

(

)

,

(

W

_{k 1}

H

_{k 1}

f

W

_{k 1}

H

_k

f

_{+ +}

≤

₊

Diklaim bahwa limit dari barisan

1

)

,

(

W

k

H

k _{k= adalah titik yang tidak berubah. Titik}

yang sesuai dengan kondisi KKT, mengindikasikan bahwa pernyataan ini adalah salah karena tidak menunjukkan konvergensi. Oleh karena itu, metode multiplikatif update ini masih tidak memiliki sifat optimisasi. (Gonzales dan Zhang, 2005).

Tujuan tulisan ini adalah mendeskripsikan ide dasar dari faktorisasi matriks non negatif, menunjukan bagaimana kaitannya dalam matriks jarang dan mencari galat yang lebih kecil dalam perkalian matriks V ≈ W H.

Faktorisasi Matriks Non Negatif

Pendekatan Faktorisasi Matriks Non Negatif dapat diformulasikan sebagai berikut: Suatu cover

image C tertentu dengan ukuran m x m, dapat

memfaktorisasi C ke dalam dua matriks non

negative B dan H dengan ukuran masing – masing m x r dan r x m dimana C = B x H dimana r ≤ m. Matrik non negatif B mengandung vektor basis, F M

N dan matrik H berbobot non negatif, mempunyai

koefisien assosiasi (bobot non negatif). Untuk mengukur kualitas dari faktorisasi pendekatan C = B

H, fungsi biaya antara C dan B H perlu untuk

mengoptimalisasikan subjek terhadap konstrains non-negatif pada B dan H.

Hal ini dikerjakan dengan meminimumkan Z

informasi divergen yang diberikan oleh :

(

)

(

)

)

)

(

(

_{ij ij}

ij ij ij ij

BH

C

BH

C

Log

C

BH

C

Z

=

∑

−

+

yang akan menghasilkan hukum multiplikatif update. ik i ij ik ik i kj kj

B

BH

C

B

H

H

∑

∑

←

/

(

)

kj j ij ij kj j jk jk

B

BH

C

H

B

B

∑

∑

←

/(

)

Dimana matriks B dan H adalah awal dari

matrik random non negatif dan update dikerjakan secara alternatif sehingga setelah diupdate satu baris

H, perlu mengupdate kolom yang sesuai dengan B.

Dengan perkataan lain tidak harus mengupdate matriks H pertama disertai oleh update dari matriks

=

Cm x m Bm x r

Hr x m

Poin-poin yang keluar yang berkaitan dengan bayangan digital watermaking, syarat tertutup terhadap kompresi bayangan.

Prinsip Componen Analisa (PCA) secara tradisi adalah salah satu metode yang digunakan secara umum untuk mereduksi analisa data fisinalisasi dan analisa Chester. Hasil sebelumnya memperlihatkan bahwa PCA tampaknya tidak sesuai untuk mereduksi demensi dalam pernyataan gen cluster selanjutnya.

Dewasa ini Faktorisasi Matriks Nonnegatif telah diusulkan untuk analisa data non negatif. Contoh : Non negativity membuat hasil dari bayangan muka awal secara fisial dan kemampuan menginterprestasikan secara rasional. Sekarang Faktorisasi Matriks Nonnegatif mulai banyak digunakan dalam analisa data. Dalam bidang bio informatika, Faktorisasi Matriks Nonnegatif juga telah merupakan suatu metode yang kuat untuk analisa data microarray dan analisa urutan protein. Bahkan Faktorisasi Matriks Nonnegatif digunakan untuk gen cluster dan dalam algoritma yang dimodifikasi yang didasarkan pada Faktorisasi Matriks Nonnegatif, yang digunakan untuk keperluan yang sama. Faktorisasi Matriks Nonnegatif digunakan untuk menganalisa urutan protein. Faktorisasi Matriks Nonnegatif hanya digunakan secara langsung untuk mengcluster sampel yang dinyatakan gen dengan dibandingkan terhadap cluster secara hirarki dan pemetaan organisasi sendiri, Faktorisasi Matriks Nonnegatif digunakan untuk bioclustering dari data yang dinyatakan gen. Disini memperkenalkan lebih tajam ide dasar dari Faktorisasi Matriks Nonnegatif, dengan memberikan suatu set data dalam bentuk matrik χ

∈

R

₊mxn terdiri dari m sanpel dalam ruang n

dimensi , dimana masing-masing entri adalah non negatif (contoh χіј ≥ 0 untuk semua і, ј), Faktorisasi

Matriks Nonnegatif adalah untuk menentukan suatu pendekatan X BH, dimana B adalah suatu matrik n

x d dan H suatu matrik d x m dan keduanya B, H

adalah juga non negatif. Masing-masing kolom B

dapat dipandang secara basis vektor dan

masing-masing kolom H dapat dipandang merupakan suatu

gambaran vektor baru yang sebanding dengan data sesungguhnya. Lebih jelasnya pada dasarnya ada terdapat 2 algoritma untuk menyempurnakan

dekomposisi melalui implementasi update multiplikatif sebagai berikut :

ik T

ik T

ik ik

BHH

XH

b

b

)

(

)

(

←

ik T

ik T

ik

BH

B

XH

h

)

(

)

(

dan

kj j

BH kj j ik

h

h

b

ij

ij

∑

∑

←

( )

χ

ik i

BH ik j kj kj

b

h

h

h

ij

ij

∑

∑

←

( )

χ

Hukum update multiplikatif dapat mengikuti non negatif dengan initialization non negatif.

Dalam banyak jenis sistem linier yang muncul dalam penerapan, elemen-elemen dari matrik koefisien menunjukkan besaran tak negatif. Ini berkaitan dengan pengetahuan tentang matriks-matriks yang demikian serta sifat-sifatnya.

Definisi suatu matriks A berorde n x n

dengan entri bilangan real disebut tak negatif jika αij

≥ 0 untuk setiap і dan ј, dan disebut positif jika αij 0 untuk setiap і dan ј.

Hal yang serupa , suatu vektor x = (x1,…,

xn )T disebut tak negatif jika setiap xі ≥ 0 dan dikatakan positif jika xі> 0.

Aplikasi 1 : Model Terbuka

Misalnya ada sejumlah n industri yang

memproduksi sejumlah n produk yang berbeda.

Masing-masing industri memerlukan masukan (input) produk dari industri lain dan kemungkinan bahkan dari produk sendiri. Pada model terbuka, diasumsikan bahwa ada kebutuhan (demand) tambahan untuk masing-masing produk yang berasal dari sektor luar. Masalahnya adalah menentukan keluaran (output) dari masing-masing indutri yang diperlukan sesuai dengan kebutuhan total (total demand).

Dapat dilihat bahwa masalah ini dapat dijelaskan dengan suatu sistem parsamaan linier dan bahawa sistem tersebut mempunyai suatu

penyelesaian tak negative tunggal. Misalkan αij

melambangkan jumlah masukan dari industri ke-і

yang diperlukan untuk memproduksi satu unit keluaran di industri ke-ј. satu unit masukan atau keluaran produk tersebut dihargai sbesar satu dolar akan dihabiskan sebanyak

∑

n_i=1

α

_ij dolar. Jelasnya,

memproduksi produk ke-ј tidak akan

menguntungkan kecuali ∑=₁ ij<1

n

i

α

. Misalkan dі

produk ke-і. selanjutnya, misalkan xі adalah jumlah

keluaran dari produk ke-і yang diperlukan untuk

mencukupi kebutuhan total. Jika ke-ј ingin

mempunyai keluaran sebanyak xј, maka akan

diperlukan suatu masukan sebanyak αіјxј unit dari

industri ke-і. jadi kebutuhan total untuk produk ke-і akan terjadi

αі1x1 + αі2x2 + · · · + αіnxn + dі Dan karena dibutuhkan syarat

xi = αі1x1 + αі2x2 + · · · + αіnxn + dі Untuk і = 1…n. hal ini menjadikan sistem

(1 – α11)x1 +( - α12)x2 + · · · + ( - α1n)xn + dі ·

· ·

(1 – α21)x1 +( - α22)x2 + · · · + ( - α2n)xn + dі Yang dapat dituliskan dalam bentuk

(I – A)x = d

Elemen elemen dari A memiliki dua sifat penting: (i) xіј ≥ 0 untuk masing masing і dan ј

(ii)

∑

=

<

n

i ij

1

1

α

Vektor x seharusnya bukan hanya

merupakan suatu penyelesaian, tapi juga harus tak negatif (tidak ada artinya jika hanya memiliki keluaran negatif).

Untuk memperlihatkan bahwa sistem tersebut mempunyai penyelesaian tak negatif tunggal, perlu membiasakan menggunakan suatu norm matriks baru, yang disebut norm-satu

(one-norm) dan dilambangakan

⋅

. Akan dilihat bahwa

untuk sembarang matriks B berorde m × n.

B

₁

=

⎟

⎠

⎞

⎜

⎝

⎛

∑

= m

i ij

b

1

Juga akan ditujukan bahawa matriks norm-satu memenuhi sifat-sifat perkalian berikut di bawah ini:

1 1

1

B

C

BC

≤

untuk sembarang matriks

nxr

R

C

∈

1 1

1

x

x

B

B

≤

untuk sembarang matriks

n

R

∈

x

Khusus jika A adalah matriks berorde n x n

yang memenuhi syarat (i) dan (ii), maka didapatkan

1

1

<

A

. Selanjutnya, jika λ adalah sembarang

nilai eigen dari A dan x adalah suatu vektor eigen dari λ, maka

1 1 1

1

1

x

x

x

x

x

=

λ

=

A

≤

A

λ

Dan oleh karena itu

1

1

<

≤

A

λ

Jika 1 bukanlah nilai eigen dari A. hal ini

mengakibatkan I - A tak singular dan karena itu

sistem memepunyai penyelesaian yang tunggal

X = (I – A)-1 d

Akan dilihat bahwa penyelasaian ini pasti tak negatif. Untuk melakukan hal ini, akan ditunjukan bahwa (I – A)-1 adalah tak negatif. Catatan pertama adalah sebagai konsekuensi dari sifat perkalian, mendapatkan:

1

1

m m

A

A

≤

Karena m ₁

<

1

A

, maka

0

1→

m

A jika m → ~

Dan karena itu Ammendekati matriks nol jika m → ~

karena :

(I – A) (1 + A + ··· + Am) = I – Am+1

Menyebabkan:

I – A + ··· +Am=(I – A)-1- (I – A)-1Am+1

Pada m → ~, maka

(I – A)-1 (I – A)-1 Am+1 →(I – A)-1

Dan karena deret 1 + A + ··· + Am konvergen ke (I – A)-1 pada m → ~. Dengan syarat (i) 1 + A + ··· + Am adalah tak negatif untuk masing-masing m, dan dengan demikian maka (I – A)-1 pastilah tak negatif. Karena d tak negatif, maka penyelesaian x menjadi tak negatif. Oleh karena itu dapat dilihat bahwa syarat-syarat (i) dan (ii) menjadi sistem akan mempunyai penyelesaian tak negatif x yang tunggal.

Sebagaimana yang mungkin sudah diduga,

terdapat suatu versi tertutup dari model masukan dan keluaran. Pada versi tertutup, diasumsikan bahwa masing-masing industri harus memproduksi keluaran yang cukup untuk mencukupi kebutuhan masukan industri lain atau dirinya sendiri. Sektor terbuka diabaikan. Jadi, sebagai pengganti dari sistem diperoleh:

(I – A)x = 0

Dan membutuhkan penyelesaian positif

untuk x. Keberadaan dari x yang demikian pada

kasus ini adalah suatu hasil yang lebih mendalam dibandingkan dengan yang ada pada versi terbuka dan memerlukan beberapa teorema yang lebih tinggi.

Teorema Perron jika A adalah matriks

positif berorde n x n, maka A memiliki nilai eigen real positif r dengan sifat sifat sebagai berikut:

a. r adalah akar sederhana dari persamaan

karakteristik

c. Jika λ adalah sembarang nilai eigen lainya dari A, maka

λ

<r

Teorema Perron dapat dianggap sebagai suatu khusus dari teorema yang lebih umum menurut Frobbenius. Teorema Frobnius berlaku pada matriks-matriks tak negatif yang tak bereduksi (irreducible).

Defenisi matriks tak negatif A dikatakan

sebagai matriks yang tereduksi (reducible) jika

terdapat suatu partisi dari himpunan indeks

{

1,2,...,n

}

ke dalam himpunan-himpunan tak

kososng yang saling lepas (disjoint) I1 dan I2 sehingga αij 0 apabila

i

∈

I

1dan

j

∈

I

2. Jika

tidak demikian A disebut sebagai matriks yang tak tereduksi (irreducible).

Contoh 1. Misalkan A adalah matriks berbentuk

⎥

⎥

⎥

⎥

⎦

⎤

⎢

⎢

⎢

⎢

⎣

⎡

x

x

x

x

x

x

x

x

x

x

x

x

x

x

0

0

0

0

0

0

Misalkan I1 =

{

1,2,...,n

}

dan I2 =

{ }

3,4 . Maka I1 ∪ I2 =

{

1,2,3,4,5

}

dan αij = 0 kalau

i

∈

I

1 dan

2

I

j

∈

. Oleh karena itu A tereduksi. Perhatikanlah

bahawa jika P adalah matriks permutasi yang

dibentuk dengan mempertukarkan baris ketiga dan kelima dari matriks identifikasi I, maka

⎥

⎥

⎥

⎥

⎦

⎤

⎢

⎢

⎢

⎢

⎣

⎡

=

x

x

x

x

x

x

x

x

x

x

x

x

x

x

0

0

0

0

0

0

PA

⎥

⎥

⎥

⎥

⎥

⎥

⎦

⎤

⎢

⎢

⎢

⎢

⎢

⎢

⎣

⎡

=

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

x

0

0

0

0

0

0

T

PAP

Secara umum dapat dilihat bahwa suatu matriks

A berorde n x n tereduksi jika dan hanya jika

terdapat sebuah matriks permutasi P sedemikian

rupa sehingga PAPT adalah matriks berbentuk;

⎟⎟⎠

⎞

⎜⎜⎝

⎛

C

O

X

B

Dimana B dan C adalah matriks – matriks

bujur sangkar :

Teorema Frobenius jika A adalah matriks

tak negatif yang tak tereduksi (irreducible), maka A

memiliki nilai eigen real positif r dengan sifat-sifat sebagai berikut:

1. r memiliki vektor eigen positif x

2. Jika λ adalah sembarang nilai eigen lain dari

A, maka

λ

≤

r

, nilai-nilai eigen dari

modulus r semuanya adalah akar sederhana

dari persamaan karakterisik.

Sebenarnya jika terdapat m nilai-nilai eigen dan

modulus, maka nilai-nilai eigen tersebut akan berbentuk

1

,...,

1

,

0

,

1

2

exp

=

−

⎥⎦

⎤

⎢⎣

⎡

⎟

⎠

⎞

⎜

⎝

⎛

=

k

m

m

i

k

r

k

π

λ

Aplikasi 2 : Model Tertutup

Pada model masukan-masukan Leontief tertutup, diasumsikan tidak ada kebutuhan pada sektor terbuka dan dapat diharapkan mendapatkan keluaran-keluaran untuk memenuhi kebutuhan semua industri. Jadi dengan mendefinisikan semua

xi dan semua αij sebagaimana dalam model terbuka.

xi = αі1x1 + αі2x2 + · · · + αіnxn

Untuk і = 1,…, n. sistem yang dihasilkan dapat

dituliskan dalam bentuk

(A – I) x = 0 Seperti sebelumnya.

(i) αij ≥ 0

Oleh karena tidak ada sektor terbuka, jumlah keluaran dari industri ke-ј seharusnya sama dengan masukan total untuk industri tersebut. Jadi,

∑

₌ = n i ij 1 j j x x α

dan karenanya memiliki syarat kedua

(ii)

∑

= = = n i

ij j n

1 ,..., 1 1 j x

α

Syarat (ii) mengakibatkan A -1 singular karena

jumlah vektor barisnya adalah 0. Oleh karena itu

nilai1 adalah nilai eigen dari A dan karena

1

A

,

maka semua nilai eigen dari A memiliki modulus

kurang dari atau sama dengan 1. Diasumsikan

bahwa cukup banyak koefisien A yang tak nol

sehingga A menjadi tak tereduksi (irreducible).

Kemudian berdasarkan Teorema Frobenius untuk λ

= 1 memiliki vektor eigen positif x. Jadi sembarang

kelipatan positif dari x akan merupakan

penyelesaian positif.

Kesimpulan

dengan batas kendala bilangan non negatif, V W H.

DAFTAR PUSTAKA

Bertsekas, D., 1999, Nonlinier Programming,

Athena Scientific, Belmont, MA.

Catral, M. L. Han; Neumann, M. and Plemmons, R., 2004, On Reduced Rank Non-Negative Matrix Factorization for Symmetric

Non-Negative Matrices, Linier Algebra Appl.,

Vol.393 (1);107-126.

Chu, M. F. Diele; Plemmons, R. and Ragni S,. 2004,

Optimality Compulation, and Interpretation of Non-Negative Matrix Factorization, Unpublished Preprint.

Cichocki,A. R. Zdunek, NMFLAB Toolbox for

Non-Negative Matrix Factorization. URL: www.bsp.brain.rikep.jp/ICALAB/nmflab.ht ml/

Donoho, D. V. Stodden, Whwn Does Non-Negative Matrix Factorization Give a Correct

Decomposition into Parts, Adv. Neural Inf.

Process. Sust., Vol.17.

Golub, G. C. V. Loan, 1996, Matrix Compulation,

Third ed., The Johns Hopkins University Press, Baltimore.

Hoyer, P., 2004, non-Negative Spare Coding, in:

Proceedings of the IEEE Workshop on Neural Network for Signal Processing, Martigny, Switzerland, 557-565.

Hoyer, P., 2004, Non-Negative Sparse Matrix Factorization wih Sparsenessconstraints, J. Mach. Learn. Res., Vol.5; 1457- 1469. Lee, D. D. H. S. Seung, 1999, Learningthe Parts of

Objects by Non-Negative Marix Factorization, Nature, Vol. 401; 788-791. Lee, D. D. H. S. Seung, 2001, Algorithms for

Non-Negative Matrix Factorization, Adv. Neural

Inf. PRocees. Syst., Vol. 13: 556-562.

Paatero, P. U. Tapper, 1994, Positive Matrix Factorization: A Non-Negative Factor Model with Optimal Utilization of Error

Estimates of Data Value, Environmatrics,

Vol.5; 111-126.

Wild, S., 2003, Seeding Non-Negative Matrix

factirozation with the Spherical K-Means Clustering, Master Thesis, University of Colorado, Departmentof Applied Mathematics.

Zhang, D. S. Chen and Zhou, Z. H., 2005, Two-dimensional Non-Negative Matrix Factorization fir Face Representation and

Recognition, in: Proceedings of the ICC’05