ANALISIS KOMPONEN UTAMA

LOGO

Hazmira Yozza

Analisis Komponen Utama

Karl Pearson (1901)

Memperkenalkan AKU

Belum memberikan metode prak-tis perhitungan untuk kasus

Suatu analisis statistika yang berguna untuk mereduksi p peubah menjadi r peubah baru yang disebut Komponen Utama(r ≤ p) dengan tetap mempertahankan

besarnya keragaman dari peubah asal

Hotelling (1933)

Memberikan metode perhitungan

praktis dalam menentukan KU

Company Logo

tis perhitungan untuk kasus dengan lebih dari dua peubah

praktis dalam menentukan KU

Dalam prakteknya, masih

terbatas untuk sedikit peubah

Perkembangan Komputer

Dilakukan pengamatan/pengukuran p peubah (X1, X2, …, Xp) terhadap n objek pengamatan

Diperoleh data : Objek X1 X2 … Xp 1 x x … x Company Logo 1 x₁₁ x₂₁ … x_p1 2 x₁₂ x₂₂ … x_p2 3 x₁₃ x₂₃ … x_p3 : : : : n x_1n x_2n … x_pn

X

₁

, X

₂

, …, X

_p AKU

Y

₁

, Y

₂

, …, Y

_r

1. Y

₁

, Y

₂

, …, Y

_r

adalah kombinasi linier dari peubah asal

Y

₁

= a

₁₁

X

₁

+ a

₁₂

X

₂

+…+ a

_1p

X

_p

= a

₁T

_X

:

Y

_r

= a

_r1

X

₁

+ a

_r2

X

₂

+ …+a

_rp

X

_p =

a

_rT

X

2. Y , Y , …, Y tidak saling berkorelasi

Y = A X

2. Y

₁

, Y

₂

, …, Y

_r

tidak saling berkorelasi

3. Y

₁

, Y

₂

, …, Y

_r

tertata menurut pentingnya

Var(Y

₁

) ≥ Var(Y

₂

) ≥ … ≥ Var(Y

_r

) ≥ 0

diharapkan k KU pertama (k sekecil mungkin) sudah mampu menjelaskan sebahagian besar keragaman data

0

)

,

cov(

0

)

,

(

=

⇔

=

j i j i

Y

Y

Y

Y

corr

•

AKU tidak selalu berhasil dalam mereduksi

banyaknya peubah

•

AKU tidak bermanfaat bila peubah-peubah yang

dianalisis tidak saling berkorelasi. Dalam hal ini,

KU yang dihasilkan akan sama dengan peubah

asal, tapi terurut berdasarkan pentingnya peubah

tersebut (atau terurut berdasarkan keragamannya)

Company Logo

tersebut (atau terurut berdasarkan keragamannya)

•

Hasil terbaik adalah jika terdapat korelasi yang

tinggi antar peubah → Pembentukan matriks

korelasi mrp analisis pendahuluan pada AKU

Pembentukan Komponen Utama Pertama

Komponen Utama Pertama

Peubah Asal

X = [X1, X2, …, Xp]

dengan ∑ = Var(X) (matriks ragam peragam dari X)

Komponen Utama Pertama

Y

₁

= a

₁₁

X

₁

+ a

₁₂

X

₂

+ …+a

_1p

X

_p

= a

1 T

X

diinginkan Y1 dengan Var (Y1) maksimum

Var(Y

₁

) = Var(a

₁T

_{X) = a}

1T

Var(X) a

1

= a

1T

∑

a

1

Kendala

a

₁T

_a

Masalah : menentukan a sehingga diperoleh :

Max

a

₁T

_∑

_a

1

Kendala

a

₁T

_a

1

= 1

Max f(a

₁ λ)=

a

₁T

∑

a

₁

– λ(

a

₁T

a

₁

– 1)

Agar f maksimum, maka :

Company Logo

Agar f maksimum, maka :

dan

(2)

(1)

0 = ∂ ∂ 1 a f

(

− ₁( −1)

)

=0 ∂ ∂ 1 T 1 1 T 1 1 a a Σa a a λ

0

)

(

2

2

0

0

2

2

1 1 1

=

−

⇔

=

⇔

=

+

−

⇔

1 1 1 1 1

a

I

a

a

a

Σa

λ

λ

λ

Σ

Σ

0 = ∂ ∂ λ f

(

− ₁( −1)

)

=0 ∂ ∂ 1 T 1 1 T 1 Σa a a a λ λ

1

0

1

1 1

=

⇔

=

+

−

⇔

1 1

a

a

a

a

T T

Pembentukan Komponen Utama Pertama

Persamaan (1)

1

)

0

(

₋

λ

₌

1

a

I

Σ

λ1 : akar karakteristik dari ∑

a

1

: vektor karakteristik

padanannya

Persamaan (1)

0

)

(

_Σ

₋

λ

₁

I

a

₁

₌

1 1 1 1 1 1 1 1

)

0

(

λ

λ

λ

λ

λ

=

=

=

=

=

−

1 1 1 1 1 1

a

a

Ia

a

a

a

Ia

a

a

I

T T T

Σ

Σ

Σ

1

1

a

1

=

a

T

(kalikan dengan a

1 T

)

(dari (2) diketahui )

Fs yang akan dimaksimumkan Agar maksimum, maka λ₁ λ1 : akar karakteristik terbesar dari ∑ a1 : vektor karakteristik padanannya

KU Kedua

Y

₂

= a

₂₁

X

₁

+ a

₂₂

X

₂

+…+ a

_2p

X

_p

= a

2 T

_X

Syarat :

Y

₂

memiliki keragaman terbesar kedua setelah Y1

Var(Y

₂

) = Var(a

₂T

_{X) = a}

2T

Var(X) a

2

= a

2T

∑

a

2

Y tidak berkorelasi dengan Y

a

₂T

_a

2

= 1

Company Logo

Y

₂

tidak berkorelasi dengan Y

₁

0

0

)

(

0

)

,

(

)

,

(

)

,

(

1 2 1 2 1 2 1 2 1 2

=

=

=

=

=

Σa

a

a

X

a

X

a

X

a

T T T T

Var

Cov

Corr

Y

Y

Y

Y

Cov

Pembentukan Komponen Utama Kedua

0

1 2

Σa

=

a

T

Dari Persamaan (1)

1 1 1 1

a

a

Σa

a

a

Σa

T T 1 2 2 1

λ

λ

=

=

Jika maka

(a2 dan a1 saling orthogonal)

1 1 1

a

a

a

a

Σa

a

T 2 1 1 2 2

λ

λ

=

=

0

1 2

Σa

=

a

T

0

0

2 2 2 1

=

=

=

1 1 1

a

a

Σa

a

a

a

T T T

λ

Masalah : menentukan a

2

sehingga diperoleh :

Max

a

2 T

∑ a

2

Kendala

a

2 T

_a

2

= 1

a

2 T

a

1

= 0

Company Logo

0

2

=

∂

∂

a

f

Masalah : menentukan a

2

, λ

₂

dan δ sehingga diperoleh :

Max f(a

_2,λ,δ)=

a

₂T

∑ a

₂

– λ

₂

(a

₂T

a

₂

– 1)- δ

a2

T a1

Agar f maksimum, maka :

; dan

=

0

∂

∂

λ

f

0

=

∂

∂

δ

f

Pembentukan Komponen Utama Kedua

0 2 = ∂ ∂ a f

(

_{2 2 2}( _{2 2} 1) _{2 1}

)

0 2 = − − − ∂ ∂ a a a a Σa a a T T T _{λ δ} 0 2 = ∂ ∂ λ f

0

1

2 2

+

=

−

a

T

a

(3)

(

_{2 2 2}( _{2 2} 1) _{2 1}

)

0 2 = − − − ∂ ∂ a a a a Σa a T λ T δ T λ

(4)

0

2

2

2 2 2

−

a

−

a

1

=

Σa

λ

δ

0 = ∂ ∂ δ f

0

0

2 1 1 2

a

=

⇔

a

a

=

a

T T

(

_{2 2} − ₂( _{2 2} −1)− _{2 1}

)

= 0 ∂ ∂ a a a a Σa a T λ T δ T δ

(5)

Kalikan (3) dengan a₁T 0 1 ; (6)

0

2

2

2 2 2

−

−

1

=

T 1 T 1 T 1

Σa

a

a

a

a

a

λ

δ

0

2

2

−δ

=

Σa

a

T 1

a

Σa

2

=

a

a

2

=

0

T 1 T 1

0

=

δ

(6) Subs ke (3) : (7)

2

Σa

₂

−

2

λ

₂

a

₂

=

0

⇔

(

Σ

−

λ

₂

I

)

a

₂

=

0

Persamaan (7)

2

2

)

0

(

_Σ

₋

λ

I

a

₌

λ2 : akar karakteristik dari ∑

a

2

: vektor karakteristik

padanannya

Persamaan (7)

0

)

(

_Σ

₋

λ

₂

I

a

₂

₌

Company Logo 2 2 2 2 2 2 2 2 2 2 2 2 2 2

)

0

(

λ

λ

λ

λ

λ

=

=

=

=

=

−

a

a

Ia

a

a

a

Ia

a

a

I

T T T

Σ

Σ

Σ

1

2 2

a

=

a

T

(kalikan dengan a

2 T

)

(dengan mensubst (6) ke (4) didapat :

Fs yang akan dimaksimumkan

Agar maksimum, maka :

λ2 : akar karakteristik ke-2 terbesar dari ∑ a2 : vektor karakteristik padanannya

Pembentukan KU berikutnya

Dilakukan dengan pendekatan yang sama dengan

Pembentukan komponen utama 1 dan 2

Didapat bahwa :

λi : akar karakteristik ke-i terbesar dari ∑

a

_i

: vektor karakteristik padanannya

Tentukan a1, a2, …,ar yang merupakan vektor karakteristik yang berpadanan dengan akar karakteristik tak nol dari

matriks ragam peragam ∑, λ₁, λ₂, …, λ_r (λ₁ ≥ λ₂ ≥ … ≥ λ_r ≥0

Tentukan matrisk ∑. Karena data yang dimiliki adalah data contoh, maka matriks ∑ ini diduga dari matriks ragam

peragam contoh S

Company Logo

Tentukan Komponen Utama :

Y₁ = a₁₁X₁ + a₁₂ X₂ +…+ a_1p X_p= a₁T_X :

Y_r = a_p1X₁ + a_p2 X₂ + …+a_pp X_p = a_rT_X

Ortonormalkan vektor a1, a2, …,ar Orthogonalkan dengan POGS

Keragaman Total KU

Y

1

= a

11

X

1

+ a

12

X

2

+…+ a

1p

X

p

= a

₁T

X

:

Y

r

= a

p1

X

1

+ a

p2

X

2

+ …+a

pp

X

p

= a

_rT

Xc

X

a

a

X

a

X

a

T T 1 T T 1

















=

















=

















Y

Y

M

M

M

2 2 2 1

atau

a

X

a

T





_





_

T





_



















r r r

Y

M

M

M

Bila dinyatakan maka :

A

₌

[

a

₁

_,

a

₂

_,

_L

_,

a

_r

]

X

A

Y

=

T

ΣA

A

A

X

A

X

A

Y

T T T

=

=

=

)

(

)

(

)

(

Var

Var

Var





















=

r

λ

λ

λ

L

M

O

M

M

L

L

0

0

0

0

0

0

)

(

2 1

Y

Var

)

(Λ

Y

trace

keragaman

Total

₌

∑

₌

r i

λ





















=

=

r

λ

λ

λ

L

M

O

M

M

L

L

0

0

0

0

0

0

)

(

2 1

Y

Λ Var

Misal

Company Logo

)

(

1

Λ

Y

trace

keragaman

Total

₌

∑

₌

= i i

λ

X

Σ

Σ

AA

ΣA

A

Λ

T T

keragaman

total

Var

trace

trace

trace

)

trace(

=

=

=

=

=

∑

= p i i

X

1

)

(

)

(

)

(

)

(

Bila Var(Yi) = λi, maka dapat dikatakan bahwa :

KU Yi mampu menerangkan dari total

keragaman seluruh komponen utama

KU Yi mampu menerangkan dari total

keragaman data asal

∑

= r i i i 1 λ λ

∑

= r i i i 1 λ λ

Dg demikian, k KU pertama, Y1, Y2, …, Yk mampu

Keragaman Total KU

Dg demikian, k KU pertama, Y1, Y2, …, Yk mampu

menerangkan dari total keragaman data asal

_∑

_∑

= = r i i k i i 1 1 λ λ

Bila nilai ini sudah cukup besar, maka cukup digunakan

k KU saja.

Pilih KU dengan akar karakteristik lebih besar dari 1

(hanya jika menggunakan matriks korelasi)

Pilih k KU sehingga

Scree plot

% 80 1 1 >

∑

∑

= = r i i k i i λ λ Company Logo

Scree plot

i λi 1 2 3 4 2 KU curam landai

Peubah berbeda satuan atau keragaman sangat

berbeda

• Peubah yang memiliki keragaman lebih besar dianggap

lebih penting dibanding yang lain

• Pada kondisi ini, peubah dibakukan dulu sehingga setiap

peubah memiliki nilai tengah 0 dan ragam 1

j ij ij

s

X

X

Z

₌

−

_{Jd semua peubah sama pentingnya}

• Matriks S menjadi matriks korelasi R

• Penurunan matematis sama shg prosedur analisis sama

• a

_i

dan λ

_i

yang diperoleh berbeda

• Total keragaman Y = total keragaman Z = p = # peubah

j ij

s

























=

1

1

1

2 1 2 21 1 12

L

M

O

M

M

L

L

p p p p

r

r

r

r

r

r

)

(

_X

_x

A

T

−

=

Y

Skor komponen untuk objek ke-m

Skor komponen

Company Logo

)

(

_x

_x

A

T

_m

−

=

m

y

Beberapa catatan

1.

Dugaan KU

∑ diduga dari S, sehingga yang didapat dalam

analisis adalah dan

Tidak ada asumsi tentang X, sehingga sifat dari

penduga tidak dapat diturunkan

AKU dipandang sebagai suatu teksik statistika

r

λ

λ

ˆ

_,...,

ˆ

1

a

ˆ

1

,...,

a

ˆ

r

AKU dipandang sebagai suatu teksik statistika

yang tidak didasarkan pada suatu model

apapun, shg KU yang diperoleh tetap dipandang

sebagai KU, bukan hanya sekedar dugaan

2. Akar karakteristik 0

Terjadi jika terdapat keterkaitan linier antara

peubah (jarang terjadi)

KU yang dihasilkan tidak digunakan

3.

Akar karakteristik kecil

Company Logo

3.

Akar karakteristik kecil

Terjadi jika terdapat korelasi yang cukup erat

antar peubah.

Output AKU

1.

Diinterpretasikan langsung

2.

Sebagai input bagi analisis statistika lainnya

Analisis Regresi (jk terjadi multikolonier antara

peubah)

Analisis gerombol untuk mengelompokkan objek

Analisis diskriminan

Tentukan λ₁, λ₂, …, λ_r dan a₁, a₂, …,a_r yang merupakan akar dari matriks S (atau matriks R) dimana λ₁ ≥ λ₂ ≥ … ≥ λ_r ≥0 dan a₁, a₂, …,a_r saling orthogonal

Tentukan matrisk ragam peragam S (dan/atau matriks korelasi R) dari data

Periksa (dari matriks korelasinya) apakah peubah perlu ditransformasi dengan AKU

Tentukan banyaknya KU yang dapat diambil

Company Logo

Tentukan Komponen Utama :

Y₁ = a₁₁X₁ + a₁₂ X₂ +…+ a_1p X_p= a₁T_X :

Y_k = a_k1X₁ + a_k2 X₂ + …+a_kp X_p = a_kTX

Tentukan banyaknya KU yang dapat diambil

Periksa apakah KU yang dihasilkan memiliki interpretasi yang berarti

Contoh Penerapan AKU

Dilakukan pengukuran morfologi tubuh terhadap 49 ekor burung betet . Peubah yang diukur adalah :

X1 = Total panjang burung X2 = bentangan sayap

X3 = Panjang paruh dan kepala X4 = Panjang tulang sayap atas

X5 = Panjang keel of sternum (tulang tempat melekatnya otot untuk terbang) Diperoleh data : Diperoleh data : Objek X1 X2 X3 X4 X5 1 156 245 31.6 18.5 20.5 2 154 240 30.4 17.9 19.6 3 153 240 31.0 18.4 20.6 : : : : : : 49 164 248 32.3 18.8 20.9

X1 X2 X3 X4 X5 X1 _13.2527 X2 _{8.7985 25.6828} X3 _{1.9221 1.8886 0.6316} X4 _{1.3306 1.6394 0.3443 0.3184} X5 _{2.1922 2.2745 0.4147 0.3394 0.9828} Company Logo • Nilainya relatif lebih besar jika

dibanding-kan dengan ragam peubah-peubah lain

• Terdapat kecendrungan bahwa dua peubah (X1 dan X2) akan mendominasi pemben-tukan KU

Bakukan Data • .

• Matriks ragam

peragam (Z) adalah matriks korelasi dari X j j ij ij s X X Z ₌ − MTB>Cova X1-X5 m1

Data Baku

Objek Z1 Z2 Z3 Z4 Z5 Objek X1 X2 X3 X4 X5 1 156 245 31.6 18.5 20.5 2 154 240 30.4 17.9 19.6 3 153 240 31.0 18.4 20.6 : : : : : : 49 164 248 32.3 18.8 20.9 Rata2 _{157.98 241.33 31.46 18.47 20.83} Stdev 3.65 5.07 0.79 0.56 0.99 26176 . 0 07 . 5 33 . 241 240 2 2 23 23 − = − = − = s X X Z 1 -0.54172 0.72486 0.17718 0.05425 -0.32937 2 -1.08902 -0.26176 -1.33272 -1.00904 -1.23720 3 -1.36267 -0.26176 -0.57777 -0.1229 -0.22850 : 49 1.64750 1.31683 1.05796 0.585895 0.074108 6 MTB>Center ‘x1’-’x5’ c6-c10

X1 X2 X3 X4 X5 X1 _1.00000 X2 _{0.73496 1.00000} X3 _{0.66181 0.67374 1.00000} X4 _{0.64528 0.76851 0.76319 1.00000} Company Logo X4 _{0.64528 0.76851 0.76319 1.00000} X5 _{0.60512 0.52901 0.52627 0.60665 1.00000}

• Korelasi antar peubah cukup besar

• AKU akan berguna dalam mereduksi data

• Untuk selanjutnya, AKU dilakukan dengan menggunakan matriks ini

Penentuan Akar dan Vektor Karakteristik

KU λi Z1 Z2 Z3 Z4 Z5 % %kum Y1 3.61598 0.452 0.462 0.451 0.471 0.397 72.3% 72.3% Y2 0.53150 0.051 -0.300 -0.325 -0.185 0.876 10.6% 82.9% Y3 0.38642 0.690 0.341 -0.454 -0.411 -0.178 7.7% 90.7% Y4 0.30157 -0.420 0.548 -0.606 0.388 0.069 6.0% 96.7% Y5 0.16453 0.374 -0.530 -0.343 0.652 -0.192 3.2% 100% a1 T

MTB>Eigen m2 c11 m3 (lakukan analisis eigen untuk matriks m2, akar karakteristik di c11, vektor karakteristik di m3)

5 4 3 2 1 . Z . Z . Z . Z Z . Y 0 452 0 462 0 451 0 471 0 397 1 = + + + + 5 4 3 2 1 2 0.051Z 0.300 Z 0.325 Z 0.185 Z 0.876 Z Y _{= − − − +} 5 4 3 2 1 3 0.690 Z 0.341Z 0.454 Z 0.411Z 0.178 Z Y _{= + − − −} 5 4 3 2 1 4 0.420Z 0.548Z 0.606Z 0.388Z 0.069Z Y _{= − + − + +} 5 4 3 2 1 5 0.374 Z - 0.530 Z - 0.343 Z 0.652 Z - 0.192 Z Y _{= +}

1. Berdasarkan nilai akar karakteristik

• Hanya Y1 yang akar karakteristiknya lebih dari 1 • Diambil hanya KU-1, Y1

2. Berdasarkan % keragam yang dijelaskan KU

Company Logo

• Y1, Y2, …, Y5 mampu menjelaskan sebesar masing-masing 72.3%, 10.6%, 7.7%, 6.0% dan 3.2% dari total keragaman data asal

• Bila 72.3% dianggap cukup besar, gunakan anya Y1

• Bila tidak, gunakan juga Y2. Y1 dan Y2 mampu menjelaskan 86.9% dari total keragaman data (sudah cukup besar)

4 3 2 E ig e n v a lu e Scree Plot of X1, ..., X5

Berapa KU

3. Berdasarkan scree plot

curam landai 5 4 3 2 1 1 0 Component Number E • Diambil 1 KU, Y1

5 4 3 2 1

.

Z

.

Z

.

Z

.

Z

Z

.

Y

0

452

0

462

0

451

0

471

0

397

1

=

+

+

+

+

5 4 3 2 1 2

0

.

051

Z

0

.

300

Z

0

.

325

Z

0

.

185

Z

0

.

876

Z

Y

₌

₋

₋

₋

₊

5 4 3 2 1 3

0

.

690

Z

0

.

341

Z

0

.

454

Z

0

.

411

Z

0

.

178

Z

Y

₌

₊

₋

₋

₋

5 4 3 2 1 4

0

.

420

Z

0

.

548

Z

0

.

606

Z

0

.

388

Z

0

.

069

Z

Y

₌

₋

₊

₋

₊

₊

192

0

652

0

343

0

530

0

374

0

.

Z

-

.

Z

-

.

Z

.

Z

-

.

Z

Y

₌

₊

Company Logo 5 4 3 2 1 5

0

.

374

Z

-

0

.

530

Z

-

0

.

343

Z

0

.

652

Z

-

0

.

192

Z

Y

₌

₊

Skor Komponen

Objek Y1 Y2 Y3 Y4 Y5 1 0.06429 -0.600837 -0.171233 0.515826 0.548790 2 -2.18031 -0.442301 0.400070 0.645460 0.231077 3 -1.14557 0.01925 -0.676127 0.716298 0.208871 : 49 2.13422 -0.697546 0.851168 -0.380029 0.077126 49 2.13422 -0.697546 0.851168 -0.380029 0.077126 064 . 0 ) 329 . 0 ( 397 0 ) 054 . 0 ( 471 0 ) 177 . 0 ( 451 0 ) 725 . 0 ( 462 0 ) 542 . 0 ( 452 0 397 0 471 0 451 0 462 0 452 0 11 = − + + + + − = + + + + = . . . . . Z . Z . Z . Z . Z . Y _{11 21 31 41 51}

3 2 1 Surv iv ors Non-surv iv ors Company Logo 4 3 2 1 0 -1 -2 -3 -4 -5 0 -1 -2 Y1 Y 2

Stat>Multivariate>Principle Components

Isikan nama peubah atau kolom tempat menyimpan peubah

Isikan banyak KU yang akan

AKU dengan Minitab

Company Logo

Isikan banyak KU yang akan dihitung skornya(max sama dengan banyak peubah asal)

Pilih (hanya salah satu) matriks yang digunakan sebagai dasar analisis (default : matriks korelasi)

Option untuk membuat grafik Option untuk menyimpan hasil perhitungan

Menampilkan scree plot Menampilkan diagram

pencar antara skor KU-1 dan skor KU-2

Company Logo

Menampilkan plot

loading untuk KU-1 dan KU-2

Isikan kolom-kolom untuk menyimpan koefisien (vektor karakteristik) (banyak kolom harus sama dengan banyaknya peubah asal)

Isikan kolom-kolom untuk menyimpan skor komponen (banyak kolom harus sama

dengan banyaknya KU) •Diperlukan jika output AKU akan dianalisis lebih lanjut

Isikan kolom (hanya 1 kolom) untuk menyimpan akar karakteristik