Pengenalan Pola
PTIIK - 2014
Course Contents
Collect Data
1
Object to Dataset
2
Ekstraksi Fitur
3
Seleksi Fitur
Design Cycle
Collect data
Choose features
Choose model
Train system
Evaluate system
Apa sensor yang harus kita gunakan? Bagaimana mengumpulkan data?
Bagaimana mengetahui fitur apa yang dipilih, dan bagaimana kita memilihnya ...?
(Misal transformasi data fitur dengan PCA)
Apa classifier yang akan digunakan? Apakah ada classifier yang terbaik ...?
Bagaimana kita melakukan proses Training?
Bagaimana mengevaluasi kinerja sistem? Bagaimana memvalidasi hasil?
Collect Data
Mengambil nilai data dari objek, Tipe data berdasarkan penskalaan datanya :
Data Kualitatif : Data yang bukan berupa angka,. Terbagi dua : • Nominal : Data yang paling rendah dalam level pengukuran data.
Contoh : Jenis kelamin, Merk mobil, Nama tempat
• Ordinal : Ada tingkatan data. Contoh : Sangat setuju, Setuju, kurang setuju, tidak setuju.
Data Kuantitatif : Data berupa angka dalam arti sebenarnya. Terbagi dua :
• Data Interval, Contoh : Interval temperatur ruang adalah sbb : Cukup panas jika antara 50C-80 C, Panas jika antara 80 C-110 C, Sangat panas jika antara 110 C-140 C.
Object to Dataset
Ilustrasi transformasi data dari objek yang diamati :
Keterangan :
M menyatakan banyak data, N menyatakan banyak fitur.
Ektraksi fitur dilakukan jika data yang diamati masih berupa data mentah (masih berupa kumpulan citra).
Seleksi Fitur
Problem : kompleksitas komputasi terhadap
pengenalan pola pada ruang dimensi yang tinggi. Solusi : mapping data ke dalam ruang dimensi
Seleksi Fitur
• Pengurangan dimensi data dapat dilakukan dengan :
• Mengkombinasikan Fitur (secara linear maupun non-linear)
• Memilih himpunan bagian dari fitur-fitur yang tersedia
• Kombinasi Linier merupakan pendekatan yang menarik karena metode tersebut dilakukan
Seleksi Fitur
Diberikan x ϵ RN, dengan tujuan untuk mencari
Seleksi Fitur
Dua pendekatan klasik untuk menghitung transformasi linier yang optimal :
Principal Components Analysis (PCA): mencari proyeksi yang menyediakan informasi sebanyak mungkin dalam data dengan pendekatan least-squares.
Linear Discriminant Analysis (LDA): mencari proyeksi terbaik yang dapat memisahkan data dengan
pendekatan least-squares.
Tujuan PCA : mengurangi dimensi data dengan
mempertahankan sebanyak mungkin informasi
Seleksi fitur menggunakan PCA
PCA memproyeksikan data
sepanjang suatu arah dimana data tersebut memiliki varians yang
tinggi
Arah tersebut ditentukan oleh eigenvectors dari matriks
covariance yang memiliki nilai eigenvalues terbesar.
Seleksi Fitur
Pendekatan vektor dengan menemukan basis ke dalam ruang dimensi yang lebih rendah
Representasi ruang Dimensi-Lebih Tinggi :
Represenasi ruang Dimensi-Lebih Rendah :
N Nv
a v
a v
a
x 1 1 2 2 ...
N
v v
v1, 2,..., merupakan basis dari ruang dimensi N
K Ku
b u
b u
b
xˆ 1 1 2 2 ...
K
u u
Seleksi fitur menggunakan PCA
Pengurangan dimensi berdampak pada hilangnya informasi
PCA mempertahankan sebanyak mungkin
informasi, dengan cara meminimalkan error :
Bagaimana caranya menentukan sub-ruang dimensi yang lebih rendah yang terbaik ?
• Eigenvektor yang terbaik dari matriks covarians x
Eigenvalue yang terbesar
Seleksi fitur menggunakan PCA
Misalkan x1, x2, ..., xM terdapat dalam vektor N x 1
1. Mencari Mean (nilai rata-rata) dari data
2. Menghitung Zero Mean (setiap nilai pada data sampel dikurangi nilai rata-rata tiap fitur yang terkait)
3. Membangun matriks Covarians dengan mengkalikan matriks Zero Mean dengan transposenya
4. Menghitung eigenvalue
5. Menghitung matriks eigenvektor
6. Mengurangi dimensi sebesar K dimensi yang
Seleksi fitur menggunakan PCA
Langkah 1: Mencari Mean Global (nilai rata-rata)
Langkah 2: Menghitung Zero Mean M
x x
x
x 1 2 ... M
M x
M
i
i
1
x xi
i
Seleksi fitur menggunakan PCA
Langkah 3: Membangun matriks Covarians
dengan mengkalikan matriks Zero Mean dengan transposenya
Populasi
Sampel
M
i
i T i
M C
1
1
M
i
i T i
M C
1
Seleksi fitur menggunakan PCA
Langkah 4 : Menghitung eigenvalue dari C
Hasil :
0 )
(
U C I
U I U
C
U I
U C I
U U
C
det( I C)0
N
Seleksi fitur menggunakan PCA
Langkah 5 : Menghitung eigenvektor
Dari eigenvalue yang dihitung pada langkah 4, disubstitusikan ke rumus :
Selesaikan dengan menemukan nilai U
Hasil :
0 )
( I C U
N
u u
u
Seleksi fitur menggunakan PCA
Langkah 6 : Mengurangi dimensi sebesar K dimensi
Pilihlah fitur sebanyak K berdasarkan nilai eigenvalue terbesar
Seleksi fitur menggunakan PCA
Pemilihan nilai K menggunakan kriteria berikut :
Pada contoh kasus diatas, dapat dikatakan bahwa kita “menyediakan” 90% atau 95% informasi dari data yang tersedia
Seleksi fitur menggunakan PCA
Vektor asal x dapat dibangun kembali menggunakan komponen prisipal-nya
PCA meminimalkan error dari rekonstruksi prinsipal tersebut:
Contoh PCA : Menghitung EigenValue
Misal diketahui dataset :
Mean global
No Fitur 1 Fitur 2 Kelas 1 P11 P12 Mobil 2 P21 P22 Rumah
EigenVektor
Vektor eigen didapatkan dengan persamaan :
0 Matrik kovarian :
EigenVektor
Solusi non trivial sistem persamaan ini adalah :
dimana a adalah bilangan sembarang yang tidak nol.
Solusi non trivial sistem persamaan ini adalah :
EigenVektor
Jadi Vektor eigen globalnya adalah :
Evaluasi Error dan Penentuan Jumlah K
Transformasi data, fitur
Tentukan nilai K dengan 90% informasi data yang kita gunakan
Dari nilai K yang ditentukan akan diperoleh fitur yang dijadikan sebagai proses pengenalan pola
x x ˆ
k k
U
x
Diskusi
Tentukan hasil transformasi dataset berikut !
No Fitur 1 Fitur 2 Fitur 3 Kelas
1 8 3 4 Apel
Latihan
Tentukan hasil transformasi dataset berikut dengan Threshold = 95% untuk nilai K !
No Fitur 1 Fitur 2 Fitur 3 Kelas
1 10 7 2 Padi
2 6 5 4 Jagung
3 2 3 6 Gandum
Ketentuan Baru
Bagi kelompok yang datasetnya banyak yang kualitatif silakan ganti dataset
Bagi kelompok yang fiturnya melebihi 10 maka hilangkan fitur yang lain dan jadikan hanya 10 fitur saja atau cari dataset yang memiliki fitur maksimal 10 fitur
Tugas