Course: Machine Learning | Dr. rer. nat. Hendri Murfi 5 Neural Networks

Neural Networks

Departemen Matematika, Universitas Indonesia – Depok 16424 Dr. rer. nat. Hendri Murfi

Intelligent Data Analysis (IDA) Group Intelligent Data Analysis (IDA) Group

Telp. +62-21-7862719/7863439, Fax. +62-21-7863439, Email. hendri@ui.ac.id

MMA10991 Topik Khusus - Machine Learning

2

Machine Learning

y(x,w)

Klasifikasi, regresi, clustering, dll

x₁ x₂

:

x_D

Input Model/Metode Output

• Preprocessing: pemilihan/ekstraksi fitur dari data, misal x_i = (x₁, x₂, .., x_D)T

• _{Learning: penentuan parameter metode, misal w, berdasarkan data}

pelatihan

• _{Testing: pengujian metode dengan data penguji (testing data) yang tidak}

3 Diberikan data pelatihan x_i , i = 1 sd N, dan/ataut_i , i = 1 sd N

• Supervised Learning. Data pelatihan disertai target, yaitu {x_i, t_i}, i = 1 sd N. Tujuan pembelajaran adalah membangun model yang dapat

menghasilkan output yang benar untuk suatu data input, misal untuk regresi, klasifikasian, regresi ordinal, ranking, dll

• Unsupervised Learning. Data pelatihan tidak disertai target, yaitu x_i, i = 1 sd N. Tujuan pembelajaran adalah membagun model yang dapat

menemukan komponen/variabel/fitur tersembunyi pada data pelatihan, yang dapat digunakan untuk: pengelompokan (clustering), reduksi

dimensi (dimension reduction), rekomendasi, dll

Learning

4

Supervised Learning

• _Regresi

– Nilai output t_i bernilai kontinu (riil)

– Bertujuan memprediksi output dari data baru dengan akurat

• _Klasifikasi

– Nilai output t_i bernilai diskrit (kelas)

5

Model Linear

• _{Model yang umum digunakan untuk menyelesaikan masalah klasifikasi dan}

regresi adalah model linear, yaitu model yang merupakan kombinasi linear dari fungsi basis:

dimana x = (x₁, x₂, ..., x_D)T _{adalah variabel input, dan w = (w}

fungsi polinomial, fungsi gaussian, fungsi sigmoidal, dll

6

• _{Model linear memiliki sifat-sifat yang penting baik dari aspek}

komputasi maupun analitik. Penggunaan model linear dengan pendekatan parametrik pada metode klasik memiliki keterbatasan pada aplikasi praktis disebabkan oleh kutukan dimensi (curse of dimensionality)

untuk model beorde M dan jumlah fitur (dimensi) D, maka pertumbuhan jumlah parameter w proposional dengan DM

Model Linear

7 Pendekatan Alternatif

• _{Pendekatan alternatif adalah menentukan jumlah fungsi basis}

didepan, akan tetapi masing-masing adaptif terhadap semua data pembelajaran.

• _{Dengan kata lain, menggunakan bentuk parametrik dimana}

nilai-nilai parameter adaptif selama proses training.

• _{Contoh metode yang menggunakan pendekatan ini adalah neural}

networks (NN).

Model Linear

8

• _{Neural Networks (NN), dikenal juga dengan istilah multilayer}

perceptron, memiliki bentuk umum sbb:

dimana w_kj, w_ji adalah parameter bobot; w_k0, w_j0 adalah parameter bias; h(.), σ_{(.) adalah fungsi aktivasi.}

• _{Sehingga, secara sederhana NN adalah suatu fungsi nonlinear}

dari suatu himpunan variabel input {x_i} ke himpunan variabel

output {y_k} yang dikontrol oleh parameter bobot dan bias Definisi

Neural Networks

y

_k



x , w

 =  

∑

j=1

M

w

_kj2

h



∑

i=1

D

9

• _{Tahap 1:}

• _{Tahap 2:}

• _{Tahap 3:}

• _{Tahap 4:}

Representasi Diagram: Feed-forward Neural Networks

Neural Networks

• _{Untuk simplifikasi model, notasi parameter bobot dan bias dapat}

11

• _{Pada hidden units, fungsi aktivasi nonlinear h(.) yang sering digunakan}

adalah fungsi sigmoid logistik, yaitu z_j = h(a_j) = tanh(a_j), dimana:

• _{Pada output units, untuk masalah regresi, fungsi aktivasi yang biasa}

digunakan adalah fungsi identitas, yaitu: y_k = a_k

sementara untuk masalah klasifikasi, fungsi aktivasi yang biasa

digunakan adalah fungsi sigmoid logistik, yaitu y_k = σ_(a

k), dimana:

Fungsi Aktivasi

Neural Networks

  = −

−

 −

   =



− 

12 Sumber Inspirasi: Jaringan Syaraf Biologis

13

• _{Diberikan data training {x}

n, tn}, dimana n = 1, ..., N, dan struktur

neural networks yang digunakan adalah jaringan 2 lapis (two-layer

network).

• _{Nilai-nilai parameter bobot diperoleh dengan meminimumkan}

fungsi error sbb:

Training • _{Error untuk setiap output unit:}

• _{Error untuk setiap hidden unit:}

• _{Perubahan bobot pada lapisan}

pertama dan kedua:

Training Algorithm: Error Backpropagation

15

• _{Secara garis besar, algoritma backpropagation adalah sbb:}

– Insialisasi nilai parameter bobot

– Feedforward data pembelajaran

– Backpropagation dari error

– Update nilai parameter bobot

– Ulang ke-4 langkah diatas sampai kriteria penyetop terpenuhi, misal: jumlah iterasi, waktu, perubahan nilai bobot, error pada data testing meningkat

Algoritma Backpropagation

Neural Networks

Referensi

• _{Bishop, C. H., Pattern Recognition and Machine Learning, Springer,}