BAB 2 KAJIAN PUSTAKA DAN DASAR TEORI 7
2.3 Jaringan Syaraf Tiruan
Jaringan Syaraf tiruan yang biasanya disingkat JST, adalah model matematika atau model komputasi yang diinspirasi oleh struktur fungsional dari jaringan Syaraf biologi (Irawan, 2015). Pengembangan model dilakukan
dengan menentukan hubungan antar neuron-neuron. Pola hubungan ini berkaitan erat dengan hubungan antar layer. Setiap layer terdiri dari sekumpulan neuron. Selain itu juga ada hidden layer yang terdiri dari neuron tersebembunyi. Arsitektur jaringan Syaraf tiruan dapat dilihat pada Gambar 2.1.
Gambar 2.1: Arsitektur Jaringan Syaraf Tiruan
1. Input Layer
Input layer menerima masukan dari luar jaringan Syaraf. Aktivasi dari neuron-neuron lapisan ini menunjukkan informasi dasar yang kemudian digunakan dalam jaringan Syaraf tiruan.
2. Hidden Layer
Hidden Layer menerima dan mengirim sinyal ke jaringan Syaraf. Aktifasi setiap neuron hidden layer ditentukan oleh aktivasi dari neuron-neuron masukan dan bobot dari koneksi antar neuron-neuron masukkan dan neuron-neuron pada hidden layer.
3. Output Layer
Output layer mengirim data ke jaringan Syaraf dan menghasilkan nilai output. Nilai output ini biasanya berupa nilai diskrit yang merupakan hasil pengolahan dari data masukan.
Secara matematis model jaringan Syaraf seperti yang diilustrasikan pada Gambar 2.1 dapat dituliskan sebagai berikut (Fauset, 1994):
Y = g(Z1β1+ ... + Zpβp+ ... + Zjβj) (2.3) dimana Zj adala nilai neuron-neuron pada hidden layer yang telah dikenakan fungsi aktivasi, dan Y adalah nilai neuron-neuron pada output layer yang telah dikenakan fungsi aktivasi.
2.3.1 Fungsi Aktivasi
Salah satu operasi dasar dalam jaringan syaraf tiruan adalah aktivasi. Secara umum ada beberapa fungsi aktivasi yang sering digunakan (Kusumadewi, S., 2004):
1. Fungsi Linear (Identitas)
Fungsi linear memiliki nilai output yang sama dengan nilai inputnya. Fungsi linear dirumuskan sebagai berikut:
g(x) = x (2.4)
2. Fungsi Undak Biner (Step Function)
Untuk mengkonversikan input dari nilai suatu variabel ke suatu output biner, jaringan dengan lapisan tunggal sering menggunakan fungsi undak biner (step function). Fungsi undak biner dirumuskan sebagai berikut:
g(x) = 0, jika x < 0 1, jika x ≥ 0 (2.5) 3. Fungsi Bipolar
Pada dasarnya fungsi bipolar mirip dengan fungsi undak biner, hanya saja output yang dihasilkan berupa 1 atau -1. Fungsi bipolar dirumuskan sebagai berikut: g(x) = 1, jika x ≥ 0 −1, jika x < 0 (2.6)
4. Fungsi Sigmoid Biner
Fungsi sigmoid biner pada jaringan syaraf tiruan yang membutuhkan nilai output yang terletak pada interval 0 sampai 1. Fungsi sigmoid biner dirumuskan sebgai berikut:
g(x) = 1
5. Fungsi Sigmoid Bipolar
Pada dasarnya fungsi sigmoid bipolar mirip dengan fungsi sigmoid biner, hanya saja output yang dihasilkan berupa 1 atau -1. Fungsi sigmoid bipolar dirumuskan sebagai berikut: sebgai berikut:
g(x) = 1 − e −x
1 + e−x (2.8)
2.3.2 Normalisasi dan Denormalisasi
Dalam proses penerapan jaringan syaraf tiruan, sering kali data set yang tersedia tidak dapat langsung diproses. Perlu dilakukan normalisasi, penskalaan atau transformasi pada data yang ada sebelum dapat diproses dalam jaringan syaraf tiruan.
• Normalisasi
Kebanyakan Jaringan syaraf tiruan dan dan kecerdasan buatan lainnya, memerlukan data ditransformasi ke skala tertentu sebelum diproses lebih lanjut. Biasanya dataset akan ditransformasi ke dalam rentang 0 hingga 1 atau -1 hingga 1. Proses transformasi ini sering juga disebut dengan istilah normalisasi. Setiap data harus ditransformasi ke dalam rentang yang sama. Untuk melakukan transformasi dataset, dapat digunakan persamaan 2.9 berikut (Eberhart R.C., dan Shi, Y, 2007) :
A0ki = (Aki− Akmin)(Hi − Lo)
(Akmax− Akmin) + Lo (2.9)
Dimana, A0kiadalah data ke-i dari vektor input yang telah ditransformasi ke rentang yang diinginkan; Aki adalah data ke-i dari vektor input sebelum ditransformasi; Akmax adalah nilai maskimum dari data sebelum ditransformasi; Akmin adalah nilai minimim dari data sebelum ditransformasi; (Akmax − Akmin) adalah pembagi, yang menormalisasi data sebenarnya (sebelum transformasi) ke dalam rentang 0-1;Hi adalah batas atas dari rentang yang diharapkan setelah normalisasi; Lo adalah batas bawah dari rentang yang diharapkan setelah normalisasi;dan (Hi − Lo) adalah faktor penskalaan yang memetakan nilai-nilai pada vektor input ke rentang yang diharapkan.
• Denormalisasi
Denormalisasi merupakan kebalikan dari proses normalisasi. Jika pada proses normalisasi data yang ada (data sebenarnya) ditransformasi ke
dalam rentang tertentu, maka proses denormalisasi adalah proses yang menghasilkan output berupa data real-world. Dengan kata lain, proses denormalisasi mentransformasi kembali nilai yang jaringan syaraf tiruan ke domain aslinya. Denormalisasi dapat dilakukan dengan persamaan 2.10 berikut (Eberhart R.C., dan Shi, Y, 2007) :
Cki0 = (Cki− Lo)(Ckmax− Ckmin)
(Hi − Lo) + Ckmin (2.10)
Dimana Cki0 adalah elemen ke-i dari vektor output sebenarnya (data real-world ); Cki adalah elemen dari elemen ke-i dari vektor output jaringan (belum didenormalisasi) ;Lo adalah nilai aktivasi jaringan minimum; Hi adalah nilai aktivasi jaringan maksimum; Ckmax adalah batas atas domain output; Ckmin adalah batas bawah domain output; dan (Ckmax − Ckmin) adalah faktor skala yang memetakan output dari jaringan ke domain data sebenarnya.
2.3.3 Extreme Learning Machine
Extreme learning machine (ELM) merupakan metode pembelajaran baru dari jaringan saraf tiruan. Metode ini pertama kali diperkenalkan oleh Huang (2004). Sebagai suatu jaringan saraf tiruan feedforward dengan hidden layer tunggal (SLFNs), Metode ELM memiliki beberapa kelebihan dibandingkan dengan metode SLFNs terdahulu yaitu :
1. ELM memiliki kecepatan belajar yang jauh lebih baik. Hal ini dikarenakan dalam prosesnya tidak diperlukan iterasi sebagaimana yang diperlukan dalam metode SLFNs konvensional.
2. Tidak seperti SLFNs konvensional yang mudah terjebak pada minima lokal, ELM memiliki kinerja generalisasi yng lebih baik.
3. Pada metode ELM dapat digunakan fungsi aktivasi yang tidak terdiferensiasi.
Metode ELM mempunyai model matematis yang berbeda dari jaringn syraf tiruan feedforward. Model matematis dari ELM lebih sederhana dan efektif. Untuk N jumlah sampel yang berbeda (xi, yi), dimana xi = [xi1, xi2, ..., xin]T ∈ Rn dan yi = [yi1, yi2, ..., yin]T ∈ Rm, SLFNs standar dengan jumlah layar tersmbunyi sebanyak ˜N dengan fungsi aktifasi g(x) secara matematis dapat
dimodelkan sebagai berikut (Huang dkk, 2006): ˜ N X j=1 βjg(wj · xi+ bj) = oi, i = 1, ..., N, (2.11)
dimana wj = [wj1, wj2, ..., wjn]T adalah matriks bobot yang menghubungkan antara neuron input dan neuron pada layar tersembunyi, βj = [βj1, βj2, ..., βjm]T adalah vektor bobot yang menghubungkan neuron pada layar tersembunyi dengan neuron output dan bj adalah bias dari neuron pada layar tersembunyi. wj · xi merupakan hasil kali dalam wj dan xi. Dengan asumsi bahwa error yang diharapkan adalah 0 maka ini berarti PN
i=1koi − yik = 0, sehingga persamaan 2.11 menjadi:
˜ N X
j=1
βjg(wj · xi+ bj) = yj, i = 1, ..., N, (2.12)
Selanjutnya persamaan 2.12 dapat dapat dituliskan dalam bentuk:
Hβ = Y, (2.13) dimana H = g(w1· x1+ b1) · · · g(wN˜ · x1+ bN˜) .. . · · · ... g(w1· xN + b1) · · · g(wN˜ · xN + bN˜) (2.14) β = β1 .. . βN˜ ˜ N×m dan Y = y1 .. . yN N ×m (2.15)
Dalam Huang (2006), H disebut matriks hidden layer output dari jaringan saraf tiruan, dimana kolom ke-i dari matriks H adalah output dari neuron pada layar tersembunyi yang bersesuaian dengan x1, x2, · · · , xN.
Pada aplikasinya proses pelatihan pada metode ELM bertuuan untuk mencari nilai bobot β. Dengan memodifikasi persamaan 2.13 maka nilai β
dapat diperoleh.
β = HdY (2.16)
dimana Hd adalah Moore-Penrose Generalized inverse dari matriks H. Berdasarkan teori tersebut kemudian disusun algortima ELM sebagai berikut: Diberikan sebuah training set N = {(xi, yi)|xi ∈ Rn, yi ∈ Rm, i = 1 · · · N } fungsi aktifasi g(x) dan neuron pada layar tersembunyi sebanyak ˜N.
Step 1 : Inisiasi bobot wi dan bias bi secara random dimana i = 1, · · · , ˜N Step 2 : Hitung matriks Hidden layer output H
Step 3 : hitung bobot output β
β = HdY dimana Y = [y1, · · · , yN]T