ANN : Beberapa Definisi
Valluru B. Rao dan Hayagriva V. Rao
1:
sebuah kelompok unit pengolah (group processing units) yang mana tiap subgrup mengerjakan perhitungannya secara independen dan memberikan hasilnya kepada sebuah subgroup lain, dan demikian seterusnya sehingga pada akhirnya, sebuah subgrup dari satu atau lebih
processing unit menentukan nilai output dari kelompok / network tersebut.
Bart Kosko (University of Southern
California)
2:
terdiri dari sekumpulan, unit-unit pengolahan sederhana (simple processing units) atau "neurons" yang dapat kita program untuk melakukan proses komputasi.
Li-Min Fu
3:
sebuah arsitektur paralel terdistribusi dengan banyak node dan connection (hubungan). Tiap connection
menghubungkan sebuah node ke node lainnya dan tiap connection mempunyai nilai bobot.
Laurene Fausett (Florida Institute of
Technology)
4:
sebuah sistem pengolahan informasi (oleh komputer) dengan sejumlah karakteristik performansi khusus yang biasanya hanya terdapat / dimiliki oleh jaringan syaraf biologis.
1
Rao, Valluru B. dan Rao, Hayagriva V., C++ Neural Networks and Fuzzy Logic, (New York: MIS:Press, 1993), p. 2.
2
Kosko, Bart, Neural Networks and Fuzzy Systems – a Dynamical System Approach to
Machine Intelligence, (Englewodd Cliffs: Prentice-Hall International, Inc., 1992), p. 13.
3Li Min Fu, Neural Networks in Computer Intelligence, (McGraw-Hill International, 1994), p.
18.
4Fausset, Laurene, Fundamentals of Neural Networks – Architectures, Algorithms, and Applications, (Englewood Cliffs: Prentice-Hall International, Inc., 1994), p. 3.
DARPA Neural Network Study
5:
sebuah sistem yang terdiri dari banyak elemen sederhana dan bekerja secara paralel, yang fungsinya ditentukan oleh: struktur jaringan tersebut; bobot dari garis-garis penghubungnya; dan mekanisme pengolahan dalam unit-unit tersebut.
Nigrin, A.
6:
sebuah jaringan yang terdiri dari elemen-elemen
sederhana dengan jumlah yang banyak dan mirip dengan jaringan saraf manusia. Tiap unit tersebut bekerja hanya pada informasi lokal yang didapatnya. Bahkan setiap elemen tersebut bekerja secara asynchronous, sehingga secara global tidak dalam waktu sistem yang sama.
Simon Haykin
7:
sejumlah besar unit yang tersebar secara paralel dan memiliki kemampuan alamiah untuk menyimpan
pengetahuan hasil dari percobaan dan kemudian akan menggunakannya di kemudian hari untuk memecahkan masalah, sehingga sistem ini dapat dianggap mirip dengan otak manusia, terutama jika dilihat dari dua aspek berikut: (1). Pengetahuan yang didapatkan oleh network tersebut adalah melalui proses belajar; dan (2). Bobot garis-garis penghubung antar neuron yang dikenal sebagai bobot
sypnatic berfungsi untuk menyimpan pengetahuan yang
diinginkan.
Jacek M. Zurada
8:
sistem seluler fisik yang secara fisik dapat memperoleh, menyimpan dan kemudian menggunakan pengetahuan dari pengalamannya.
5
1988, AFCEA International Press, p. 60.
6
1993, Neural Networks for Pattern Recognition, Cambridge, MA: The MIT Press, p. 11.
71994, Neural Networks: A Comprehensive Foundation, New York: Macmillan, p. 2. 81992, Introduction To Artificial Neural Systems, Boston: PWS Publishing Company, p. xv.
ANN : Overview
NN telah dan terus dikembangkan sebagai generalisasi dari model-model matematika dari kognitif manusia atau syaraf biologis, berdasar asumsi-asumsi berikut:
1. Pengolahan informasi terjadi dalam sejumlah elemen sederhana, yang disebut neurons.
2. Sinyal diterima/dikirim antar neuron melalui
connection links (link-link penghubung).
3. Setiap connection links memiliki weights (bobot)
masing-masing, yang dalam kebanyakan NN dikalikan dengan nilai sinyal yang ditransmisikan.
4. Setiap neurons menerapkan sebuah activation
function (fungsi aktivasi, yang biasanya non-linier)
pada inputnya (jumlah dari nilai sinyal input yang telah diberi bobot oleh semua connection links yang menuju dirinya) untuk menentukan sinyal outputnya.
Sebuah NN characterized by (dicirikan / ditera dari):
1. Pola connections antara neuron-neuron di dalamnya (arsitekturnya).
2. Metode untuk menentukan bobot-bobot dalam connectionsnya (algoritma learning atau algoritma trainingnya).
3. Fungsi Aktivasi yang digunakannya.
Neuron lebih lambat lima sampai enam kali lipat dari gerbang logika silikon:
suatu event dalam sebuah chip silikon terjadi pada range
nanodetik (10-9 detik)
sedangkan event dalam suatu neural terjadi dalam
millidetik (10-3 detik).9
Dalam otak manusia diperkirakan terdapat:
10 milliar neurons, dan
60 trilyun synapses atau koneksi antara neuron.
ANN : Sejarah Singkat
Jauh hari sebelumnya, Ramon y Cajal (1911) telah berupaya untuk mengetahui struktur dan cara kerja otak, dan
memperkenalkan ide tentang neuron sebagai suatu struktur dari otak.
Tahun 1940-an: The Beginning of Neural Nets
McCulloch-Pitts Neurons, oleh Warren McCulloch dan
Walter Pitts (1943).
Hebbian Learning Rule, yang ditawarkan oleh Donald O.
Hebb, seorang psychologist dari McGill University (1949).
Tahun 1950-an dan 1960an: The First Golden
Age of Neural Networks
Perceptrons, yang ditawarkan oleh Frank Rosenblatt
(1958).
Adaline, yang ditawarkan oleh Bernard Widrow dan
mahasiswanya Marcian (Ted) Hoff (1960) dengan The
Widrow-Hoff Learning Rule (untuk single-layer NN) yang
menjadi cikal bakal Backpropagation Rule (untuk multi-layer NN).10
Madaline, yang adalah perluasan multi-layer dari Adaline
(1960).
Tahun 1970-an: The Quiet Years
Self-Organizing Maps/NN (SOM) atau Kohonen Map,
suatu model Associative Memory NN dari Teuvo Kohonen (1972).
Karya-karya Penelitian yang luar biasa banyaknya dari Stephen Grossberg, direktur dari Center for Adaptive Systems at Boston University. Tercatat ia menulis 146 publikasi dari tahun 1967 s.d. 1988.
10Fausett, op.cit., pp. 24. Nama ADALINE tidak jelas berasal dari mana, ADAptive LInear NEuron, atau ADAptive LINEar System.
"Brain-State-in-a-Box", suatu penelitian lanjut dari
Associative Memory NN, oleh James Andreson, Brown University (1977).
Adaptive Resonance Theory 1 dan 2 (ART1 dan ART2),
oleh Gail Carpenter dan Stephen Grossberg (1985, 1987, 1990) adalah pengembangan lanjut teori Self-Organizing NN dari Kohonen.
Tahun 1980-an: Renewed Enthusiasm
Back Propagation, oleh David Parker (1985) dan LeCun
(1986), keduanya menawarkan secara independen, sebelum model ini menjadi sangat dikenal seperti pada saat ini.
Hopfield Nets, oleh John Hopfield (1982), penerima hadiah
Nobel bidang Fisika dari California Institute of Technology. Hopfield Nets merupakan Associative Memory Nets yang dapat menyelesaikan constraints satisfactions problems, seperti Traveling Salesman Problem.
Neocognitron, oleh Kunihiko Fukushima (1983) dari NHK
Laboratories, Tokyo, yang adalah NN khusus untuk character recognition. Arsitektur ini dianggap sebagai "state-of-the-art"nya handwritten recognition.
Boltzman Machine, non-deterministic NN yang perubahan
nilai bobot dan aktivasinya berdasarkan fungsi
probabilitas, oleh sejumlah peneliti (1983-1987). Ide dasarnya adalah Simulated Anealling dan Teori Pengambilan Keputusan Bayesian.
Implementasi Hardware, yang tekanannya adalah
improvisasi kapabilitas komputasinya. Dua contoh konkrit dalam aspek ini adalah Optical Neural Nets (1985) dan
ANN : McCulloch-Pitts Neurons
Konsep Umum
Model yang diperkenalkan oleh Warren McCulloch dan Walter Pitts (1943) dikenal sebagai arsitektur NN pertama. Secara umum sebuah neuron McCulloch-Pitts Y menerima sinyal dari sejumlah neuron lainnya.
Setiap connections, selain excitatory (dengan bobot w>0), bisa juga inhibitory (dengan bobot -p yang nilainya <0).11
Pada arsitektur neuron tunggal McCulloch-Pitts Y (Gambar 1), diasumsikan terdapat n unit, X1, X2, ..., Xn, yang
mengirim sinyal excitatory ke unit Y, dan terdapat m unit,
Xn+1, Xn+2, ..., Xn+m, yang mengirim sinyal inhibitory ke unit Y.
Fungsi aktivasi untuk unit Y adalah:
1 , jika y_in>=
θ
f(y_in) =0 , jika y_in<
θ
dimana y_in adalah total sinyal input yang diterima dan q adalah thresholdnya.
Gambar 1 -- Arsitektur neuron tunggal McCulloch-Pitts, Y
11
dalam pengertian sederhana excitatory adalah penguat, perangsang, pembangkit; sedangkan
inhibitory adalah perintang, pelemah.
Fungsi-fungsi Logika
Fungsi-fungsi Logika banyak digunakan sebagai contoh sederhana pada berbagai arsitektur NN, misalnya AND, OR, dan AND NOT.
Gambar 2 -- Sebuah neuron tunggal McCulloch-Pitts untuk mewujudkan fungsi logika AND.
Gambar 3 -- Sebuah neuron tunggal McCulloch-Pitts untuk mewujudkan fungsi logika OR.
Gambar 4 -- Sebuah neuron tunggal McCulloch-Pitts untuk mewujudkan fungsi logika AND NOT. Ini adalah contoh
dimana kedua nilai inputnya tidak simetris (pada kasus x1=1, x2=0, dan x1=0, x2=1, hasilnya berbeda).
Isyu Utama Arsitektur ini
Jauh hari telah memberikan "Ide
Dasar" untuk pengembangan
sejanjutnya pada:
Penentuan nilai yang tepat untuk bobot dan
threshold-nya. Inilah prinsip utama mengapa arsitektur ini harus dipelajari. Sama sekali belum membicarakan training.
Kombinasi lebih banyak neuron-neuron sederhana ke dalam sebuah sistem neural adalah sumber dari
kekuatan komputasinya (akan meningkatkan
performasinya). Terbukti bahwa dengan menggunakan
neuron-neuron sederhana untuk fungsi logika sederhana sebagai blok dasar pembentuknya (building blocks),
fungsi/aplikasi lainnya yang sedikit lebih kompleks, seperti
XOR dan "Hot and Cold Model" dapat diwujudkan.
Aplikasi 1 : Fungsi Logika XOR
Gambar 5 -- Sebuah NN (neural network) McCulloch-Pitts (banyak neuron) untuk mewujudkan fungsi logika XOR.
Network pada gambar 5 mewujudkan fungsi logika XOR yang dapat diekspresikan sebagai:
Dengan demikian x1 XOR x2 dapat diwujudkan dengan
network 2-layer. Layer pertama (layer-1) mewujudkan z1 = x1 AND NOT x2 dan sekaligus z2 = x1 AND NOT x2. Sedangkan layer-2 hanya berisi y = z1 OR z2.
Unit z1, z2, dan y, masing-masing memiliki nilai threshold 2.
Aplikasi 2 : Hot and Cold
Dikenal baik dan merupakan physiological phenomenon (fenomena fisik) yang menarik, bahwa jika sebuah stimulus dingin diberikan pada kulit manusia dalam periode waktu yang sangat singkat, manusia justru akan merasakan panas. Namun demikian, bila stimulus dingin yang sama diberikan dalam periode waktu yang lebih lama, manusia akan
merasakan dingin.
Gambar 6, neuron-neuron X1 dan X2 menyajikan receptors (input) untuk panas dan dingin, sedangkan Y1 dan Y2
adalah perceptorsnya (output).12 Z1 dan Z2 adalah
neuron-neuron pembantu yang diperlukan pemodelannya.
Contoh ini secara original disajikan oleh McCulloch dan Pitts.
12
receptors adalah penerima (input), sedangkan perceptors adalah perasa, yang
