Pengenalan Machine Learning dan Jaringan Saraf Tiruan

(1)

GUNADARMA UNTUK INDONESIA 1 http://www.gunadarma.ac.id

UNIVERSITAS GUNADARMA

ALGORITMA

DEEP LEARNING

PERTEMUAN KE 1 – PENGENALAN MACHINE LEARNING

D A N J A R I N G A N S A R A F T I R U A N

(2)

UNIVERSITAS GUNADARMA

R P S

JARINGAN SARAF TIRUAN DALAM ML

04

PENDEKATAN TRADISIONAL DAN MACHINE LEARNING

01

KONSEP MACHINE LEARNING

02

KONSEP

JARINGAN SARAF TIRUAN

0 3

(3)

PENDEKATAN TRADISIONAL DAN MACHINE LEARNING

01

UNIVERSITAS GUNADARMA

(4)

Belajar dari Data

Dunia didorong oleh data.

• Pusat penelitian iklim Jerman menghasilkan 10 petabyte per tahun

• Google memproses 24 petabyte per hari

• Large Hadron Collider menghasilkan 60 gigabyte per menit (~ 12 DVD)

• Ada lebih dari 50 juta transaksi kartu kredit sehari di USA saja.

UNIVERSITAS GUNADARMA

(5)

Belajar dari Data

(6)

Belajar dari Data

Data direkam dari beberapa fenomena dunia nyata.

Apa yang mungkin ingin kita lakukan dengan data itu?

• Ramalan

• Apa yang bisa kita prediksi tentang fenomena ini?

• Deskripsi

• Bagaimana kita bisa menggambarkan / memahami fenomena ini dengan cara baru?

(7)

Belajar dari Data

Bagaimana cara mengekstrak pengetahuan dari data untuk membantu manusia mengambil keputusan?

Bagaimana kita bisa mengotomatisasi keputusan dari data?

Bagaimana kita dapat menyesuaikan sistem secara dinamis untuk memungkinkan pengalaman pengguna yang lebih baik?

Write code to explicitly do the

above tasks

Write code to make the computer learn how to do the tasks

(8)

Dataset Problem

PROGRAM STUDI INFORMATIKA UNIVERSITAS GUNADARMA

(9)

Anjing dan Kain Pel

PROGRAM STUDI INFORMATIKA UNIVERSITAS GUNADARMA

(10)

Chiuahua dan Kue Muffin?

PROGRAM STUDI INFORMATIKA

0

(11)

Background

Manusia telah lama

• memimpikan mesin yang dapat "berfikir", bahkan sejak zaman Yunani kuno, seperti Talos dalam mitos Yunani kuno.

• Talos digambarkan sebagai automaton (semacam robot) yang terbuat dari perunggu yang diciptakan untuk melindungi Eropa.

(12)

Background

Keingintahuan manusia terus berlanjut sampai komputer pertama kali ditemukan, para

insinyur dan ilmuan bertanya- tanya apakah komputer suatu

hari mampu "berfikir".

Rasa ingin tahu tersebut telah melahirkan salah satu bidang

ilmu komputer yang disebut kecerdasan buatan (Artificial

Intelligence).

Kecerdasan buatan adalah studi tentang teori dan pengembangan sistem komputer agar mampu melakukan tugas-tugasyang dahulu hanya dapat dilakukan oleh manusia.

UNIVERSITAS GUNADARMA

(13)

PENGANTAR MACHINE LEARNING

01

Pendekatan Tradisional

(14)

01

Pendekatan Machine Learning

(15)

KONSEP

MACHINE LEARNING

02

(16)

Definisi dan Konsep Dasar

UNIVERSITAS GUNADARMA

1 Definisi

Machine Learning adalah kemampuan sistem

komputer untuk belajar dan meningkatkan kinerjanya dari pengalaman tanpa diprogram secara eksplisit.

2 Konsep Dasar

Algoritma, data, dan model

adalah komponen kunci dalam

machine learning. Tujuannya

adalah mengidentifikasi pola

dan membuat prediksi yang

akurat.

(17)

Supervised Learning

Algoritma yang menggunakan data berlabel untuk belajar membuat prediksi, seperti

regresi dan klasifikasi.

Tujuannya adalah memberi label data baru dengan benar

01

UnSupervised Learning

Algoritma yang tidak membutuhkan data berlabel, seperti clustering dan pengurangan dimensi.

Tujuannya adalah untuk mengkategorikan pengamatan

02

Reinforcement Learning

Algoritma yang belajar melalui interaksi dengan

lingkungan dan pengambilan keputusan

yang mengoptimalkan penghargaan.

Tujuannya adalah untuk melakukan tindakan yang

lebih baik

03

Jenis Machine Learning

(18)

Supervised Learning

(19)

Supervised Learning

1 Id entifikasi M asalah

Menetapkan tujuan dan memahami data yang tersedia.

2 Persiap an D ata

Membersihkan, mengekstraksi, dan memformat data untuk digunakan dalam model.

3 Pem b uatan M od el

Memilih algoritma yang sesuai dan melatih model

untuk membuat prediksi.

(20)

Supervised Learning Framework

Alat Penggunaan Bahasa

Scikit-Learn Classification,

Regression, Clustering

Python Spark MLlib Classification,

Scala, R, Java

Weka Classification,

Java

Caffe Neural Networks C++, Python

TensorFlow Neural Networks Python

(21)

Supervised Learning

Algoritma Machine Learning Data

Input

Data Ouput

Tersedia Tersedia

(22)

Supervised Learning

• Tipe Tugas dari Supervised Learning adalah Klasifikasi

• Tugas khas lainnya adalah memprediksi nilai numerik target, seperti harga mobil, diberikan serangkaian fitur (jarak tempuh, usia, merek, dll.) Yang disebut prediktor. Tugas semacam ini disebut regresi. Untuk melatih sistem, Anda perlu memberikan banyak contoh mobil, termasuk prediktor dan labelnya (mis., Harga mereka).

(23)

Linear Regression

Decision Trees

Support Vector Machines

K-Nearest Neighbor

Neural Networks

01 02 03

04 05

UNIVERSITAS GUNADARMA

Algoritma Supervised Learning

(24)

Algoritma supervised machine learning

• 1. Clasification

1. Two Class Clasification

• Logistic Regression (Fast)

• Decision Tree (Fast)

• Decision jungle(Accurate)

• SVM (Accurate) (>100 features)

• Boosted Decision Tree (Fast - Large memory)

• Bayes point machine (Fast) 2. Multi Class Clasification

• Logistic Regression (Fast)

• Random Forest (Accurate)

• Gradient Boosting Tree (Accurate)

• Naive Bayes (Big Data)

• Decision jungle(Accurate)

2. Regression

• Linear Regression (Fast)

• Random Forest (Accurate)

• Gradient Boosting Tree (Accurate)

• Ordinal regression

• Bayesian linear regression

• Boosted Decision Tree (Fast - Large memory)

• SGD Regressor (<100K rows)

• Lasso/ ElasticNet (Few Features)

• RidgeRegression

• SVR(kernel=linear/ rbf)

• EnsembleRegressors 3. Anomaly Detection

• One Class SVM (support vector machine)

• PCA based Anomaly Detection

• Time Series Anomaly Detection UNIVERSITAS GUNADARMA

(25)

UNIVERSITAS GUNADARMA

(26)

Tahapan

Pengolahan Data

Supervised Learning

(27)

Data Acquisition

(28)

Pembersihan Data

Data Acquisition

Data Cleaning

(29)

Pembagian Data

Data Acquisition

Data Cleaning

Test

Train

(30)

Training Data

Data Acquisition

Data Cleaning

Test

Train Train

Model

(31)

Data Acquisition

Data Cleaning

Test

Train Train

Model

Evaluate Model

UNIVERSITAS GUNADARMA

(32)

Adjust Model Parameters

Data Acquisition

Data Cleaning

Test

Train Train

Model

Evaluate Model

(33)

Baru

Data

Acquisition

Data Cleaning

Test

Train Train

Model

Evaluate Model

Adjust Model Parameters

Deploy Model

(34)

UnSupervised Learning

(35)

Unsupervised Learning

Algoritma Machine Learning Data

Input

Data Ouput

Tersedia Tidak Tersedia

35

(36)

Unsupervised Learning

• Tipe unsupervised learning adalah C luster

• Contohnya implementasi fraud pada kartu kredit

• Dapat dikombinasikan dengan algortima supervised

(37)

Data

Acquisition

Data

Cleaning Train Train

Model

Evaluate Model

Deploy Model

(38)

Menyederhanakan data dengan

mempertahankan informasi penting untuk analisis dan visualisasi.

Pengurangan Dimensi

Menemukan hubungan tersembunyi dalam data untuk menemukan wawasan baru.

Asosiasi

Mengelompokkan data ke dalam kelompok berdasarkan kemiripan tanpa menggunakan label.

Clustering

Mengidentifikasi pola data yang menyimpang dari kebiasaan untuk mendeteksi anomali.

Anomali Deteksi

Unsupervised Learning

0 1

0

2 0 0 3

4

(39)

Algoritma UNsupervised machine learning

• Clustering

1. K-means Clustering 2. K-modes (Categorical

variables)

3. DBScan (predict the number of clusters automatically) 4. OPTICS (predict the number

of clusters automatically)

• Asociation

1. Apriori

• Dimension Reduction

1. PCA

2. Singular value decomposition

• Recommendation

1. Matchbox Recommender

• Computer Vision

1. OpenCV Library

• Text Analytic

1. Named Entity Recognition 2. Sentimental Analysis

(40)

Reinforcement Learning

(41)

01

Manfaat Machine Learning

(42)

03

mengonversi potongan suara menjadi teks (misalnya Siri, Cortana, dan Alexa)

Pengenalan Ucapan

04

memberi label pada gambar dengan kategori yang sesuai (misalnya Google Photos)

Klasifikasi Gambar 01

mengubah huruf tertulis menjadi huruf digital

Pengenalan Tulisan Tangan

02

menerjemahkan bahasa lisan dan atau tulisan (misalnya Google Translate)

Terjemahan Bahasa

Aplikasi Machine Learning

05

memungkinkan mobil untuk melaju

Mengemudi Otonom

(43)

• Untuk klasifikasi gambar, piksel adalah fitur

• Untuk pengenalan suara, nada dan volume sampel suara adalah fitur

• Untuk mobil otonom, data dari kamera, sensor jangkauan, dan GPS adalah fitur

• Waktu dalam sehari adalah fitur yang tidak relevan saat mengklasifikasikan gambar

• Waktu dalam sehari penting dalam mengklasifikasikan email karena SPAM sering terjadi pada malam hari

• Piksel (data RGB)

• Data kedalaman (sonar, laser rangefinder)

• Pergerakan (nilai encoder)

• Orientasi atau Akselerasi (Giroskop, Akselerometer, Kompas)

Fitur adalah pengamatan yang digunakan untuk membentuk prediksi

Mengekstraksi fitur yang relevan penting untuk membangun model

Jenis Fitur Umum dalam Robotika

01 02 03

Fitur pada Machine learning

(44)

Diidentifika si dengan benar sebagai relevan

True Positive

Diidentifika si dengan benar sebagai tidak relevan

True Negative

Salah diberi label

sebagai relevan

False Positive

Salah diberi label

sebagai tidak relevan

False Negative

MENGUKUR KEBERHASILAN KLASIFIKASI

(45)

CONTOH: IDENTIFIKASI KUCING

Ramalan:

Gambar:

BENAR Positif

BENAR

Negatif PALSU Negatif

PALSU Positif

(46)

Precision, Recall, Dan Accuracy

Precision

Persentase label positif yang benar

Presisi = (# positif benar) / (# positif benar +

# positif salah)

Recall

Persentase contoh positif yang diberi label dengan benar

Recall = (# positif benar) / (# positif benar + # negatif salah)

Accuracy

Persentase label yang benar

Akurasi = (# positif benar + # negatif benar) / (# sampel)

UNIVERSITAS GUNADARMA

(47)

Data Latih

data yang digunakan untuk mempelajari model

Data Uji

data yang digunakan untuk menilai keakuratan model

Overfitting

Model bekerja dengan baik pada data pelatihan tetapi buruk pada data pengujian

01 02 03

Data Latih dan Uji

(48)

BIAS DAN VARIANS

perbedaan yang diharapkan antara prediksi model dan kebenaran

Skenario model BIAS

• Bias tinggi: model membuat prediksi yang tidak akurat pada data pelatihan

• Varians tinggi: model tidak dapat digeneralisasi ke kumpulan data baru

• Bias rendah: model membuat

prediksi akurat pada data pelatihan

• Varians rendah: model digeneralisasi

ke kumpulan data baru

seberapa besar perbedaan model di antara set pelatihan

Varians:

(49)

KONSEP

JARINGAN SARAF TIRUAN (JST)

03

(50)

Inspirasi Biologis

(51)

Artificial neural network (Neural Network) adalah sebuah sistem untuk pemrosesan informasi dengan “meniru” cara kerja sistem saraf biologis

JARINGAN SARAF (NEURAL NETWORK)

(52)

MENIRUKAN MODEL OTAK MANUSIA

Otak Manusia JST

Soma Node

Dendrites Input/Masukan

Axon Output/Keluaran

Synapsis Weight/ Bobot

Milyaran Neuron Ratusan Neuron

(53)

1. Bagaimana Seorang anak mengenali bis sekolah vs bis kota?

2. Bagaimana otak kita bekerja memahami hal tersebut tanpa harus mengingat dan belajar setiap hari (secara otomatis)?

➢Tubuh kita terdiri dari jaringan syaraf biologi yang saling terkoneksi

➢Dalam jaringan syaraf ini terdiri dari milyaran neuron yang saling terhubung

➢Neuron menunjukkan struktur graph ILUSTRASI

(54)

Teori graph dengan JST

▪ Graph terdiri dari sejumlah nodes dan koneksi / edge saling koneksi

▪ Setiap koneksi membawa signal dari satu nore ke node lainnya dengan ada level bobot / weight

▪ Bobot mengidentifikasikan

perpanjangan sinyal kuat atau tidak

▪ Sinyal ini ada yang + dan –

▪ Sinyal cukup penting untuk hasil akhir, misal: untuk klasifikasi pengenalan

objek

▪ Koneksi bobot ini yg akan dimanipulasi menggunakan algoritma

(55)

PENGGUNAAN NEURAL NETWORK

• Pemrosesan Sinyal

• Sistem kendali

• Pengenalan Pola

• Kedokteran

• Sintesa dan

Pengenalan suara

• Bisnis

(56)

Pemrosesan sinyal

• Menghapus

gangguan suara

• Menghapus gema suara

(57)

Sistem kendali

Kendali robot

(58)

Pengenalan Pola

Pengenalan Huruf Pengenalan gambar

(59)

Kedokteran

• Diagnosa Penyakit

(60)

Sintesa dan Pengenalan suara

• Sintesa suara

• Pengenalan suara

(61)

Bisnis

• Prediksi

harga saham

• Prediksi kegagalan bisnis

(62)

ARSITEKTUR JARINGAN SARAF

UNIVERSITAS GUNADARMA

(63)

FUNGSI AKTIVASI

– Fungsi Aktivasi diterapkan pada input di setiap neuron

– Fungsi aktivasi yang umum adalah Sigmoid

(64)

Instance

direpresentasikan dalam pasangan attribute-value yang banyak

Target output bisa bernilai diskrit, real, atau vector

(diskrit/real)

Penggunaan

representasi simbolik, misalnya decision tree

Data training bisa mengandung error

Tidak ada batasan waktu pelatihan

Dibutuhkannya evaluasi yang cepat terhadap proses pembelajaran

Karakteristik Problem Jaringan Saraf

Neural network bisa menyelesaikan problem yang mempunyai karakteristik :

Tidak mementingkan kemampuan manusia untuk mengerti

proses pembelajaran

(65)

INFERENSI

0.5

0.9

-0.3

H1

H2

H3

O1

O2

H1 Weights = (1.0, -2.0, 2.0)

H2 Weights = (2.0, 1.0, -4.0)

H3 Weights = (1.0, -1.0, 0.0)

O1 Weights = (-3.0, 1.0, -3.0)

O2 Weights = (0.0, 1.0, 2.0)

(66)

INFERENSI

0.5

0.9

-0.3

.13

.96

.40

O1

O2

H1 Weights = (1.0, -2.0, 2.0) H2 Weights = (2.0, 1.0, -4.0) H3 Weights = (1.0, -1.0, 0.0) O1 Weights = (-3.0, 1.0, -3.0) O2 Weights = (0.0, 1.0, 2.0)

H1 = S(0.5 * 1.0 + 0.9 * -2.0 + -0.3 * 2.0) = S(-1.9) = .13

H2 = S(0.5 * 2.0 + 0.9 * 1.0 + -0.3 * -4.0) = S(3.1) = .96

H3 = S(0.5 * 1.0 + 0.9 * -1.0 + -0.3 * 0.0) = S(-0.4) = .40

(67)

INFERENSI

H1 Weights = (1.0, -2.0, 2.0) H2 Weights = (2.0, 1.0, -4.0) H3 Weights = (1.0, -1.0, 0.0) O1 Weights = (-3.0, 1.0, -3.0) O2 Weights = (0.0, 1.0, 2.0)

O1 = S(.13 * -3.0 + .96 * 1.0 + .40 * -3.0) = S(-.63) = .35 O1 = S(.13 * 0.0 + .96 * 1.0 + .40 * 2.0) = S(1.76) = .85 0.5

0.9

-0.3

.13

.96

.40

.35

.85

(68)

FORMULASI MATRIX

(69)

PELATIHAN JARINGAN SARAF

• Melakukan inferensi pada set pelatihan

• Hitung kesalahan antara prediksi dan label aktual dari set pelatihan

• Tentukan kontribusi setiap Neuron terhadap kesalahan

• Ubah bobot Jaringan Saraf untuk meminimalkan kesalahan

Prosedur Pelatihan Jaringan Syaraf Tiruan UNIVERSITAS GUNADARMA

Kontribusi kesalahan dihitung menggunakan Backpropagation Minimalisasi kesalahan dicapai dengan Gradient Descent

(70)

Backpropagation

– Masalah: Bobot mana yang harus diperbarui dan berapa banyak?

Wawasan: Gunakan turunan kesalahan sehubungan dengan bobot untuk menetapkan “kesalahan”

(71)

Contoh Backpropagation

(72)

Gradient Descent

– Gradient Descent meminimalkan kesalahan jaringan saraf

Pada setiap langkah waktu kesalahan jaringan dihitung pada data pelatihan Kemudian bobot dimodifikasi untuk mengurangi kesalahan

–Gradient Descent berakhir ketika Kesalahannya cukup kecil

Jumlah langkah waktu maksimum telah terlampaui

(73)

JARINGAN SARAF KONVOLUSIONAL

(74)

JARINGAN SARAF KONVOLUSIONAL

(75)

MAX POOLING

1 0 2 2

1 3 0 1

3 1 4 1

2 0 2 1

3 2

3 4

2x2 Max

Pooling

(76)

JARINGAN SARAF DALAM MACHINE LEARNING

04

(77)

GUNADARMA UNTUK INDONESIA 77 http://www.gunadarma.ac.id Jaringan saraf

dapat beradaptasi dan belajar dari data,

memungkinkan penyelesaian masalah yang kompleks.

Kemampuan Adatif

Jaringan saraf dapat mengidentifikasi dan

mengklasifikasikan pola dalam data, berguna untuk tugas-tugas seperti pengenalan gambar.

Pengenalan Pola

Jaringan saraf dapat membuat prediksi dan pemodelan dengan akurasi yang tinggi, berguna untuk beragam aplikasi seperti peramalan

Prediksi dan Pemodelan

PENTINGNYA JARINGAN SARAF DALAM ML

(78)

CARA KERJA JARINGAN SARAF DALAM ML

Input 1

Data input dimasukkan ke dalam jaringan saraf.

2 Pemrosesan

Data tersebut diproses

melalui berbagai lapisan jaringan yang terdiri dari neuron-neuron.

Pembelajaran 3

Jaringan saraf belajar dari data dengan menyesuaikan bobot

koneksi antar neuron.

(79)

KEUNTUNGAN MENGGUNAKAN JARINGAN SARAF DALAM ML

1 Akurasi yang Tinggi

Jaringan saraf dapat mencapai tingkat akurasi yang sangat tinggi dalam berbagai tugas pembelajaran mesin.

2 Kemampuan

Generalisasi

Jaringan saraf dapat belajar dan mengenali pola-pola dari data baru yang belum pernah dilihat sebelumnya.

3 Efisiensi Komputasi

Dengan kemajuan teknologi, jaringan saraf dapat

diimplementasikan secara efisien pada perangkat keras modern.

4 Fleksibilitas

Jaringan saraf dapat diterapkan pada berbagai jenis masalah pembelajaran mesin, dari klasifikasi hingga prediksi.

(80)

• Carilah beberapa referensi terkait tentang penerapan ML dan JST sesuai tren saat ini

• Presentasikan hasil diskusi dengan kelompok pada pertemuan ke 2

Tugas kelompok

1 kelompk 5 mahasiswa/i

(81)

TERIMA KASIH

Tim Penyusun:

1. Dr. Winda Widya Ariestya 2. Dr. Reza Chandra

3. Wisnu Sukma Maulana