Steepest Descent (Ascent)

[MAS61134] 2 sks

Dosen Pengampu:

Nur Silviyah Rahmi, S.Si., M.Stat.

Dwi Ayu Lusia, S.Si., M.Si.

Prasyarat : MAS62114 (PAN) MAS61321 (PL)

11.7 pdf hal.663

Outline

• Steepest Descent (Ascent)

• Jarak dan Normalisasi

• Vektor Gradien

• Algoritma Gradien (Steepest)

─Ilustrasi kontur

─Ilustrasi 3D

• Contoh

• Latihan pertemuan 9

Steepest Descent (Ascent)

• Menentukan titik min (maks) pada fungsi non linier tanpa kendala dengan n peubah

• Titik tersebut adalah titik di mana vektor gradien bernilai nol di segala arah

• Dipakai ketika pembuat nol dari vektor gradien tidak dapat ditentukan secara analitik

Jarak dan normalisasi

• Definisi: Given a vector 𝒙 = 𝑥₁, 𝑥₂, … , 𝑥_𝑛 ∈ 𝑅^𝑛, the length of 𝒙 (written 𝑥 ) is

𝑥 = 𝑥₁² + 𝑥₂² + ⋯ + 𝑥_𝑛^{2 12}

• Setiap vektor berdimensi n mewakili satu arah dalam ruang Rⁿ

• Namun, untuk satu arah, terdapat tak hingga vektor yang mewakili arah tersebut

• Setiap arah dalam ruang Rⁿ dideskripsikan oleh vektor normal

• Normalisasi dari 𝒙 adalah ^𝑥

𝒙

Jarak dan normalisasi

• Contoh 1: vektor (1,1), (2,2), dan (3,3) merepresentasikan tujuan yang sama (perpindahan sudut positif 45⁰) pada R². tentukan vektor

normalisasinya!

Penyelesaian:

• vektor (1,1)→ 𝑥 = 1² + 1^{2 12} = 2¹² sehingga normalisasi ¹

2^{1 2Τ} , ¹

2^{1 2Τ}

• vektor (2,2)→ 𝑥 = 2² + 2^{2 12} = 8¹² = 2 ∙ 2¹² sehingga normalisasi

2

2∙2^{1 2Τ} , ²

2∙2^{1 2Τ} = ¹

2^{1 2Τ} , ¹

2^{1 2Τ}

• vektor (3,3)→ 𝑥 = 3² + 3^{2 12} = 18¹² = 3 ∙ 2¹² sehingga normalisasi

3

3∙2^{1 2Τ} , ³

3∙2^{1 2Τ} = ¹

2^{1 2Τ} , ¹

2^{1 2Τ}

• Maka vektor normalisasi untuk vektor (1,1), (2,2), dan (3,3) adalah

1

2^{1 2Τ} , ¹

2^{1 2Τ}

Vektor Gradien

• Definisi: the Gradient vector for 𝑓 𝑥₁, 𝑥₂, … , 𝑥_𝑛 , written 𝛻𝑓 𝒙 , is given by

𝛻𝑓 𝒙 = 𝜕𝑓 𝒙

𝜕𝑥₁ , 𝜕𝑓 𝒙

𝜕𝑥₂ , … , 𝜕𝑓 𝒙

𝜕𝑥_𝑛

• Vector gradient menentukan arah vector normal

• Jika kita bergerak dari satu poin x sejauh bilangan kecil s dalam arah yang ditentukan vektor normal d, maka 𝑓(𝑥) naik sebesar s kali perkalian skalar gradient vektor normal dan vektor normal

Vektor Gradien

• Berdasarkan definisi vektor gradien, dapat diketahui bahwa:

─Setiap elemen adalah kemiringan fungsi pada arah masing- masing variabel

─Setiap elemen adalah turunan parsial terhadap masing-masing variabel

• Contoh: Tentukan vektor gradien dari fungsi 𝑓 𝒙 = 𝑓 𝑥₁, 𝑥₂ = 𝑥₁² + 𝑥₁𝑥₂ + 3𝑥₂²

• Penyelesaian:

𝛻𝑓 𝒙 = 𝜕𝑓 𝒙

𝜕𝑥₁ , 𝜕𝑓 𝒙

𝜕𝑥₂ = 2𝑥₁ + 𝑥₂ 𝑥₁ + 6𝑥₂

Vektor Gradien

Vektor gradien pada suatu titik adalah arah kenaikan terbesar (steepest ascent) dari suatu fungsi

Arah sebaliknya adalah arah penurunan terbesar (steepest descent) dari suatu fungsi

1 2

1, )

(x x x

f 



) , (x₁ x₂ f

) , (x₁ x₂

f

2 2

1, )

(x x x

f 



Vektor Gradien

• Lemma1: suppose we are at a point v and we move from 𝒗 a small distance 𝛿 in a direction 𝒅. Then for a given 𝛿, the maximal

increase in the value of 𝑓 𝑥₁, 𝑥₂, … , 𝑥_𝑛 will occur if we choose 𝒅 = 𝛻𝑓 𝒙

𝛻𝑓 𝒙

• Jika kita bergerak sejauh s dari titik v dan ingin f(x₁, x₂, …, x_n) naik secepat mungkin, maka kita mesti bergerak dalam arah vektor

gradient

Vektor Gradien

• Arah penurunan (min) atau kenaikan (maks) dipilih berdasarkan vektor gradien

• Ilustrasi pada fungsi dengan dua variabel

• Berdasarkan kontur dari fungsi:

─ Vektor gradien pada suatu titik mengarah pada kenaikan fungsi (maks)

─ Kebalikan dari vektor gradien pada suatu titik mengarah pada penurunan fungsi (min)

Vektor Gradien

• Contoh 2: Tentukan arah atau posisi sedemikian sehingga terjadi kenaikan maksimal fungsi 𝑓 𝑥₁, 𝑥₂ = 𝑥₁² + 𝑥₂² pada vektor (3,4)!

Penyelesaian:

• Vektor gradien:𝛻𝑓 𝒙 = ^{𝜕𝑓 𝒙}

𝜕𝑥₁ , ^{𝜕𝑓 𝒙}

𝜕𝑥₂ = 2𝑥₁, 2𝑥₂

• Vektor gradien pada (3,4)→ 𝛻𝑓 3,4 = 6,8

• Jarak vektor gradien: 𝛻𝑓 3,4 = 6² + 8^{2 12} = 10

• Posisi untuk kenaikan maksimal adalah

d = 𝛻𝑓 3,4

𝛻𝑓 3,4 = 6

10 , 8

10 = 0.6, 0.8

Algoritma Gradien (Steepest): Prinsip dasar

1. Pilih titik awal: 𝒙⁰ = (𝑥₁, 𝑥₂, … , 𝑥_𝑛)

2. Tentukan arah turun (naik) bagi kasus min (maks): ± 𝛻𝑓 𝒙^𝑡

3. Tentukan besar langkah (sebesar-besarnya) → steepest:𝛿

diperoleh dari 𝑓^′ 𝒙¹ = 0 dimana 𝑓 𝒙^𝑡 = 𝑓 𝒙^𝑡−1 ± 𝛿 𝛻𝑓 𝒙^𝑡−1 ; + jika naik, - jika turun

4. Update titik baru: 𝒙^𝑡 = 𝒙^𝑡−1 ± 𝛿 𝛻𝑓 𝒙^𝑡−1

5. Berhenti ketika kriteria pemberhentian terpenuhi: 𝛻𝑓 𝒙^𝑡+1 ~0

Note: 0 atau t pada 𝒙^𝑡 menunjukkan iterasi ke-t

Algoritma Gradien (Steepest): Ilustrasi Kontur

Konsep sederhana: ikuti arah gradien downhill

Algoritma Gradien (Steepest): Ilustrasi 3D

Algoritma Gradien (Steepest): Ilustrasi 3D

Contoh 3

• Selesaikan permasalahan berikut:

Min 𝑧 = 𝑥₁ − 3 ² + 𝑥₂ − 2 ² = 𝑓 𝑥₁, 𝑥₂ s.t. 𝑥₁, 𝑥₂ ∈ 𝑅²

Penyelesaian:

• Langkah 1: Digunakan titik awal 𝒙⁰ = (1, 1)

• Langkah 2: Mentukan arah turun vektor gradien pada titik tersebut:

𝛻𝑓 𝒙 = 𝜕𝑓 𝒙

𝜕𝑥₁ , 𝜕𝑓 𝒙

𝜕𝑥₂ = 2 𝑥₁ − 3 2 𝑥₂ − 2

𝛻𝑓 𝒙⁰ = 2 1 − 3 2 1 − 2 = −4 − 2 Arah turunnya adalah 𝛻𝑓 𝒙⁰ = −4 − 2

Contoh 3

• Langkah 3: Tentukan besar langkah 𝑓 𝒙^𝟏 = 𝑓 𝒙^𝟎 − 𝛿 𝛻𝑓 𝒙⁰ = 𝑓 1

1 − 𝛿 −4

−2 = 𝑓 1 + 4𝛿 1 + 2𝛿

= 1 + 4𝛿 − 3 ² + 1 + 2𝛿 − 2 ² = −2 + 4𝛿 ² + −1 + 2𝛿 ² 𝑓^′ 𝒙¹ = 0

2 4 −2 + 4𝛿 + 2 2 −1 + 2𝛿 = 0 8 −2 + 4𝛿 + 4 −1 + 2𝛿 = 0

−16 + 32𝛿 − 4 + 8𝛿 = 0 40𝛿 = 20

𝛿 = 20

40 = 0.5

𝑥₁ − 3 + 𝑥₂ − 2 = 𝑓 𝑥₁, 𝑥₂

𝑓^′ 𝒙¹ = 0 dimana 𝑓 𝒙^𝑡 = 𝑓 𝒙^𝑡−1 ± 𝛿 𝛻𝑓 𝒙^𝑡−1

𝛻𝑓 𝒙 = 2 𝑥₁ − 3 2 𝑥₂ − 2

Contoh 3

• Langkah 4: Update titik baru: 𝒙^𝑡 = 𝒙^𝑡−1 ± 𝛿 𝛻𝑓 𝒙^𝑡−1 𝒙^𝟏 = 𝒙^𝟎 − 𝛿 𝛻𝑓 𝒙⁰ = 1

1 − 0.5 −4

−2 = 3 2

• Langkah 5: Berhenti ketika kriteria pemberhentian terpenuhi: 𝛻𝑓 𝒙^𝑡+1 ~0

𝛻𝑓 𝒙¹ = 2 𝑥₁ − 3 2 𝑥₂ − 2 = 2 3 − 3 2 2 − 2 = 0 0

𝛻𝑓 𝒙¹ = 𝑥₁² + 𝑥₂²

1

2 = 0² + 0²

1

2 = 0 ¹² = 0 → berhenti atau telah optimum Sehingga Min 𝑧 = 𝑥₁ − 3 ² + 𝑥₂ − 2 ² = 𝑓 𝑥₁, 𝑥₂ terjadi ketika 𝑥₁ = 3 dan 𝑥₂ = 2

𝑥₁ − 3 + 𝑥₂ − 2 = 𝑓 𝑥₁, 𝑥₂

𝛻𝑓 𝒙⁰ = −4 − 2

Latihan Soal Pertemuan 8

Gunakan metode Steepest Ascent untuk mencari nilai maksimum dari fungsi

𝑧 = − (𝑥₁ – 3)² – 𝑥₁ – 𝑥₂²; dengan titik awal (2.5, 1.5) PR: Buatkan Excelnya