Materi Teknik Optimasi

GRADIENT DESCENT (ASCENT)

 Gradient descent (ascent) adalah algoritma 

optimasi orde pertama. 

 Untuk menemukan minimum lokal dari fungsi 

menggunakan gradien descent, diambil  langkah  sebanding dengan negatif dari gradien (atau 

perkiraan gradien) dari fungsi pada titik sekarang.

 Jika diambil langkah sebanding dengan gradien 

positif, maka akan didapatkan maksimum lokal  fungsi tersebut; prosedur ini kemudian dikenal  sebagai gradient ascent

 Gradient descent juga dikenal sebagai steepest 

ALGORITMA (MAKSIMISASI)

 Mulai dari titik awal v

0

 Bergerak dari v₀ ke v₁ dengan arah f(v₀) :

v₁ = v₀ + t₀ f(v₀) 

dengan t₀ adalah solusi dari masalah optimisasi  berikut:

max f(v₀ + t₀ f(v₀) ) s.t t₀ ≥ 0

 Langkah – langkah tersebut diulangi sampai 

ALGORITMA (MINIMISASI)

 Mulai dari titik awal v

0

 Bergerak dari v₀ ke v₁ dengan arah f(v₀) :

v₁ = v₀ ­ t₀ f(v₀) 

dengan t₀ adalah solusi dari masalah optimisasi  berikut:

min f(v₀ ­ t₀ f(v₀) ) s.t t₀ ≥ 0

 Langkah – langkah tersebut diulangi sampai 

CONTOH SOAL

Gunakan metode steepest ascent untuk  aproksimasi solusi dari

        s.t 

Dengan titik awal v0 = (1,1)

Jawab: f(x1, x2) = (– 2(x1 – 3), – 2(x2 – 2))   f(v0) = f(1,1) = (4,2)

Pilih t0 yang memaksimumkan 

f(v0 + t0 f(v0) )  max f[(1,1)+t0(4,2)]       max f[1+4t0 , 1+2t0]

    

f ‘(t₀)=0  ­ 2(­2+4t₀)4 ­2(­1+2t₀)2 = 0 20 – 40 t₀ = 0

t₀  =  0.5

v₁ = [(1,1)+0.5(4,2)] = (3,2)

Karena f(3, 2) = (0,0) maka iterasi dihentikan Karena f(x₁, x₂) adalah fungsi konkaf, maka (3,2)  adalah solusi yang dicari 

SOAL ­SOAL

1. Gunakan metode gradient ascent untuk 

menduga solusi optimal dari 

mulai dari titik awal (2.5, 1.5)

2. Gunakan metode gradient descent untuk  menduga solusi optimal dari