Lagrange Multiplier

[MAS61134] 2 sks

Dosen Pengampu:

Nur Silviyah Rahmi, S.Si., M.Stat.

Prasyarat : MAS62114 (PAN) MAS61321 (PL)

11.8 pdf hal.666

Materi

Minggu Ke- Materi

9 Steepest Ascent dan Descent 10 Lagrange Multiplier

11 Syarat Karush Kuhn-Tucker

12 KUIS II

13 Kuadratik Programming 14 Separable Programming 15 Pembahasan soal-soal NLP

16 UAS

Outline

•

Metode Lagrange

•

Interpretasi Geometris dari Lagrange Multipliers

Metode Lagrange

Lagrange multipliers can be used to solve NLPs in which all constraints are equality constraints. We consider NLPs of the following type

Max (or min) 𝑧 = 𝑓 𝑥₁, 𝑥₂, … , 𝑥_𝑛 s.t. 𝑔₁ 𝑥₁, 𝑥₂, … , 𝑥_𝑛 = 𝑏₁

𝑔₂ 𝑥₁, 𝑥₂, … , 𝑥_𝑛 = 𝑏₂

⋮

𝑔_𝑚 𝑥₁, 𝑥₂, … , 𝑥_𝑛 = 𝑏_𝑚

To solve (12), we associate a multiplier 𝜆_𝑖 with the 𝑖th constraint in (12) and form the Lagrangian:

𝐿 𝑥₁, 𝑥₂, … , 𝑥_𝑛, 𝜆₁, 𝜆₂, … , 𝜆_𝑚 = 𝑓 𝑥₁, 𝑥₂, … , 𝑥_𝑛 + ෍

𝑖=1 𝑚

𝜆_𝑖 𝑏_𝑖 − 𝑔_𝑖 𝑥₁, 𝑥₂, … , 𝑥_𝑛

(12)

Metode Lagrange

Teorema 8

• Suppose (12) is a maximization problem. If 𝑓 𝑥₁, 𝑥₂, … , 𝑥_𝑛 is concave function and each 𝑔_𝑖 𝑥₁, 𝑥₂, … , 𝑥_𝑛 is a linear function, then any point ҧ𝑥₁, ҧ𝑥₂, … , ҧ𝑥_𝑛, ҧ𝜆₁, ҧ𝜆₂, … , ҧ𝜆_𝑚 satisfying

𝜕𝐿

𝜕𝑥₁ = 𝜕𝐿

𝜕𝑥₂ = ⋯ = 𝜕𝐿

𝜕𝑥_𝑛 = 𝜕𝐿

𝜕𝜆₁ = 𝜕𝐿

𝜕𝜆₂ = ⋯ = 𝜕𝐿

𝜕𝜆_𝑚 = 0

• will yield an optimal solution ҧ𝑥₁, ҧ𝑥₂, … , ҧ𝑥_𝑛 to (12)

(16)

Teorema 8

• Suppose (12) is a minimization problem. If 𝑓 𝑥₁, 𝑥₂, … , 𝑥_𝑛 is convex function and each 𝑔_𝑖 𝑥₁, 𝑥₂, … , 𝑥_𝑛 is a linear function, then any point ҧ𝑥₁, ҧ𝑥₂, … , ҧ𝑥_𝑛, ҧ𝜆₁, ҧ𝜆₂, … , ҧ𝜆_𝑚 satisfying

𝜕𝐿

𝜕𝑥₁ = 𝜕𝐿

𝜕𝑥₂ = ⋯ = 𝜕𝐿

𝜕𝑥_𝑛 = 𝜕𝐿

𝜕𝜆₁ = 𝜕𝐿

𝜕𝜆₂ = ⋯ = 𝜕𝐿

𝜕𝜆_𝑚 = 0

• will yield an optimal solution ҧ𝑥₁, ҧ𝑥₂, … , ҧ𝑥_𝑛 to (12)

Metode Lagrange

• Menentukan harga ekstrim 𝑧 = 𝑓(𝑥, 𝑦) dengan syarat 𝐺 𝑥, 𝑦 = 0 Maksud dari pengali lagrange adalah membentuk fungsi baru; 𝐿 𝑥, 𝑦, 𝜆 = 𝑓 𝑥, 𝑦 + 𝜆𝐺(𝑥, 𝑦), faktor 𝜆 dinamakan pengali Lagrange.

• Syarat perlu adanya ekstrim adalah ^𝜕𝐿

𝜕𝑥 = 0, ^𝜕𝐿

𝜕𝑦 = 0 dan ^𝜕𝐿

𝜕𝜆 = 𝐺 𝑥, 𝑦 = 0

• Syarat cukup : titik kritis dapat diperoleh dari persamaan ^𝜕𝐿

𝜕𝑥 = 0, ^𝜕𝐿

𝜕𝑦 = 0 dan

𝜕𝐿

𝜕𝜆 = 𝐺 𝑥, 𝑦 = 0. sedangkan macam ekstrim dapat ditinjau dari tanda ^𝜕2𝐿

𝜕𝑥² dan

𝜕²𝐿

𝜕𝑦²

Penyelesaian Metode Lagrange

• Langkah 1. Tentukan Fungsi Tujuan dan Fungsi Batasan

• Langkah 2. Tentukan Fungsi Lagrange 𝐿(𝑥, 𝑦, 𝜆)

• Langkah 3. Dapatkan turunan pertama (berupa persamaan) sebagai kandidat titik ekstrim untuk setiap fungsi lagrange 𝑥, 𝑦, 𝜆

• Langkah 4. Menyelesaikan persaman yang didapatkan (didapatkan titik ekstrim)

• Langkah 5. mendapatkan matriks Hessian (menentukan fungsi konveks/konkaf)

• Langkah 6. Mendapatkan nilai Optimum (maks/min)

Interpretasi Geometris dari Lagrange Multipliers

• Untuk mempermudah pemahaman metode ini secara geometris, diterapkan terlebih dahulu pada fungsi-fungsi dengan dua variabel.

• Ingin dicari nilai maksimum dari 𝑓(𝑥, 𝑦) bergantung satu kendala dalam berbentuk 𝑔(𝑥, 𝑦) = 𝑘.

• Nilai maksimum bagi 𝑓(𝑥, 𝑦) harus berada pada level kurva 𝑔(𝑥, 𝑦) = 𝑘.

Pengganda Lagrange : Dua Variabel

• Gambar berikut menunjukkan level kurva 𝑔(𝑥, 𝑦) = 𝑘 bersama beberapa level kurva 𝑓(𝑥, 𝑦) = 𝑐, dan 𝑐 = 11, 10, 9, 8, 7

Untuk memaksimumkan 𝑓(𝑥, 𝑦) bergantung kendala 𝑔(𝑥, 𝑦) = 𝑘 adalah mencari

Nilai 𝑐 terbesar sedemikian sehingga level kurva 𝑓(𝑥, 𝑦) = 𝑐 bertemu dengan

𝑔(𝑥, 𝑦) = 𝑘 → mempunyai gradien yang sama

Pengganda Lagrange: Dua Variabel

• Gradien/garis normal pada titik singgung (𝑥₀ , 𝑦₀) adalah sama untuk kedua fungsi.

• Vektor gradien paralel untuk skalar tertentu 𝜆 adalah

𝛻𝑓 𝑥₀, 𝑦₀ = 𝜆𝛻𝑔 𝑥₀, 𝑦₀

Pengganda Lagrange: Tiga Variabel

• Serupa dengan argumen pada fungsi dengan dua variabel, pada kasus maksimum dari

• f(x, y, z) subject to kendala g(x, y, z) = k.

•

Solusi (x, y, z) harus berada pada level g(x, y, z) = k.

• Jika nilai maksimum dari f ada pada titik x₀, y₀, z₀ di mana f(x₀, y₀, z₀) = c, maka pada titik tersebut gradien dari f akan sama dengan gradien dari g(x, y, z) = k.

• Untuk skalar tertentu λ:

^{ f} ( ^x

₀

^{, y}

₀

^{, z}

₀

) ^{=   g} ( ^x

₀

^{, y}

₀

^{, z}

₀

)

Contoh 1

• Tentukan macam dan nilai ekstrim dari 𝑧 = 2𝑥² + 4𝑦² + 5 dengan syarat 𝑥 + 𝑦 = 3

• Penyelesaian:

• Langkah 1. Fungsi Tujuan & batasan 𝑧 = 2𝑥² + 4𝑦² + 5 dengan syarat 𝑥 + 𝑦 = 3

• Langkah 2. Fungsi lagrange dibentuk 𝐿 𝑥, 𝑦, 𝜆 = 2𝑥² + 4𝑦² + 5 + 𝜆(3 − 𝑥 − 𝑦)

• Langkah 3. Dapatkan turunan pertama/Titik kritis

𝜕𝐿

𝜕𝑥 = 4𝑥 − 𝜆 = 0, ^𝜕𝐿

𝜕𝑦 = 8𝑦 − 𝜆 = 0 dan ^𝜕𝐿

𝜕𝜆 = 𝑥 + 𝑦 = 3

• Langkah 4. Menyelesaikan persaman; diperoleh 4𝑥 − 𝜆 = 0, 8𝑦 − 𝜆 = 0 dan 𝑥 + 𝑦 = 3 dari ketiga persamaan diperoleh 𝑥 = 2, 𝑦 = 1, 𝜆 = 8

Sehingga titik kritisnya (2,1)

• Langkah 5. mendapatkan matriks Hessian 4 0 0 8

Seluruh minor ≥ 0 sehingga memenuhi fungsi konveks (kasus minimasi)

• Langkah 6. Mendapatkan nilai Optimum; diperoleh titik minimum dengan nilai 𝑧 = 2(2)² + 4(1)² + 5 = 17 4𝑥 − 𝜆 = 0 8𝑦 − 𝜆 = 0 -

4𝑥 − 8𝑦 = 0 4 3 − 𝑦 − 8𝑦 = 0

12 − 4𝑦 − 8𝑦 = 0 12 − 12𝑦 = 0

12 = 12𝑦 𝑦 = 1 𝑥 + 1 = 3 𝑥 = 3 − 1 = 2 4 2 − 𝜆 = 0

𝜆 = 8

𝐿 𝑥₁, 𝑥₂, … , 𝑥_𝑛, 𝜆₁, 𝜆₂, … , 𝜆_𝑚 = 𝑓 𝑥₁, 𝑥₂, … , 𝑥_𝑛 + ෍

𝑖=1

𝜆_𝑖 𝑏_𝑖 − 𝑔_𝑖 𝑥₁, 𝑥₂, … , 𝑥_𝑛

Contoh 2

• Sebuah perusahaan berencana untuk menganggarkan $10.000 untuk iklan.

Biayanya $3.000 per menit untuk beriklan di televisi dan $1.000 per menit untuk beriklan di radio. Jika perusahaan membeli x menit iklan televisi dan y menit iklan radio, maka pendapatannya dalam ribuan dolar diberikan oleh 𝑧 =

− 2𝑥² − 𝑦² + 𝑥𝑦 + 8𝑥 + 3𝑦. Bagaimana perusahaan dapat memaksimalkan pendapatannya?

• Penyelesaian:

Langkah 1. Fungsi Tujuan & batasan max 𝑧 = −2𝑥² − 𝑦² + 𝑥𝑦 + 8𝑥 + 3𝑦 s.t. 3𝑥 + 𝑦 = 10

𝑥 = menit untuk beriklan di televisi 𝑦 = menit untuk beriklan di radio

Contoh 2

Langkah 2. Fungsi lagrange

𝐿(𝑥, 𝑦, 𝜆) = −2𝑥² − 𝑦² + 𝑥𝑦 + 8𝑥 + 3𝑦 + 𝜆 10 − 3𝑥 − 𝑦 Langkah 3. Dapatkan turunan pertama/Titik kritis

𝜕𝐿

𝜕𝑥 = 𝜕𝐿

𝜕𝑦 = 𝜕𝐿

𝜕𝜆 = 0

𝜕𝐿

𝜕𝑥 = −4𝑥 + 𝑦 + 8 − 3𝜆 = 0 → 𝑦 = 3𝜆 − 8 + 4𝑥

𝜕𝐿

𝜕𝑦 = −2𝑦 + 𝑥 + 3 − 𝜆 = 0 → 𝑥 = 𝜆 − 3 + 2𝑦

𝜕𝐿

𝜕𝜆 = 10 − 3𝑥 − 𝑦 = 0 → 3𝑥 + 𝑦 = 10 Langkah 4. Menyelesaikan persaman

s.t. 3𝑥 + 𝑦 = 10

𝐿 𝑥₁, 𝑥₂, … , 𝑥_𝑛, 𝜆₁, 𝜆₂, … , 𝜆_𝑚 = 𝑓 𝑥₁, 𝑥₂, … , 𝑥_𝑛 + ෍

𝑖=1 𝑚

𝜆_𝑖 𝑏_𝑖 − 𝑔_𝑖 𝑥₁, 𝑥₂, … , 𝑥_𝑛

𝑥 = 𝜆 − 3 + 2 20 7 − 𝜆 𝑥 = 𝜆 −21

7 +40

7 − 2𝜆 → 𝑥 = 19 7 − 𝜆 3𝑥 + 𝑦 = 10 → 3 19

7 − 𝜆 +20

7 − 𝜆 = 10

→ 57

7 − 3𝜆 + 20

7 − 𝜆 = 10

→ 77

7 − 4𝜆 = 10 → 11 − 10 = 4𝜆 → 𝜆 = 1 4 𝑦 = 20

7 −1

4 = 80 − 7

28 → ത𝑦 = 73 28 𝑥 = 19

7 −1

4 = 76 − 7

28 → ҧ𝑥 = 69 28 𝑦 = 3𝜆 − 8 + 4 𝜆 − 3 + 2𝑦

𝑦 = 3𝜆 − 8 + 4𝜆 − 12 + 8𝑦

−7𝜆 + 20 = 8𝑦 − 𝑦

−7𝜆

7 + 20

7 = 𝑦 → 𝑦 = 20 7 − 𝜆

Contoh 2

• Langkah 5. mendapatkan matriks Hessian −4 1

1 −2

Karena memenuhi 𝑖 ⁻¹ atau minor utama ke-1 negatif (−4, −2) dan minor utama ke-2 positif 𝐻₂ 𝑥, 𝑦 = −4 ∙ −2 − 1 ∙ 1 = 7 > 0, maka merupakan fungsi konkav → kasus maksimasi Jadi, perusahaan harus membeli ⁶⁹

28 menit waktu televisi dan ⁷³

28 menit waktu radio. Karena 𝜆 = ¹

4, pengeluaran tambahan Δ (ribuan) (untuk Δ kecil) akan meningkatkan pendapatan perusahaan sekitar $0,25∆ (ribuan).

• Langkah 6. Mendapatkan nilai Optimum

• max 𝑧 = −2 ⁶⁹

28

2 − ⁷³

28

2 + ⁶⁹

28

73

28 + 8 ⁶⁹

28 + 3 ⁷³

28

• max 𝑧 = −2 ∙⁴⁷⁶¹

784 − ⁵³²⁹

784 + ⁵⁰³⁷

784 + ⁵⁵²

28 + ²¹⁹

28

• max 𝑧 = −12,51 + 27,53 = 15,01

𝑥 = menit untuk beriklan di televisi 𝑦 =menit untuk beriklan di radio

𝜕𝐿

𝜕𝑦 = −2𝑦 + 𝑥 + 3 − 𝜆 = 0

Contoh 3

• Penyelesaian:

• Langkah 1. Fungsi Tujuan & Batasan

• Langkah 2. Fungsi lagrange

(25)

Contoh 3

• Langkah 3. Dapatkan turunan pertama/Titik kritis

• Langkah 4. Menyelesaikan persaman

Latihan soal Pertemuan 10

1. Minimize 𝑓 𝒙 = 𝑥₁² +𝑥₂² + 𝑥₃²

s.t. 𝑔₁ 𝒙 = 𝑥₁ + 𝑥₂ + 3𝑥₃ − 2 = 0 𝑔₂ 𝒙 = 5𝑥₁ + 2𝑥₂ + 𝑥₃ − 5 = 0 2. Minimize 𝑓 𝒙 = 𝑥₁² +𝑥₂² + 𝑥₃²

s.t. 4𝑥₁ + 𝑥₂² + 2𝑥₃ − 14 = 0

3. Minimize 𝑓 𝒙 = 𝑥₁² + 2𝑥₂² + 10𝑥₃²

s.t. 𝑔₁ 𝒙 = 𝑥₁ + 𝑥₂² + 𝑥₃ − 5 = 0

𝑔₂ 𝒙 = 𝑥₁ + 5𝑥₂ + 𝑥₃ − 7 = 0