ANALISA SERANGAN REMOTE EXPLOIT MELALUI JAVA Analisa Serangan Remote Exploit Melalui Java Applet Attack Method Terhadap Sistem Operasi Windows 8.

i

ANALISA SERANGAN

REMOTE EXPLOIT

MELALUI

JAVA

APPLET ATTACK METHOD

TERHADAP SISTEM OPERASI

WINDOWS

8

SKRIPSI

Disusun Sebagai Salah Satu Syarat Menyelesaikan Jenjang Strata I Program Studi Informatika Fakultas Komunikasi dan Informatika

Universitas Muhammadiyah Surakarta

Oleh:

Bryan Pingkan Ramadhan

NIM : L200110143

PROGRAM STUDI INFORMATIKA

FAKULTAS KOMUNIKASI DAN INFORMATIKA

UNIVERSITAS MUHAMMADIYAH SURAKARTA

v

MOTTO

“Maka sesungguhnya bersama kesulitan itu ada kemudahan.

Sesungguhnya bersama kesulitan itu ada kemudahan.”

( Q.S. Al-Insyirah : 5-6 )

“Perang yang perlu dilakukan sekarang adalah perang terhadap ketidaktahuanmu

bahwa dirimu masih dalam penjara. Dan penjaranya adalah ukuran-ukuran

dalam fikiranmu yang bukan berasal dari dirimu sendiri .“

( Sabrang MDP )

“Kalau kita tidak memiliki kedaulatan atas diri kita, kalau kita tidak berdaulat

atas apa yang kita putuskan sebagai belief system dalam diri kita maka

orisinalitas tidak akan kita temukan.”

( Sabrang MDP )

“Kebenaran yang sesungguhnya tidak akan pernah bisa dicapai, yang bisa

dilakukan hanyalah terus mencari.”

PERSEMBAHAN

Sebagai rasa syukur dan terima kasih saya persembahkan skripsi ini kepada: 1. Allah SWT yang selalu memberikan kesehatan, kelapangan ilmu dan

kemudahan jalan dalam mengerjakan skripsi ini.

2. Orang tuaku tercinta Bapak Mujiyono dan Ibu Surani yang selalu memberikan semangat, motivasi, dan senantiasa mendoakan untuk kebahagiaan dan kesuksesanku dengan penuh keikhlasan.

3. Adikku Prasetya Tegar Fitriaji yang selalu memberikan pengertian dan doa untuk penulis.

4. Bapak Gunawan Ariyanto, Ph.D. yang telah membimbing saya, terima kasih atas semuanya dan maafkan jika ada tutur kata ataupun ada tingkah laku yang kurang baik selama ini.

5. Teman-teman IDM karpet biru angkatan 2011 terima kasih atas keceriaan dan semangat yang diberikan.

6. Mas Aji Saputra sebagai biro skripsi yang telah banyak membantu.

vii

KATA PENGANTAR

Alhamdulillah, puji syukur kami panjatkan kepada Allah SWT yang telah melimpahkan rahmat dan hidayahNya sehingga penulis dapat menyelesaikan skripsi dengan judul “Analisa Serangan Remote Exploit Melalui Java Applet Attack Method Terhadap Sistem OperasiWindows8”.

Skripsi ini disusun untuk memenuhi kurikulum pada Program Studi Informatika Universitas Muhammadiyah Surakarta, sebagai kewajiban mahasiswa dalam rangka menyelesaikan program sarjana.

Dengan segala kemampuan yang dimiliki, penulis telah berusaha untuk menyelesaikan laporan skripsi ini. Namun penulis menyadari bahwa laporan ini masih jauh dari kesempurnaan dan masih banyak kekurangan. Oleh sebab itu penulis berkenan menerima saran dan kritik yang bersifat membangun demi perbaikan laporan ini. Di sisi lain, skripsi ini juga merupakan hasil karya dan kerja sama semua pihak, walaupun yang terlihat hanya sebuah nama. Sehingga dalam kesempatan ini, penulis mengucapkan terima kasih dan penghargaan setinggi-tingginya dengan segala kerendahan hati, kepada :

1. Bapak Husni Thamrin, S.T, MT., Ph.D. selaku Dekan Fakultas Komunikasi dan Informatika Universitas Muhammadiyah Surakarta.

2. Bapak Dr. Heru Supriyono, M.Sc. selaku Ketua Program Studi Informatika Universitas Muhammadiyah Surakarta.

3. Bapak Fatah Yasin Irsyadi, S.T., M.T. selaku Pembimbing Akademik.

5. Segenap dosen Universitas Muhammadiyah Surakarta yang telah memberikan ilmu kepada penulis.

6. Kedua orang tua yang selalu mendoakan dan memberikan semangat dalam penyusunan skripsi ini.

7. Teman-teman IDM karpet biru yang telah bersama selama 4 tahun ini, terima kasih atas keceriaan yang telah dibagikan.

8. Semua pihak yang tidak dapat disebutkan satu persatu yang telah banyak membantu.

Surakarta, Mei 2015

ix

BAB I PENDAHULUAN... 1

1.1 Latar Belakang... 1

1.2 Rumusan Masalah... 3

1.3 Batasan Masalah... 3

1.4 Tujuan Penelitian... 4

1.5 Manfaat Penelitian... 4

1.6 Sistematika Penulisan... 5

BAB II TINJAUAN PUSTAKA... 6

2.1 Telaah Penelitian... 6

2.2 Landasan Teori... 9

2.2.2 Java Applet Attack Method... 10

2.2.3 Teknik AnalisaMalware... 11

2.2.4 Metasploit Framework... 12

2.2.5 Firewall... 13

BAB III METODOLOGI PENELITIAN... 14

3.1 Gambaran Umum Penelitian... 14

3.2 Waktu dan Tempat... 15

3.3 Peralatan yang Dibutuhkan... 16

3.4 Metode Penelitian... 16

3.5 Alur Penelitian... 17

3.5.1 Pengujian Serangan... 21

3.5.1.1 Menyiapkan Komputer Sebagai Klien/Target... 21

3.5.1.2 Menyiapkan Komputer Sebagai Penyerang... 26

3.5.1.3 Membuat JaringanWi-FidenganMode Ad-Hoc... 26

3.5.1.4 Serangan Remote Exploit Melalui Java Applet Attack MethodTerhadap Sistem OperasiWindows8... 28

3.5.2 Analisa Serangan... 36

3.5.2.1 Teknik AnalisaRuntime... 36

xi

4.1 Hasil Penelitian... 56

4.1.1 Perilaku Dan Karakterstik Serangan Remote Expoit MelaluiJava Applet Attack Method... 56

4.1.1.1Java exploitCVE-2013-2460... 56

4.1.1.2Java Meterpreter Reverse_TCP... 59

4.1.2 OptimalisasiFirewall... 63

4.1.3 PengujianFirewall... 66

4.2 Pembahasan... 67

BAB V PENUTUP... 70

5.1 Kesimpulan... 70

5.2 Saran... 71

DAFTAR PUSTAKA

DAFTAR TABEL

xiii

DAFTAR GAMBAR

Gambar 1.1. Persentase exploityang terdeteksi olehTrustwave... 2

Gambar 3.1.Flowchartalur penelitian... 18

Gambar 3.2.Firewallklien aktif... 21

Gambar 3.3. InstallasiFirefoxtahap 1... 22

Gambar 3.4. InstallasiFirefoxtahap 2... 22

Gambar 3.5. InstallasiFirefoxtahap 3... 23

Gambar 3.6. InstallasiFirefoxtahap 4... 23

Gambar 3.7. InstallasiJava JREtahap 1... 24

Gambar 3.8. InstallasiJava JREtahap 2... 24

Gambar 3.9. InstallasiJava JREtahap 3... 24

Gambar 3.10. InstallasiCaptureBattahap 1... 25

Gambar 3.11. InstallasiCaptureBattahap 2... 25

Gambar 3.12. MenjalankanCaptureBat... 26

Gambar 3.13. Membuat jaringanWi-Fitahap 1... 27

Gambar 3.14. Membuat jaringanWi-Fitahap 2... 27

Gambar 3.15. JaringanWi-Fiberhasil dibuat... 28

Gambar 3.16.Pingdari komputer klien ke komputer penyerang... 28

Gambar 3.17.Pingdari komputer penyerang ke komputer target... 29

Gambar 3.18. MenjalankanMetasploit Framework... 29

Gambar 3.19. Konfigurasimodule exploit... 30

Gambar 3.20. Melihat hasil konfigurasimodule exploit... 30

Gambar 3.22. Klien mengeksekusimalicious Java applet... 32

Gambar 3.23.Meterpreter sessionsterbuka... 32

Gambar 3.24. Penyerang mendapatkan aksesshelltarget... 33

Gambar 3.25. Membuatbackdoor dengan msfpayload... 33

Gambar 3.26. Penyerang mengunggahbackdoorke komputer klien... 34

Gambar 3.27. Berhasil menambahkankeypadaWindows Registry... 34

Gambar 3.28. Penyerang masuk ke sistem klien melaluibackdoor... 35

Gambar 3.29. Penyerang menanamviruspada komputer klien... 35

Gambar 3.30.Virusmenghapus dokumen klien... 35

Gambar 3.31. Tampilan aplikasiFTK Imager... 36

Gambar 3.32 Langkah-langkahcapturing memory... 37

Gambar 3.33 Prosescapturing memory... 37

Gambar 3.34Capturing memoryselesai... 38

Gambar 3.35Synaptic package manager... 39

Gambar 3.36 Memilihpackage Volatilityyang akan diinstal... 39

Gambar 3.37Dialog boxpersetujan... 39

Gambar 3.38 MengunduhVolatility... 40

Gambar 3.39 InstallasiVolatilityselesai... 40

xv

Gambar 3.47Command linedari proses connhost.exe PID 3456... 43

Gambar 3.48Command linedari proses reg.exe PID 2316... 43

Gambar 3.49 Proses yang dihandleoleh jp2launcher.exe... 43

Gambar 3.50 Proses yang dihandleoleh Java.exe PID 2732... 43

Gambar 3.51 Proses yang dihandleoleh Java.exe PID 216... 44

Gambar 3.52 Proses yang dihandleoleh conhost.exe PID 2684... 44

Gambar 3.53 Proses yang dihandleoleh cmd.exe PID 3468... 44

Gambar 3.54 Proses yang dihandleconhost.exe PID 3456... 44

Gambar 3.55 File yang dihandleoleh java.exe PID 2732... 44

Gambar 3.56 File yang dihandleoleh java.exe PID 216... 45

Gambar 3.57 File DLL yang diloadoleh cmd.exe PID 3468... 45

Gambar 3.58 Koneksi yang terjadi pada komputer klien... 46

Gambar 3.59CaptureBatselesai melakukanlog... 47

Gambar 3.60 Tampilan aplikasiWireshark... 47

Gambar 3.61Wiresharkmembacafile log CaptureBat... 48

Gambar 3.62Traffic dataantara komputer peneyerang dengan klien... 48

Gambar 3.63 Paket data yang melalui protokolHTTP... 49

Gambar 3.64 MendapatkanMalicious Java applet... 49

Gambar 3.65 Paket data yang melaluiport4444... 50

Gambar 3.66 Installasi aplikasiJD-GUI... 50

Gambar 3.67 Tampilan aplikasiJD-GUI... 51

Gambar 3.68Decomplingterhadapmalicious Java applet... 51

Gambar 3.69 InstallasiComodo firewalltahap 1... 52

Gambar 3.70 InstallasiComodo firewalltahap 2... 53

Gambar 3.72 InstallasiComodo firewalltahap 4... 54

Gambar 3.73 InstallasiComodo firewalltahap 5... 54

Gambar 3.74 InstallasiComodo firewalltahap 6... 55

Gambar 3.75 MenuFirewall Task... 55

Gambar 4.1 dentifikasimalicous Java appletolehvirustotal... 57

Gambar 4.2Java exploitCVE-2013-2046... 58

Gambar 4.3 DisableSecurityManagerAction.class... 59

Gambar 4.4 Isi dariJava cache171d96cd-3873ba36... 60

Gambar 4.5 Isi dariJava cache9130789768271918562... 61

Gambar 4.6 Isi dariJava cache4555559258176874823... 62

Gambar 4.7 MenuApplication Rules... 64

Gambar 4.8 Memilih aplikasi padaApplication Rules... 64

Gambar 4.9 Membuatrule firewall... 65

Gambar 4.10Rule firewallaktif... 65

Gambar 4.11Meterpreter sessionsgagal terbuka... 66

Gambar 4.12 Serangan tersebut terdeteksi olehComodo Firewall... 67

xvii

ABSTRAKSI

Dalam 5 tahun terakhir jenis serangan client-side attacks jumlahnya meningkat secara dramatis. penyerang mengalihkan fokus mereka ke sisi klien yang memiliki celah lebih besar karena klien mempunyai perlindungan terhadap sistem yang lebih sederhana daripada server. Eksploitasi dengan menggunakan malicous Java yang memanfaatkan kerentanan pada Javaadalah yang paling sering terdeteksi oleh Trustwave Secure Web Gateway anti-malware technology dengan persentase sebesar 78% dan sebagian besar penjahat cyber mengandalkan Java applet sebagai metode untuk mengirimkan malware maupun payload. Java applet attack method adalah salah satu teknik serangan yang memanfaatkan kerentananan padaJavauntuk mengeksploitasi sistem user menggunakan Java applet dan dapat menyerang ke berbagai sistem operasi termasuk Windows 8 yang merupakan sistem operasi keluaran terbaru dari Microsoft. Skripsi ini bertujuan untuk menganalisa serangan remote exploitmelaluiJava applet attack methodterhadap sistem operasiWindows8 yang terproteksifirewall.

Penelitian yang dilakukan menggunakan metode studi pustaka dan melakukan eksperimen yang melalui beberapa tahapan diantaranya studi kepustakaan, pengolahan data, pengujian serangan, analisa serangan, optimalisasi firewall, pengujian firewall dan penulisan laporan. Dengan menganalisa serangan tersebut akan diketahui perilaku dan karakterisiknya, karakteristik dari serangan tersebut terletak pada Java exploit dan Java payload yang ada didalam Java applet. Java exploit berfungsi untuk melewati Java Virtual Machine (JVM) sandbox dan menonaktifkan SecurityManager dan payload Java meterpreter berfungsi untuk mengelabuhi firewall dan sebagai media interaksi antara penyerang dengan sistem klien. Kemudian dibuat rule firewallpada Comodo Firewall yang mampu mencegah payload untuk melakukan reverse connection dan mencegah payload melakukan staging.