ANALISA SERANGAN REMOTE EXPLOIT MELALUI JAVA APPLET ATTACK METHOD TERHADAP SISTEM OPERASI WINDOWS 8

(1)

i

ANALISA SERANGAN REMOTE EXPLOIT MELALUI JAVA

APPLET ATTACK METHOD TERHADAP SISTEM OPERASI

WINDOWS 8

SKRIPSI

Disusun Sebagai Salah Satu Syarat Menyelesaikan Jenjang Strata I Program Studi Informatika Fakultas Komunikasi dan Informatika

Universitas Muhammadiyah Surakarta

Oleh:

Bryan Pingkan Ramadhan

NIM : L200110143

PROGRAM STUDI INFORMATIKA

FAKULTAS KOMUNIKASI DAN INFORMATIKA

UNIVERSITAS MUHAMMADIYAH SURAKARTA

(2)

(3)

(4)

(5)

v MOTTO

“Maka sesungguhnya bersama kesulitan itu ada kemudahan. Sesungguhnya bersama kesulitan itu ada kemudahan.”

( Q.S. Al-Insyirah : 5-6 )

“Perang yang perlu dilakukan sekarang adalah perang terhadap ketidaktahuanmu bahwa dirimu masih dalam penjara. Dan penjaranya adalah ukuran-ukuran

dalam fikiranmu yang bukan berasal dari dirimu sendiri .“ ( Sabrang MDP )

“ Kalau kita tidak memiliki kedaulatan atas diri kita, kalau kita tidak berdaulat atas apa yang kita putuskan sebagai belief system dalam diri kita maka

orisinalitas tidak akan kita temukan.” ( Sabrang MDP )

“Kebenaran yang sesungguhnya tidak akan pernah bisa dicapai, yang bisa dilakukan hanyalah terus mencari.”

(6)

PERSEMBAHAN

Sebagai rasa syukur dan terima kasih saya persembahkan skripsi ini kepada: 1. Allah SWT yang selalu memberikan kesehatan, kelapangan ilmu dan

kemudahan jalan dalam mengerjakan skripsi ini.

2. Orang tuaku tercinta Bapak Mujiyono dan Ibu Surani yang selalu memberikan semangat, motivasi, dan senantiasa mendoakan untuk kebahagiaan dan kesuksesanku dengan penuh keikhlasan.

3. Adikku Prasetya Tegar Fitriaji yang selalu memberikan pengertian dan doa untuk penulis.

4. Bapak Gunawan Ariyanto, Ph.D. yang telah membimbing saya, terima kasih atas semuanya dan maafkan jika ada tutur kata ataupun ada tingkah laku yang kurang baik selama ini.

5. Teman-teman IDM karpet biru angkatan 2011 terima kasih atas keceriaan dan semangat yang diberikan.

6. Mas Aji Saputra sebagai biro skripsi yang telah banyak membantu.

7. Keluarga besar Program Studi Informatika Universitas Muhammadiyah Surakarta.

(7)

vii

KATA PENGANTAR

Alhamdulillah, puji syukur kami panjatkan kepada Allah SWT yang telah melimpahkan rahmat dan hidayahNya sehingga penulis dapat menyelesaikan skripsi dengan judul “Analisa Serangan Remote Exploit Melalui Java Applet Attack Method Terhadap Sistem Operasi Windows 8”.

Skripsi ini disusun untuk memenuhi kurikulum pada Program Studi Informatika Universitas Muhammadiyah Surakarta, sebagai kewajiban mahasiswa dalam rangka menyelesaikan program sarjana.

Dengan segala kemampuan yang dimiliki, penulis telah berusaha untuk menyelesaikan laporan skripsi ini. Namun penulis menyadari bahwa laporan ini masih jauh dari kesempurnaan dan masih banyak kekurangan. Oleh sebab itu penulis berkenan menerima saran dan kritik yang bersifat membangun demi perbaikan laporan ini. Di sisi lain, skripsi ini juga merupakan hasil karya dan kerja sama semua pihak, walaupun yang terlihat hanya sebuah nama. Sehingga dalam kesempatan ini, penulis mengucapkan terima kasih dan penghargaan setinggi-tingginya dengan segala kerendahan hati, kepada :

1. Bapak Husni Thamrin, S.T, MT., Ph.D. selaku Dekan Fakultas Komunikasi dan Informatika Universitas Muhammadiyah Surakarta.

2. Bapak Dr. Heru Supriyono, M.Sc. selaku Ketua Program Studi Informatika Universitas Muhammadiyah Surakarta.

3. Bapak Fatah Yasin Irsyadi, S.T., M.T. selaku Pembimbing Akademik.

4. Bapak Gunawan Ariyanto, Ph.D. selaku pembimbing skripsi yang telah memberikan bimbingan dan pengarahan dalam penyusunan skripsi ini.

(8)

5. Segenap dosen Universitas Muhammadiyah Surakarta yang telah memberikan ilmu kepada penulis.

6. Kedua orang tua yang selalu mendoakan dan memberikan semangat dalam penyusunan skripsi ini.

7. Teman-teman IDM karpet biru yang telah bersama selama 4 tahun ini, terima kasih atas keceriaan yang telah dibagikan.

8. Semua pihak yang tidak dapat disebutkan satu persatu yang telah banyak membantu.

Surakarta, Mei 2015

(9)

ix DAFTAR ISI

HALAMAN JUDUL... i

HALAMAN PERSETUJUAN... ii

HALAMAN PENGESAHAN... iii

DAFTAR KONTRIBUSI... iv

MOTTO... v

PERSEMBAHAN... vi

KATA PENGANTAR... vii

DAFTAR ISI... ix

DAFTAR TABEL... xii

DAFTAR GAMBAR... xiii

ABSTRAKSI... xvii BAB I PENDAHULUAN... 1 1.1 Latar Belakang... 1 1.2 Rumusan Masalah... 3 1.3 Batasan Masalah... 3 1.4 Tujuan Penelitian... 4 1.5 Manfaat Penelitian... 4 1.6 Sistematika Penulisan... 5

BAB II TINJAUAN PUSTAKA... 6

2.1 Telaah Penelitian... 6

2.2 Landasan Teori... 9

(10)

2.2.2 Java Applet Attack Method... 10

2.2.3 Teknik Analisa Malware... 11

2.2.4 Metasploit Framework... 12

2.2.5 Firewall... 13

BAB III METODOLOGI PENELITIAN... 14

3.1 Gambaran Umum Penelitian... 14

3.2 Waktu dan Tempat... 15

3.3 Peralatan yang Dibutuhkan... 16

3.4 Metode Penelitian... 16

3.5 Alur Penelitian... 17

3.5.1 Pengujian Serangan... 21

3.5.1.1 Menyiapkan Komputer Sebagai Klien/Target... 21

3.5.1.2 Menyiapkan Komputer Sebagai Penyerang... 26

3.5.1.3 Membuat Jaringan Wi-Fi dengan Mode Ad-Hoc... 26

3.5.1.4 Serangan Remote Exploit Melalui Java Applet Attack Method Terhadap Sistem Operasi Windows 8... 28

3.5.2 Analisa Serangan... 36

3.5.2.1 Teknik Analisa Runtime... 36

(11)

xi

4.1 Hasil Penelitian... 56

4.1.1 Perilaku Dan Karakterstik Serangan Remote Expoit Melalui Java Applet Attack Method... 56

4.1.1.1 Java exploit CVE-2013-2460... 56

4.1.1.2 Java Meterpreter Reverse_TCP... 59

4.1.2 Optimalisasi Firewall... 63 4.1.3 Pengujian Firewall... 66 4.2 Pembahasan... 67 BAB V PENUTUP... 70 5.1 Kesimpulan... 70 5.2 Saran... 71 DAFTAR PUSTAKA LAMPIRAN

(12)

DAFTAR TABEL

(13)

xiii

DAFTAR GAMBAR

Gambar 1.1. Persentase exploit yang terdeteksi oleh Trustwave... 2

Gambar 3.1. Flowchart alur penelitian... 18

Gambar 3.2. Firewall klien aktif... 21

Gambar 3.3. Installasi Firefox tahap 1... 22

Gambar 3.7. Installasi Java JRE tahap 1... 24

Gambar 3.10. Installasi CaptureBat tahap 1... 25

Gambar 3.11. Installasi CaptureBat tahap 2... 25

Gambar 3.12. Menjalankan CaptureBat... 26

Gambar 3.13. Membuat jaringan Wi-Fi tahap 1... 27

Gambar 3.14. Membuat jaringan Wi-Fi tahap 2... 27

Gambar 3.15. Jaringan Wi-Fi berhasil dibuat... 28

Gambar 3.16. Ping dari komputer klien ke komputer penyerang... 28

Gambar 3.17. Ping dari komputer penyerang ke komputer target... 29

Gambar 3.18. Menjalankan Metasploit Framework... 29

Gambar 3.19. Konfigurasi module exploit... 30

Gambar 3.20. Melihat hasil konfigurasi module exploit... 30

(14)

Gambar 3.22. Klien mengeksekusi malicious Java applet... 32

Gambar 3.23. Meterpreter sessions terbuka... 32

Gambar 3.24. Penyerang mendapatkan akses shell target... 33

Gambar 3.25. Membuat backdoor dengan msfpayload... 33

Gambar 3.26. Penyerang mengunggah backdoor ke komputer klien... 34

Gambar 3.27. Berhasil menambahkan key pada Windows Registry... 34

Gambar 3.28. Penyerang masuk ke sistem klien melalui backdoor... 35

Gambar 3.29. Penyerang menanam virus pada komputer klien... 35

Gambar 3.30. Virus menghapus dokumen klien... 35

Gambar 3.31. Tampilan aplikasi FTK Imager... 36

Gambar 3.32 Langkah-langkah capturing memory... 37

Gambar 3.33 Proses capturing memory... 37

Gambar 3.34 Capturing memory selesai... 38

Gambar 3.35 Synaptic package manager... 39

Gambar 3.36 Memilih package Volatility yang akan diinstal... 39

Gambar 3.37 Dialog box persetujan... 39

Gambar 3.38 Mengunduh Volatility... 40

Gambar 3.39 Installasi Volatility selesai... 40

(15)

xv

Gambar 3.47 Command line dari proses connhost.exe PID 3456... 43

Gambar 3.48 Command line dari proses reg.exe PID 2316... 43

Gambar 3.49 Proses yang di handle oleh jp2launcher.exe... 43

Gambar 3.50 Proses yang di handle oleh Java.exe PID 2732... 43

Gambar 3.51 Proses yang di handle oleh Java.exe PID 216... 44

Gambar 3.52 Proses yang di handle oleh conhost.exe PID 2684... 44

Gambar 3.53 Proses yang di handle oleh cmd.exe PID 3468... 44

Gambar 3.54 Proses yang di handle conhost.exe PID 3456... 44

Gambar 3.55 File yang di handle oleh java.exe PID 2732... 44

Gambar 3.56 File yang di handle oleh java.exe PID 216... 45

Gambar 3.57 File DLL yang di load oleh cmd.exe PID 3468... 45

Gambar 3.58 Koneksi yang terjadi pada komputer klien... 46

Gambar 3.59 CaptureBat selesai melakukan log... 47

Gambar 3.60 Tampilan aplikasi Wireshark... 47

Gambar 3.61 Wireshark membaca file log CaptureBat... 48

Gambar 3.62 Traffic data antara komputer peneyerang dengan klien... 48

Gambar 3.63 Paket data yang melalui protokol HTTP... 49

Gambar 3.64 Mendapatkan Malicious Java applet... 49

Gambar 3.65 Paket data yang melalui port 4444... 50

Gambar 3.66 Installasi aplikasi JD-GUI... 50

Gambar 3.67 Tampilan aplikasi JD-GUI... 51

Gambar 3.68 Decompling terhadap malicious Java applet... 51

Gambar 3.69 Installasi Comodo firewall tahap 1... 52

(16)

Gambar 3.75 Menu Firewall Task... 55

Gambar 4.1 dentifikasi malicous Java applet oleh virustotal... 57

Gambar 4.2 Java exploit CVE-2013-2046... 58

Gambar 4.3 DisableSecurityManagerAction.class... 59

Gambar 4.4 Isi dari Java cache 171d96cd-3873ba36... 60

Gambar 4.5 Isi dari Java cache 9130789768271918562... 61

Gambar 4.6 Isi dari Java cache 4555559258176874823... 62

Gambar 4.7 Menu Application Rules... 64

Gambar 4.8 Memilih aplikasi pada Application Rules... 64

Gambar 4.9 Membuat rule firewall... 65

Gambar 4.10 Rule firewall aktif... 65

Gambar 4.11 Meterpreter sessions gagal terbuka... 66

Gambar 4.12 Serangan tersebut terdeteksi oleh Comodo Firewall... 67

(17)

xvii ABSTRAKSI

Dalam 5 tahun terakhir jenis serangan client-side attacks jumlahnya meningkat secara dramatis. penyerang mengalihkan fokus mereka ke sisi klien yang memiliki celah lebih besar karena klien mempunyai perlindungan terhadap sistem yang lebih sederhana daripada server. Eksploitasi dengan menggunakan malicous

Java yang memanfaatkan kerentanan pada Java adalah yang paling sering terdeteksi

oleh Trustwave Secure Web Gateway anti-malware technology dengan persentase sebesar 78% dan sebagian besar penjahat cyber mengandalkan Java applet sebagai metode untuk mengirimkan malware maupun payload. Java applet attack method adalah salah satu teknik serangan yang memanfaatkan kerentananan pada Java untuk mengeksploitasi sistem user menggunakan Java applet dan dapat menyerang ke berbagai sistem operasi termasuk Windows 8 yang merupakan sistem operasi keluaran terbaru dari Microsoft. Skripsi ini bertujuan untuk menganalisa serangan

remote exploit melalui Java applet attack method terhadap sistem operasi Windows 8

yang terproteksi firewall.

Penelitian yang dilakukan menggunakan metode studi pustaka dan melakukan eksperimen yang melalui beberapa tahapan diantaranya studi kepustakaan, pengolahan data, pengujian serangan, analisa serangan, optimalisasi firewall, pengujian firewall dan penulisan laporan. Dengan menganalisa serangan tersebut akan diketahui perilaku dan karakterisiknya, karakteristik dari serangan tersebut terletak pada Java exploit dan Java payload yang ada didalam Java applet. Java

exploit berfungsi untuk melewati Java Virtual Machine (JVM) sandbox dan

menonaktifkan SecurityManager dan payload Java meterpreter berfungsi untuk mengelabuhi firewall dan sebagai media interaksi antara penyerang dengan sistem klien. Kemudian dibuat rule firewall pada Comodo Firewall yang mampu mencegah

payload untuk melakukan reverse connection dan mencegah payload melakukan staging.