IMPLEMENTASI METODE IPS (INTRUSION PREVENTION SYSTEM) TERHADAP SERANGAN BACKDOOR DAN SYNFLOOD

(1)

IMPLEMENTASI METODE IPS (INTRUSION

PREVENTION SYSTEM) TERHADAP SERANGAN

BACKDOOR DAN SYNFLOOD

TUGAS AKHIR

Disusun Oleh :

TOMY CANDRA DERMAWAN 09560468

JURUSAN TEKNIK INFORMATIKA

FAKULTAS TEKNIK

UNIVERSITAS MUHAMMADIYAH MALANG

2013

(2)

IMPLEMENTASI METODE IPS (INTRUSION

PREVENTION SYSTEM) TERHADAP SERANGAN

BACKDOOR DAN SYNFLOOD

TUGAS AKHIR

Diajukan Untuk Memenuhi

Persyaratan Guna Meraih Gelar Sarjana Strata 1 Teknik Informatika Universitas Muhammadiyah Malang

Disusun Oleh :

JURUSAN TEKNIK INFORMATIKA

FAKULTAS TEKNIK

UNIVERSITAS MUHAMMADIYAH MALANG

2013

(3)

LEMBAR PERSETUJUAN

IMPLEMENTASI METODE IPS (INTRUSION

PREVENTION SYSTEM) TERHADAP SERANGAN

BACKDOOR DAN SYNFLOOD

TUGAS AKHIR

Mengetahui/Menyetujui

Dosen Pembimbing I Dosen Pembimbing II

Ir.M.Irfan, MT Setio Basuki, ST

(4)

LEMBAR PENGESAHAN

IMPLEMENTASI METODE IPS (INTRUSION

PREVENTION SYSTEM) TERHADAP SERANGAN

BACKDOOR DAN SYNFLOOD

TUGAS AKHIR

Disusun Oleh :

Tugas Akhir ini telah diuji dan dinyatakan lulus oleh tim penguji pada tanggal 25 Juli 2013

Mengetahui/Menyetujui Penguji I

Diah Risqiwati, ST., MT

Penguji II

Denar Regeta Akbi, S.Kom

Mengtahui

Ketua Jurusan Teknik Informatika

Eko Budi Cahyono, S.Kom, MT NIP. 108.9504.0330

(5)

SURAT PERNYATAAN

Yang bertanda tangan dibawah ini,

Nama : Tomy Candra Dermawan

Tempat, Tgl Lahir : Malang, 06 Maret 1991

NIM : 09560468

Fakultas/Jurusan : Teknik/ Informatika

Dengan ini saya menyatakan bahwa Tugas Akhir dengan judul “IMPLEMENTASI

METODE IPS (INTRUSION PREVENTION SYSTEM) TERHADAP

SERANGAN BACKDOOR DAN SYNFLOOD” beserta seluruh isinya adalah karya saya sendiri dan bukan merupakan karya tulis orang lain, baik sebagian maupun seluruhnya, kecuali dalam bentuk kutipan yang telah disebutkan sumbernya.

Demikian surat pernyataan ini saya buat dengan sebenar-benarnya, apabila kemudian ditemukan adanya pelanggalaran terhadap etika keilmuan dalam karya saya ini, atau ada klaim dari pihak lain terhadap keaslian karya saya ini maka saya siap menanggung segala bentuk resiko/sanksi yang berlaku.

Mengetahui, Malang, Juli 2013

Dosen Pembimbing Yang Menyatakan

(6)

KATA PENGANTAR

Alhamdulillah, segala puji bagi Allah SWT yang telah memberi petunjuk dan serta melancarkan jalan sehingga penulis dapat menyelesaikan tugas akhir yang berjudul :

”IMPLEMENTASI METODE INTRUSION PREVENTION SYSTEM TERHADAP SERANGAN BACKDOOR DAN SYNFLOOD”

Di dalam tulisan ini disajikan pokok-pokok bahasan yang meliputi perancangan sistem, pembuatan Snort Ids, Firewall IPTables dan BASE, installasi aplikasi, serta pengujian sistem yang sudah dibuat.

Penulis menyadari bahwa penelitian ini masih jauh dari kesempurnaan. Oleh karena itu penulis mengaharapkan saran dan kritik yang membangun agar tulisan ini dapat bermanfaat bagi pengembangan ilmu pengetahuan kedepan. Perangkat lunak ini juga masih membutuhkan pengembangan lebih lanjut sehingga dapat lebih bermanfaat.

Akhir kata penulis mengucapkan terima kasih kepada semua pihak yang telah membantu hingga tugas akhir ini terselesaikan.

Malang, Juni 2013

(7)

DAFTAR ISI

HALAMAN JUDUL ... i

LEMBAR PERSETUJUAN ... ii

LEMBAR PENGESAHAN ... iii

HALAMAN PERNYATAAN KEASLIAN ... iv

ABSTRAK ... v

ABSTRACT ... vi

HALAMAN PERSEMBAHAN ... vii

KATA PENGANTAR ... viii

DAFTAR ISI ... ix

DAFTAR GAMBAR ... xiii

DAFTAR TABEL ... xv

BAB I PENDAHULUAN 1.1. Latar Belakang Masalah ... 1

1.2. Rumusan Masalah ... 2

1.3. Tujuan ... 2

1.4. Batasan Masalah... 2

1.5. Metodologi Penyelesaian Masalah ... 3

1.5.1. Studi Pustaka ... 3

1.5.2. Membuat Desain dan rancangan Sistem ... 3

1.5.3. Implementasi Sistem ... 3

1.5.4. Pengujian Tahap Sistem ... 3

1.6. Sistematika Penulisan ... 4

BAB II LANDASAN TEORI 2.1. Jaringan Komputer ... 6

2.1.1. Model TCP/IP ... 6

2.1.1.1. Application Layer... 6

(8)

2.1.1.3. Network Layer / Internet Layer... 8

2.1.1.4. Data Link Layer ... 8

2.2. Bridge ... 9

2.3. IP Address ... 10

2.3.1 Pembagian Kelas IP Address ... 11

2.4. Sistem Operasi ... 12

2.4.1 Macam Sistem Operasi ... 13

2.4.2 Sistem Operasi Unix, Ubuntu ... 13

2.5. Network Security ... 14

2.5.1 Bentuk Ancaman Pada Jaringan Komputer ... 14

2.6. Intrusion Detection System ... 15

2.6.1 Host Based Intrusion Detected system ... 16

2.6.2 Network Based Intrusion Detected System ... 17

2.7. Intrusion Prevention System ... 17

2.7.1 Portsentry ... 18

2.7.2 Sshdfilter ... 18

2.7.3 Snort ... 18

2.7.2 Network Base Intrusion Prevention System ... 18

2.8. Firewall ... 19

2.8.1 Fungsi firewall ... 19

2.8.2 Tipe - Tipe Firewal... 20

2.8.2.1 Application Level (Proxy)... 20

2.8.2.2 Paket Filtering ... 21

2.8.2.3 IPTables ... 22

2.8.3 Arsitektur Firewall ... 22

2.9. Snort ... 23

2.9.1 Arsitektur Snort ... 24

2.9.2 Aturan - Aturan Pada Snort ... 25

2.10. MySQL ... 26 BAB III ANALISA DAN PERANCANGAN SISTEM

(9)

3.1. Analisa Kebutuhan Sistem ... 27

3.2. Arsitektur Sistem ... 28

3.3. Kebutuhan Perangkat Lunak ... 29

3.4. Pengalamatan internet Protocol... 31

3.5. Skema Konfigurasi Sistem ... 33

3.5.1. Skema Instalasi Sistem ... 33

3.5.2. Skema Flowchart Sistem ... 34

3.6. Instalasi Sistem Dan Software Pendukung Snort ... 35

3.6.1. Instalasi Ubuntu 12.04 ... 35

3.6.2. Instalasi Apache, PHP, MySQL, dan Library Snort .... 36

3.6.3. Instalasi Snort ... 37

3.7. Konfigurai Pada Snort ... 38

3.7.1. Mode-Mode Snort ... 39

3.8. Rule Synflood ... 40

3.9. Konfigurasi IPTables ... 41

3.10. Jenis-jenis Tools Pengujian ... 42

BAB IV IMPLEMENTASI DAN PENGUJIAN 4.1. Prosedur Pengujian ... 44

4.2. Implementasi Sistem ... 45

4.2.1. Mengaktifkan Snort ... 46

4.3. Pengujian ... 46

4.3.1. Pelaksanaan Uji Coba dan Analisa ... 47

4.3.2. Hasil Uji Coba Monitoring Jaringan dengan BASE .... 47

4.3.3. Hasil Uji Coba Intrusi Serangan Backdoor ... 48

4.3.4. Hasil Uji Coba Intrusi Serangan Synflood ... 50

4.3.5. Hasil Uji Coba Pendeteksian serangan backdoor... 50

4.3.6. Hasil Uji Coba Pendeteksian serangan Synflood ... 51

4.3.7. Hasil Uji Coba Block IPAddress Serangan Backdoor . 51 4.3.8. Hasil Uji Coba Block IPAddress Serangan Synflood .. 52

(10)

4.3.9. Pada Database Server ... 52

4.3. Keadaan false positive,negative, true positive, negative ... 53

4.4.1. False positive ... 53

4.4.2. False negative ... 55

4.4.3. True positive ... 56

4.4.4. False negative ... 57

BAB V KESIMPULAN DAN SARAN 5.1. Kesimpulan ... 58

5.2. Saran ... 58

(11)

DAFTAR GAMBAR

Gambar 2.1. Model TCP/IP ... 6

Gambar 2.2. Contoh Frame Data... 8

Gambar 2.3. Lan dan Bridge ... 10

Gambar 2.4. Arsitektur Network Base Intrusion Prevention System... 18

Gambar 2.5. Penggunaan Proxy server pada dual home host ... 20

Gambar 2.6. Packet filtering menggunakan screening router ... 21

Gambar 2.7. Arsitektur dual homed host ... 22

Gambar 2.8. Arsitektur Snort ... 24

Gambar 3.1. Arsitektur Sistem ... 28

Gambar 3.2. Tahap Proses Input, Proses dan Output ... 29

Gambar 3.3. IPAddress pada server Intrusion Prevention System... 32

Gambar 3.4. IPAddress Backdoor Attacker ... 32

Gambar 3.5. IPAddress Synflood Attacker ... 33

Gambar 3.6. Skema Intalasi Server Intrusion Prevention System ... 33

Gambar 3.7. Flow chart Sistem Intrusion Prevention System ... 34

Gambar 3.8. Setting IPAddress Pada Server Intrusion Prevention System ... 35

Gambar 3.9. Instalasi Apache, PHP, MySQL, dan Library Snort ... 36

Gambar 3.10. Langkah Instalasi Snort ... 37

Gambar 3.11. Konfigurasi compile Snort ... 37

Gambar 3.12. Konfigurasi IPAddress Protecting Snort ... 38

Gambar 3.13. Rules Snort... 38

Gambar 3.14. Paket Header TCP/IP ... 39

Gambar 3.15. Aplikasi Berjalan Pada TCP/UDP/ICMP ... 39

Gambar 3.16. Snort Header Dari data Link Layer ... 40

Gambar 3.17. Rule Synflood ... 40

Gambar 3.18. Konfigurasi Rules pada iptables.rules ... 41

Gambar 3.19. Scirpt IPTables Shutdown ... 41

(12)

Gambar 3.21. Aplikasi Advanced Port Scanner... 42

Gambar 3.22. Aplikasi Hping3... 43

Gambar 4.1. Prosedur Pengujian ... 44

Gambar 4.2. Direktori Snort.conf ... 46

Gambar 4.3. Monitoring Jaringan Menggunakan BASE ... 47

Gambar 4.4. Port Scanning Menggunakan Advanced ... 48

Gambar 4.5. Membuat account Backdoor ... 49

Gambar 4.6. Serangan Synflood... 50

Gambar 4.7. Alert Backdoor... 50

Gambar 4.8. Alert Synflood ... 51

Gambar 4.9. Blocking Backdoor oleh IPTables ... 51

Gambar 4.10. Blocking Synflood oleh IPTables ... 52

Gambar 4.11. Monitoring BASE ... 53

Gambar 4.12. Paket request ... 53

Gambar 4.13. Alert serangan ... 54

Gambar 4.14. Alert serangan pada BASE ... 54

Gambar 4.15. Attacker serangan ... 55

Gambar 4.16. Tidak terdapat alert serangan pada server ... 55

Gambar 4.17. Terdapat adanya serangan pada server ... 56

Gambar 4.18. Report serangan pada BASE ... 56

Gambar 4.19. Tidak ada alert yang dihasilkan pada server ... 57

(13)

DAFTAR TABEL

Tabel 2.1. IPAddress ... 10

Tabel 2.2. IPAddress Kelas A ... 11

Tabel 2.3. IPAddress Kelas B ... 11

Tabel 2.4. IPAddress Kelas C ... 12

Tabel 3.1. Address server Intrusion Prevention System ... 31

(14)

DaftarPustaka

[1] Fahmi, I. 2010. Jaringan TCP/IP Terapan 1. Bandung : Computer Network Research Group.

[2] Hardiansyah, Irzam.2004. Schaum’s Outlines Of Computer Networking. Jakarta.PT Gelora Aksara Pratama

[3] Anggoro, Firman, Implementasi Laporan Deteksi Penyusupan Pada Sistem

Jaringan Komputer Melalui Email dan SMS.Politeknik Telkom Bandung

[4] Kristanto, A. 2003. Keamanan Data Pada Jaringan Komputer. Yogyakarta : PT Gava Media.

[5] Negara,I Made.2006. Penerapan Intrusion Detected System Untuk Memantau

dan Mengendalikan Jaringan Komputer. Sekolah Tinggi Manajemen

Informatika.

[6] Rafiudin,R. 2010. Mengganyang Hacker Dengan Snort. Penerbit ANDI Yogyakarta.

[7] Wicaksono, Bayu.2007. Perancangan dan Implementasi IPS (Intrusion

Prevention System) Berbasis Web Menggunakan Snort dan IPTables.

Politeknik Telkom Bandung.

[8] Sembiring, A. D 2010. Jaringan TCP/IP Terapan 2 . Bandung : Computer Network Research Group.

[9] Sidik, B. 2004. Unix Dan Linux. Bandung : PT Informatika Bandung.

[10] Prasetio, Budi Lukman.2011. Implementasi Pengamanan Jaringan

Menggunakan Intrusin Detection System (IDS) dan IPTAbles Berbasis LINUX di LAB Politeknik Telkom. Politeknik Telkom Bandung.

[11] Ardiyanto, Yudhi.2000.”Membangun Sistem Intrusion Detection System yang

open source”. Universitas Muhammadiyah Yogyakarta.

[12] Thomas, Tom.2005. Network Security First Step. Penerbit : Andi Yogyakarta. [13] Wahana, Komputer. 2005. Pengembangan Web di Linux dengan LAMP.

(15)

[14] Yudha, Ryan. Serangan Backdoor. http://id.wikipedia.org/wiki/backdoor. Diakses tanggal 20 Maret 2013

[15] Yudha, Ryan. Serangan Synflood. http://id.wikipedia.org/wiki/Synflood Diakses tanggal 20 Maret 2013