IMPLEMENTASI SISTEM KEAMANAN JARINGAN MENGGUNAKAN TEKNIK HOST BASED INTRUSION DETECTION SYSTEM (HIDS)
PADA JURUSAN TEKNIK KOMPUTER
LAPORAN AKHIR
Laporan Ini Disusun untuk Memenuhi Syarat Menyelesaikan Pendidikan Diploma III Jurusan Teknik Komputer Politeknik Negeri Sriwijaya
Oleh :
R. Umar Novriansyah NIM 061730700547
JURUSAN TEKNIK KOMPUTER POLITEKNIK NEGERI SRIWIJAYA
2020
ii
iii
iv
MOTTO
“Perbedaan orang yang berhasil dan gagal hanyalah sebatas menyerah dan tidak dalam suatu hal, maka
aku pilih tidak menyerah dalam hal apapun”
( Mochamad Rizal Safari )
“You yourself have to change first, or nothing will change for you.”
( Gintoki Sakata )
Kupersembahkan untuk :
Kedua orang tuaku
Keluarga tercinta
Dosen Jurusan Teknik Komputer
Teman – Teman Seperjuangan 6 CB
Almamaterku
v ABSTRAK
IMPLEMENTASI SISTEM KEAMANAN JARINGAN MENGGUNAKAN TEKNIK HOST BASED INTRUSION DETECTION SYSTEM (HIDS)
PADA JURUSAN TEKNIK KOMPUTER
(R. Umar Novriansyah, 2020 : 41 halaman)
IDS (Intrusion Detection System) adalah sebuah sistem yang dapat secara otomatis memonitor kejadian pada jaringan komputer dan dapat menganalisa masalah keamanan jaringan. IDS mampu mendeteksi penyusup dan memberikan respon secara real time. Dengan adanya IDS dalam sebuah jaringan, maka kemungkinan adanya serangan atau penyusup kedalam sebuah jaringan akan semakin kecil karena akan terdeteksi oleh IDS dan juga IDS akan memberi peringatan kepada network administrator bila terjadi serangan atau penyusup pada jaringan. Terdapat dua teknik yang digunakan dalam IDS yaitu, NIDS (Network Based Intrusion Detection System) dan HIDS (Host Based Intrusion Detection System). HIDS memiliki beberapa kelebihan dibandingkan dengan NIDS, sehingga yang akan diimplementasikan kali ini adalah IDS dengan teknik HIDS.
HIDS juga mampu melakukan pemeriksaan sistem tambahan yang hanya bisa dilakukan bila aplikasi IDS dipasang pada host, seperti file integrity checking, registry monitoring, log analysis, rootkit detection dan active respone. Salah satu software yang menggunakan teknik HIDS ialah OSSEC (Open Source Security).
Peniliti akan melakukan pengujian menggunakar server sistem operasi Centos 7.
Pengujian dilakukan dengan menyerang berbagai serangan yaitu Denial of Service, Port Scanning dan SSH Attack. Server akan mendeteksi dan memblokir akses penyerang sehingga jaringan server tersebut akan tetap aman.
Kata Kunci: IDS, HIDS, Keamanan Jaringan, OSSEC
vi ABSTRACT
IMPLEMENTATION OF NETWORK SECURITY SYSTEM USING HOST BASED INTRUSION DETECTION SYSTEM (HIDS) TECHNIQUES IN
COMPUTER ENGINEERING
(R. Umar Novriansyah, 2020 : 41 Pages )
IDS (Intrusion Detection System) is a system that can automatically monitor events on computer networks and can analyze network security problems.
IDS is able to detect intruders and respond in real time. With the IDS in a network, the possibility of an attack or intruder into a network will be smaller because it will be detected by the IDS and also the IDS will alert the network administrator when an attack or intruder occurs on the network. There are two techniques used in IDS, namely, NIDS (Network Based Intrusion Detection System) and HIDS (Host Based Intrusion Detection System). HIDS has several advantages compared to NIDS, so that what will be implemented this time is IDS with the HIDS technique. HIDS is also capable of performing additional system checks that can only be done if the IDS application is installed on the host, such as file integrity checking, registry monitoring, log analysis, rootkit detection and active response. One software that uses the HIDS technique is OSSEC (Open Source Security). Researchers will test using the Centos 7 operating system server. Tests are carried out by attacking various attacks, namely Denial of Service, Port Scanning and SSH Attack. The server will detect and block attacker access so that the server network will remain secure.
Keywords : IDS, HIDS, Network Security, OSSEC
vii
KATA PENGANTAR
Assalamu’alaikum Wr. Wb.
Puji syukur Penulis haturkan kehadirat Allah SWT, atas segala rahmat dan karunia-Nya sehingga penulis dapat menyelesaikan penyusunan Laporan Akhir ini tepat pada waktunya dengan judul “Implementasi Sistem Keamanan Jaringan Menggunakan Teknik Host Based Intrusion Detection System (HIDS) Pada Jurusan Teknik Komputer”. Shalawat dan salam selalu tercurah kepada Rasulullah SAW, keluarganya, sahabatnya dan para pengikutnya hingga akhir zaman.
Tujuan penulisan laporan akhir ini dibuat sebagai persyaratan kurikulum untuk menyelesaikan Program Studi Teknik Komputer di Politeknik Negeri Sriwijaya. Sebagian bahan penulisan diambil berdasarkan hasil penelitian, observasi dan beberapa sumber literatur yang mengandung penulisan laporan.
Pada kesempatan ini, penulis menyampaikan ucapan terima kasih yang sebesar- besarnya kepada semua pihak yang telah memberikan segala kemudahan, bimbingan, pengarahan, dorongan, bantuan baik moril maupun materil selama penyusunan Laporan Akhir ini.
Selanjutnya penulis ucapkan terima kasih kepada seluruh pihak yang telah membantu dalam penulisan laporan ini, antara lain :
1. Kepada Allah SWT karena berkat Rahmat dan Karunia-Nya penulis bisa menyelesaikan Laporan Akhir ini.
2. Kepada Orangtua dan saudara - saudari ku tercinta, yang telah memberikan doa dan restu serta dukungan yang sangat besar.
3. Bapak Dr. Ing. Ahmad Taqwa, M.T. selaku Direktur Politeknik Negeri Sriwijaya.
4. Bapak Azwardi, S.T., M.T. selaku Ketua Jurusan Teknik Komputer Politeknik Negeri Sriwijaya.
5. Bapak Slamet Widodo, S.Kom., M.Kom selaku Pembimbing I dan serta Bapak Ali Firdaus, S.Kom., M.Kom selaku Pembimbing II yang
viii
telah membimbing saya dari awal sampe akhir pembuatan Laporan Akhir ini.
6. Bapak/Ibu Dosen Jurusan Teknik Komputer Politeknik Negeri Sriwijaya.
7. Segenap teman-teman dan para sahabat yang telah memberikan motivasi dan dukungan dalam penyusunan Laporan Akhir ini.
Tiada lain harapan penulis semoga Allah SWT membalas segala niat baik kepada semua pihak yang telah membantu. Penulis menyadari bahwa laporan ini masih jauh dari kesempurnaan. Mengingat kurangnya pengetahuan dan pengalaman penulis. Oleh karena itu kritik dan saran yang membangun sangat penulis harapkan sebagai bahan acuan dan perbaikan untuk penulis dalam menyempurnakan laporan ini.
Palembang, September 2020
Penulis
ix DAFTAR ISI
Halaman
HALAMAN JUDUL ... i
LEMBAR PENGESAHAN ... ii
LEMBAR PENGESAHAN PENGUJI ... iii
MOTTO ... iv
ABSTRAK ... v
ABSTRACT ... vi
KATA PENGANTAR ... vii
DAFTAR ISI ... ix
DAFTAR GAMBAR ... xii
DAFTAR TABEL ... xiii
BAB I PENDAHULUAN 1.1 Latar Belakang ... 1
1.2 Rumusan Masalah ... 2
1.3 Batasan Masalah ... 2
1.4 Tujuan ... 3
1.5 Manfaat ... 3
BAB II TINJAUAN PUSTAKA 2.1 Penelitian Terdahulu ... 4
2.2 Personal Computer (PC) ... 4
2.3 Jaringan Komputer ... 5
2.4 Keamanan Jaringan Komputer ... 5
2.5 OSI Layer ... 6
2.5.1 TCP/IP Protocol Suite ... 8
2.6 Topologi Jaringan ... 9
2.7 Intrusion Detection System (IDS) ... 9
2.7.1 Tujuan Penggunaan IDS ... 9
x
2.7.2 Jenis – Jenis IDS ... 10
2.7.3 Cara Kerja IDS ... 11
2.8 Firewall ... 12
2.8.1 Jenis-Jenis Firewall ... 12
2.9 Jenis Serangan ... 13
2.9.1 Denial of Service ... 13
2.9.2 Scanning ... 13
2.10 CentOS ... 14
2.11 OSSEC ... 15
2.12 Metasploit ... 15
2.13 Web Server Apache ... 16
2.13 Flowchart ... 18
BAB III RANCANG BANGUN 3.1 Perancangan Sistem ... 21
3.2 Diagram Alir Rancang Bangun Sistem ... 21
3.3 Skema Perancangan ... 23
3.4 Analisis Kebutuhan ... 24
3.4.1 Komputer Server ... 24
3.4.2 Komputer Penyerang ... 24
3.4.3 Switch ... 24
3.5 Penginstallan OSSEC ... 25
3.5.1 Penginstallan OSSEC Web Interface (OSSEC-WUI) . 30 3.5.2 Menyiapkan Fitur Active Response Pada OSSEC ... 31
BAB IV HASIL DAN PEMBAHASAN 4.1 Tujuan Pengujian ... 33
4.2 Perancangan Pengujian ... 33
4.2.1 Jenis Serangan ... 33
4.3 Pengujian dan Hasil ... 33
4.3.1 Pengujian Terhadap Seranngan DoS ... 35
4.3.2 Pengujian Terhadap Serangan Port Scanning ... 36
xi
4.3.3 Pengujian Gagal Login Menggunakan SSH ... 38 4.4 Pembahasan ... 40
BAB V KESIMPULAN DAN SARAN
5.1 Kesimpulan ... 41 5.2 Saran ... 41
DAFTAR PUSTAKA LAMPIRAN
xii
DAFTAR GAMBAR
Gambar 2.1 Personal Komputer ... 4
Gambar 2.2 Model OSI Layer ... 6
Gambar 2.3 Prokol TCP/IP ... 8
Gambar 2.4 Logo CentOS ... 14
Gambar 2.5 Logo OSSEC ... 15
Gambar 2.6 Logo Apache Software Foundation ... 17
Gambar 3.1 Blok Diagram ... 21
Gambar 3.2 Flowchart Rancang Sistem ... 22
Gambar 3.3 Skema Jaringan ... 23
Gambar 3.4 Disable SELINUX ... 26
Gambar 3.5 Mengunduh file source OSSEC ... 27
Gambar 3.6 Ekstraksi dan Installasi OSSEC ... 27
Gambar 3.7 Konfigurasi OSSEC ... 28
Gambar 3.8 Menjalankan OSSEC ... 29
Gambar 3.9 Mengunduh OSSEC-WUI ... 30
Gambar 3.10 Konfigurasi OSSEC-WUI ... 31
Gambar 3.1 Konfigurasi Active Response ... 32
Gambar 4.1 OSSEC Web Interface ... 34
Gambar 4.2 Metasploit Framework ... 34
Gambar 4.3 Pengujian DoS ... 35
Gambar 4.4 Pendeteksian DoS Attack pada OSSEC ... 35
Gambar 4.5 Memblokir IP Penyerang serangan DoS ... 36
Gambar 4.6 Pengujian Port Scanning ... 37
Gambar 4.7 Pendeteksian Port Scanning Pada OSSEC ... 37
Gambar 4.8 Memblokir IP Penyerang PortScanning ... 38
Gambar 4.9 Pengujian Gagal Login SSH ... 38
Gambar 4.10 Pendeteksian Autentikasi SSH Pada OSSEC ... 39
Gambar 4.11 Memblokir IP Penyerang SSH Gagal Autentikasi ... 39
xiii
DAFTAR TABEL
Tabel 2.1 Flowchart ... 18 Tabel 3.1 Spesifikasi Switch ... 24 Tabel 4.1 Hasil Pengujian ... 40
