APLIKASI PENDETEKSI MALWARE DENGAN TEKNIK ANALISIS DINAMIS

(1)

SKRIPSI

APLIKASI PENDETEKSI MALWARE DENGAN TEKNIK ANALISIS DINAMIS

ADAM HAFIDZ FITRASANI NPM: 2013730067

PROGRAM STUDI TEKNIK INFORMATIKA FAKULTAS TEKNOLOGI INFORMASI DAN SAINS

UNIVERSITAS KATOLIK PARAHYANGAN

2017

(2)

(3)

UNDERGRADUATE THESIS

MALWARE DETECTOR APPLICATION WITH DYNAMIC ANALYSIS TECHNIQUE

ADAM HAFIDZ FITRASANI NPM: 2013730067

DEPARTMENT OF INFORMATICS

FACULTY OF INFORMATION TECHNOLOGY AND SCIENCES

PARAHYANGAN CATHOLIC UNIVERSITY

2017

(4)

(5)

LEMBAR PENGESAHAN

APLIKASI PENDETEKSI MALWARE DENGAN TEKNIK ANALISIS DINAMIS

ADAM HAFIDZ FITRASANI NPM: 2013730067

Bandung, 22 Mei 201 7 Menyetujui,

Pembimbing

(

D roni a r M oertini

~

^?-

^-LY-

^io

^r-,-

Ketua Tim Penguji Anggota Tim Penguji

"

~

Aditya Bagoes Saputra, M. T.

Mengetahui, Ketua Program Studi

Mariskha Tri Adithia, P.D.Eng

(6)

(7)

PERNYATAAN

Dengan ini saya yang bertandatangan di bawah ini menyatakan bahwa _skripsi dengan judul:

APLIKASI PENDETEKSI MALWARE DENGAN TEKNIK ANALISIS DINAMIS

adalah benar-benar karya saya sendiri, dan saya tidak melakukan penjiplakan atau pengutipan dengan cara-cara yang tidak sesuai dengan etika keilmuan yang berlaku dalam masyarakat keilmuan.

Atas pernyataan ini, saya siap menanggung segala risiko dan sanksi yang dijatuhkan kepada saya, apabila di kemudian hari ditemukan adanya pelanggaran terhadap etika keilmuan dalam karya saya, atau jika ada tuntutan formal atau non-formal dari pihak lain berkaitan dengan keaslian karya saya ini.

Dinyatakan di Bandung, 22 Mei 2()17

• -

Adam ·-Iafitlz EiLra~aui NPM: 2013730067

I .

(8)

(9)

ABSTRAK

Pada masa kini, pemakaian komputer, notebook dan sebagainya sudah sangat banyak.

Ada banyak sistem operasi yang digunakan oleh perangkat-perangkat tersebut, contohnya adalah Ubuntu, Debian, dan Windows. Saat ini yang paling umum digunakan di dunia ini adalah sistem operasi Windows. Pada sistem operasi Windows, banyak aplikasi yang dapat digunakan untuk membantu aktifitas tertentu. Contohnya adalah aplikasi pengolah kata, peramban internet, dan pengolah data. Terkadang, ada aplikasi berbahaya yang melakukan aktifitas-aktifitas yang membahayakan sistem yang berjalan. Aktifitas yang dilakukan oleh aplikasi tersebut bersifat tersembunyi sehingga jika aplikasi tersebut melakukan suatu perubahan, perubahan tersebut tidak terdeteksi oleh pengguna. Biasanya, perangkat lunak yang mendeteksi ini tidak menyimpan data perubahan apa saja yang dilakukan oleh aktifitas tersembunyi tersebut. Aktifi- tas tersembunyi biasanya adalah meng-edit sebuahfile, meng-copyfile, menghapusfile, mengirim file melalui jaringan, mengakses jaringan tertentu atau situs tertentu. Wa- laupun aktifitas-aktifitas tersebut merupakan hal yang normal, aktifitas tersebut bisa menjadi berbahaya jika aktifitas-aktifitas yang disebutkan di atas dilakukan tanpa sepengetahuan pengguna danfileyang digunakan di dalam aktifitas tersebut merupakanfile sistem atau file penting milik pengguna. Ada kemungkinan juga aplikasi yang berbahaya itu akan mengakses situs-situs atau jaringan yang berbahaya, misalnya situs-situs yang ketika diakses akan mengunduh malware.

Tujuan dari penelitian yang dibuat adalah untuk membuat aplikasi yang dapat mencatat aktifitas malware terhadap sistem, dan mengirimkan pesan ke server terka- it dengan aktifitas malware yang dilakukan di komputer tersebut. Dengan demikian komputer yang dipantau dapat diketahui bagian mana saja yang diubah oleh malware.

Analisis dinamis adalah analisis yang menggunakan tingkah laku dari suatu proses untuk menentukan apakah suatu proses adalahmalwareatau bukan. Dari hasil penelitian mengenai sistem pendeteksianmalware, dapat disimpulkan bahwa dapat mendeteksi malware dengan menggunakan analisis dinamis. Program pendeteksi malware yang dibuat sudah memenuhi tujuan dari penelitian yang dilakukan yaitu membuat aplikasi yang dapat mendeteksi malware di komputer dan mengirimkan data tentang aktifitas malware yang terjadi di komputer.

Kata-kata kunci: malware, analisis dinamis, virus, worm, trojan

(10)

(11)

ABSTRACT

Nowadays, usage of computers, notebook and its kind is increasing. There is a lot of operating system that used by those hardware, for example Ubuntu, Debian and Win- dows. Right now the one who most used by people in the world is Windows operating system. In Windows operating system, there is a lot of application that can be used to help a certain activity. For example is word processor, web browser and spreadsheet processor. Sometimes, there is a harmful software that doing harmful activities that compromising running system. Those activities is hidden so when the application making any changes, the changes won’t be noticed by user. Usually the kind of harmful software detector did nott make any log for what that has been changed by those ap- plications. The hidden activities usually is editing a file, copying a file, deleting a file, sending a file via network and accessing network or website without user consent. Even tough those activities are considered normal, those activity can be dangerous if the activities said before was done without user noticing and the files used in those activities is a system file or users important file. There is a chance that the harmful application will access harmful websites and networks, for example the sites where when accessed will download malware to the system right away.

The point of this research is to make an application that can log malwares activities to system, and sending its log to the server about the malwares activities that has been done in that computer. With the logs user will be known about the attack done by malware.

Dynamic analisis is an analysis that using a proses behavior to deduce, is the proses is a malware or not. From the research about malware detection system, can be deducted that in analysis stage that we can use dynamic analysis to detect malware. Activity detector application that has been made is fulfilling this research point, that is making an application that can detect malware activity and sending log to server about the malware activity at the computer

Keywords: malware, dynamic analysis, virus, worm, trojan

(12)

(13)

keluargaku

(14)

(15)

KATA PENGANTAR

Puji dan syukur kepada Tugan Yang Maha Esa atas segala kelimpahan rahmat, berkat dan bimbingan-Nya sehingga penulis dapat menyelesaikan skripsi ini sesuai dengan waktu yang telah di- rencanakan. Penulis menyadari bahwa di dalam skripsi ini masih terdapat kekurangan-kekurangan yang disebabkan terbatasnya kemampuan dan pengetahuan yang dimiliki penulis. Pada kesempat- an ini, penulis ingin menyampaikan rasa terima kasih yang sebesar-besarnya kepada:

1. Orang tua penulis yaitu Juniarto dan Nenden, yang selalu memberikan dukungan selama penulis mengerjakan skripsi ini.

2. Bapak Chandra Wijaya selaku dosen pembimbing yang telah memberikan banyak bantuan berupa kritik, saran dan nasihat dalam penyusunan skripsi ini.

3. Para Administrator Laboratorium FTIS, yaitu Eca, Kalas, Ncen, Gun dan Sam sebagai teman yang selalu membantu penulis baik dalam penulisan skripsi atau dalam kehidupan sehari-hari.

4. Takenaka Mayu yang selalu memberikan semangat kepada penulis saat penulisan skripsi ini.

5. Rekan-rekan Teknik Informatika 2013 yang tidak bisa disebutkan satu-per-satu.

6. Laptop pribadi penulis yang telah setia menemani penulis dalam keadaan apapun.

Akhir kata penulis berterima kasih dan memohon maaf kepada pihak-pihak yang telah membantu tetapi tidak tertuliskan oleh penulis. Kesempurnaan hanyalah milik Tuhan semata, oleh karena itu penulis dengan sepenuh hati akan menerima kritik dan saran yang dapat membantu penyempurnaan skripsi ini.

Bandung, Mei 2017

Penulis

xv

(16)

(17)

DAFTAR ISI

Kata Pengantar xv

Daftar Isi xvii

Daftar Gambar xix

Daftar Tabel xxi

1 Pendahuluan 1

1.1 Latar Belakang . . . 1

1.2 Rumusan Masalah . . . 2

1.3 Tujuan . . . 2

1.4 Batasan Masalah . . . 2

1.5 Metodologi Penelitian . . . 2

1.6 Sistematika Pembahasan . . . 3

2 Dasar Teori 5 2.1 Sistem Operasi . . . 5

2.1.1 System Call . . . 5

2.1.2 Proses . . . 7

2.1.3 Address Space . . . 8

2.1.4 Process Table . . . 8

2.1.5 Hooking . . . 10

2.2 Malware . . . 11

2.2.1 Virus Komputer . . . 12

2.2.2 Trojan . . . 12

2.2.3 Rootkit . . . 13

2.2.4 Worm . . . 13

2.2.5 Adware . . . 13

2.3 System call yang dipanggilmalware . . . 13

2.4 Pendeteksian Malware . . . 14

2.4.1 Pendeteksian Statis. . . 15

2.4.2 Pendeteksian Dinamis . . . 15

2.5 Deviare2 . . . 15

2.6 Visual Studio . . . 15

2.6.1 C#. . . 15

2.6.2 Framework .NET . . . 16

3 Analisis 17 3.1 Analisis Masalah . . . 17

3.2 Analisis Malware . . . 17

3.2.1 Alina. . . 18

3.2.2 Artemis . . . 18

xvii

(18)

3.2.3 Asprox. . . 18

3.2.4 WBNA . . . 19

3.2.5 Trojan.Inject . . . 19

3.3 Signature Malware dan Severity . . . 19

3.4 Pengambilan System call. . . 19

3.5 Hooking . . . 21

3.6 Hook Enumerator. . . 22

3.7 Analisis Sistem . . . 23

3.7.1 Sistem Pendeteksi . . . 23

3.7.2 Diagram ERD Sistem untuk Melihat Hasil Pendeteksian . . . 23

3.7.3 Diagram Kelas Sistem Pendeteksi. . . 24

3.8 Alur Program . . . 26

4 Perancangan 31 4.1 Perancangan Basis Data . . . 31

4.2 Diagram Kelas Rinci . . . 31

4.2.1 Deskripsi Kelas dan Fungsi . . . 31

4.3 Perancangan Antar Muka . . . 47

5 Implementasi dan pengujian program 49 5.1 Implementasi program . . . 49

5.1.1 Lingkungan Pembangunan Program . . . 49

5.1.2 Lingkungan Database Program . . . 49

5.1.3 Lingkungan Pengujian Program . . . 49

5.1.4 Persiapan IDE danLibrary . . . 50

5.1.5 Hasil Implementasi . . . 50

5.2 Pengujian Fungsional dan Eksperimental. . . 50

5.2.1 Pengujian Fungsional. . . 51

5.3 Kesimpulan Pengujian . . . 64

6 Kesimpulan dan Saran 67 6.1 Kesimpulan . . . 67

6.2 Saran . . . 67

Daftar Referensi 69

A Kode Program 71

xviii

(19)

DAFTAR GAMBAR

2.1 Syntax dari CreateFile . . . 6

2.2 Syntax dari DeleteFile . . . 6

2.3 Syntax dari CopyFileEx . . . 6

2.4 State dari proses . . . 7

2.5 Tampilan dari Task Manager dan Proses yang berjalan . . . 8

2.6 Proses dari Google Chrome . . . 8

2.7 Gambaran sebuahAddress Space . . . 9

2.8 Gambaran sebuahProcess Table . . . 9

2.9 Import Address Table . . . 10

2.10 Alur API Call dari IAT Patching . . . 11

2.11 Inline Hooking . . . 12

3.1 Program saat proses notepad belum berjalan . . . 20

3.2 Program saat proses notepad sudah berjalan. . . 20

3.3 Hasil capture dari proses notepad . . . 20

3.4 Diagram ERD dari basis data . . . 23

3.5 Diagram kelas dari perangkat lunak yang akan dibangun. . . 27

3.6 Alur Program Bagian 1 . . . 28

3.7 Alur Program Bagian 2 . . . 29

4.1 Diagram Kelas . . . 32

4.2 Diagram Kelas Program . . . 32

4.3 Diagram Kelas HookEngine . . . 33

4.4 Diagram Kelas ProcessEngine . . . 37

4.5 Diagram Kelas DllRegister. . . 40

4.6 Diagram Kelas GlobalManager . . . 41

4.7 Diagram Kelas databaseConnection . . . 42

4.8 Diagram Kelas ProcessTimer . . . 43

4.9 Diagram Kelas ProcessCall . . . 44

4.10 Rancangan Antar Muka Sistem untuk Melihat Data Pendeteksian . . . 48

5.1 Pengujian Google Chrome bagian 1 . . . 52

5.4 Pengujian Internet Explorer bagian 1 . . . 53

5.5 Pengujian Internet Explorer bagian 2 . . . 54

5.6 Pengujian Microsoft Paint bagian 1 . . . 55

5.7 Pengujian Microsoft Paint bagian 2 . . . 55

5.8 Pengujian Windows Media Player bagian 1 . . . 56

5.11 Pengujian Malware Alina bagian 1 . . . 57

5.12 Pengujian Malware Alina bagian 2 . . . 58 xix

(20)

5.13 Pengujian Malware Artemis bagian 1 . . . 59

5.14 Pengujian Malware Artemis bagian 2 . . . 59

5.15 Pengujian Malware Asprox bagian 1 . . . 60

5.16 Pengujian Malware Asprox bagian 2 . . . 60

5.17 Pengujian Malware Bechiro bagian 1 . . . 61

5.18 Pengujian Malware Bechiro bagian 2 . . . 61

5.19 Pengujian Malware Dropper bagian 1. . . 62

5.20 Pengujian Malware Dropper bagian 2. . . 62

5.21 Pengujian Malware LoadMoney bagian 1. . . 63

5.22 Pengujian Malware LoadMoney bagian 2. . . 63

5.23 Pengujian Malware Proteous bagian 1 . . . 64

5.24 Pengujian Malware Proteous bagian 2 . . . 65

5.25 Pengujian Malware Zeus bagian 1 . . . 65

5.26 Pengujian Malware Zeus bagian 2 . . . 66

xx

(21)

DAFTAR TABEL

3.1 Kelas HookEngine . . . 24

3.2 Kelas ProcessEngine . . . 25

3.3 Kelas GlobalManager. . . 25

3.4 Kelas databaseConnection . . . 26

3.5 Kelas ProcessCall . . . 26

4.1 Detil dari Kolom Basis Data. . . 31

4.2 Kolom Basis Data Logging. . . 47

xxi

(22)

(23)

BAB 1

PENDAHULUAN

Pada bagian ini akan dijelaskan tentang latar belakang pengambilan judul skripsi ini, masalah yang dihadapi, batasan masalah, tujuan dari skripsi ini, metodologi penelitian dan sistematika penelitian dari skripsi ini.

1.1 Latar Belakang

Pada masa kini, pemakaian komputer dan notebook sudah sangat banyak. Ada banyak sistem operasi yang digunakan oleh perangkat-perangkat tersebut, contohnya adalah Ubuntu, Debian, dan Windows. Saat ini yang paling umum digunakan di dunia ini adalah sistem operasi Windows.

Pada sistem operasi Windows, banyak aplikasi yang dapat digunakan untuk membantu aktivitas tertentu. Contohnya adalah aplikasi pengolah kata, peramban internet, dan pengolah data. Ter- kadang, ada aplikasi berbahaya yang melakukan aktivitas-aktivitas yang membahayakan sistem yang berjalan. aktivitas yang dilakukan oleh aplikasi tersebut bersifat tersembunyi sehingga jika aplikasi tersebut melakukan suatu perubahan, perubahan tersebut tidak terdeteksi oleh pengguna.

Biasanya, perangkat lunak yang mendeteksi ini tidak menyimpan data perubahan apa saja yang dilakukan oleh aktivitas tersembunyi tersebut. aktivitas tersembunyi biasanya adalah mengubah sebuah file, menduplikasi file, menghapus file, mengirimfile melalui jaringan, mengakses jaringan tertentu atau situs tertentu. Walaupun aktivitas-aktivitas tersebut merupakan hal yang normal, aktivitas tersebut bisa menjadi berbahaya jika aktivitas-aktivitas yang disebutkan di atas dilakukan tanpa sepengetahuan pengguna dan file yang digunakan oleh aktivitas tersebut merupakanfile sistem ataufile penting milik pengguna. Ada kemungkinan juga aplikasi yang berbahaya itu akan mengakses situs-situs atau jaringan yang berbahaya, misalnya situs-situs yang ketika diakses akan mengunduhmalware.

Semua perangkat lunak yang melakukan aktivitas berbahaya di suatu sistem disebut dengan malware[1]. Malware adalah singkatan dari Malicious Software, yaitu perangkat lunak yang jika aktif dapat merusak kerja perangkat, mengumpulkan data-data sensitif, mendapatkan akses ke perangkat target atau menampilkan iklan yang menganggu[1]. Malware dapat muncul dengan berbagai bentuk seperti berkasexecutable,scriptsdan konten aktif sepertiflash. Salah satu contoh malware yang terkenal adalah Sony Rootkit. Sony Rootkit adalah malware yang dipasang oleh Sony di dalam CD yang dijual yang kemudian jika dipakai oleh pembeli akan secara otomatis dipasang di perangkat pengguna agar mencegah pembajakan lagu. Tetapi secara tidak langsung malware ini juga menyadap aktivitas pengguna dan juga membuat celah yang dapat digunakan olehmalware lain untuk menyerang perangkat korban. Kurang sadarnya para pengguna komputer menyebabkan malware mudah untuk menyebar. Penyebaranmalwareterjadi dengan banyak cara, seperti menyisipkannya di program yang korban unduh, melalui flashdisk, dan melalui dokumen dengan cara menyisipkan kode program di dokumen tersebut.

Pada saat ini banyak perusahaan yang sudah membangunanti-malware. Anti-malware adalah aplikasi yang digunakan untuk mendeteksi malware. Teknik yang digunakan olehanti-malwarejuga ada dua macam, yaitu statis dan dinamis. Teknik analisis statis hanya akan mengecek malware dari isi berkas saja sedangkan teknik analisis dinamis akan mengecekmalware dari aktivitas yang

1

(24)

2 Bab 1. Pendahuluan

dilakukan suatu proses. Teknik analisis dinamis akan mengandalkan hook ke sebuah proses agar dapat menganalisis apa yang dilakukan oleh suatu proses. Pendeteksian oleh anti-malware pada saat ini hanya mendeteksi file yang terinfeksi tanpa adanya informasi tentang perubahan apa saja yang telah dilakukan oleh Malware. Sehingga pengguna tidak mengetahui apakah malware telah menghapus berkas milik pengguna atau mengubah berkas milik pengguna. Dengan adanya aplikasi pendeteksimalwareyang mencatat aktivitasmalware, maka jika ada aktivitas yang mencurigakan dapat memberitahukan ke korban, yang kemudian dapat dilakukan perbaikan atau pencegahan terhadapmalware sebelum terjadi kerusakan yang lebih parah.

1.2 Rumusan Masalah

• Bagaimana cara mendeteksi malware yang melakukan aktivitas yang berbahaya

• Bagaimana cara merekam aktivitas dari suatu malware

• Bagaimana cara mengirim catatan yang telah direkam ke server yang ada

1.3 Tujuan

Tujuan dari penelitian yang dibuat adalah untuk membuat aplikasi yang dapat mencatat aktivitas malwaredi dalam suatu sistem, dan mencegahmalwaretersebut aktif. Selain mendeteksi dan mencegah aktivitasmalware di dalam suatu siste, akan mencatat aktivitas tersebut dan mengirimkan catatan tersebut ke server yang dibangun.

1.4 Batasan Masalah

Batasan masalah yang digunakan saat menulis skripsi ini adalah:

1. Malware yang diambil untuk analisis dan percobaan adalahmalware yang berupa file execu- table.

2. Sistem operasi yang digunakan adalah Windows 7 64-bit.

1.5 Metodologi Penelitian

Langkah-langkah yang dilakukan dalam skripsi ini adalah:

1. Studi Pustaka

Tahap ini dilakukan untuk memahami pengetahuan mengenai dasar-dasar teori yang berhu- bungan dengan pendeteksian malware, dan juga mengetahui cara komunikasi antara klien dan server.

2. Menganalisis dan merancang Program

Tahap ini dilakukan untuk merancang program yang akan dibuat sesuai dengan kebutuhan sistem. Perancangan yang dilakukan termasuk dengan perancangandatabase untuk pelapor- an aktivitas dan sistem pendeteksimalware.

3. Mengimplementasikan Perangkat Lunak1

Tahap ini dilakukan untuk mengimplementasikan perangkat lunak Aplikasi Pendeteksi Ak- tivitas Komputer Tersembunyi.

4. Melakukan Pengujian Terhadap Perangkat Lunak

Tahap ini dilakukan untuk menguji perangkat lunak yang telah dibuat, menguji kesesuaian perangkat lunak dengan tujuan skripsi atau tidak.

(25)

1.6. Sistematika Pembahasan 3 5. Penarikan Kesimpulan

Tahap ini dilakukan untuk mengambil kesimpulan berdasarkan pengujian yang telah dilakukan.

1.6 Sistematika Pembahasan

Sistematika pembahasan penelitian ini, yaitu:

1. Bab 1 Pendahuluan, berisi mengenai permasalahan yang akan dibahas dalam penelitian yang akan dilakukan dan mejelaskan latar belakang, rumusan masalah, tujuan, metodologi beserta sistematika pembahasan.

2. Bab 2 Dasar Teori, berisi mengenai pengetahuan dan teori dasar mengenai Malware dan jenisnya, kemudian juga tentang System Call, cara pendeteksian malware,library Deviare2, IDE (Integrated Development Environment) Visual Studio, dan tentang Sistem Operasi.

3. Bab 3 Analisis, berisi hasil analisis terhadap masalah dan juga kebutuhan aplikasi yang akan dibangun, sebagai jawaban permasalahan yang dihadapi saat ini.

4. Bab 4 Perancangan, berisi rancangan untuk program yang dibangun, mulai dari kelas dia- grams sampai dengan algoritma yang dimiki setiap fungsi

5. Bab 5 Implementasi dan Pengujian, berisikan hasil implementasi dan hasil pengujian dari program yang telah dibangun

6. Bab 6 Kesimpulan dan Saran, berisikan kesimpulan yang bisa ditarik dari masalah ini dan saran yang bisa diberikan.