Penerapan Teknik Support Vector Machine untuk Pendeteksian Intrusi pada Jaringan

(1)

Penerapan Teknik Support Vector Machine

untuk Pendeteksian Intrusi pada Jaringan

LAPORAN TUGAS AKHIR

Disusun sebagai syarat kelulusan tingkat sarjana

oleh :

Krisantus Sembiring / 13503121

PROGRAM STUDI TEKNIK INFORMATIKA

SEKOLAH TEKNIK ELEKTRO DAN INFORMATIKA

INSTITUT TEKNOLOGI BANDUNG

2007

(2)

Lembar Pengesahan

Program Studi Teknik Informatika

Penerapan Teknik Support Vector Machine

untuk Pendeteksian Intrusi pada Jaringan

Tugas Akhir

Program Studi Teknik Informatika ITB

Oleh

Krisantus Sembiring / 13503121

Telah disetujui dan disahkan sebagai laporan Tugas Akhir di Bandung, pada tanggal 20 September 2007

Pembimbing

Masayu Leylia Khodra, S.T., M.T. NIP: 999023508

(3)

RINGKASAN

Pendeteksian intrusi pada jaringan penting sebagai bagian dari pertahanan. Teknik yang biasa diterapkan yaitu teknik signature based (misuse detection) memiliki kelemahan karena

signature-nya harus dibuat secara manual. Dengan teknik data mining, signature ini dapat

dibangun secara otomatis lewat pelatihan. Selain itu, dapat diimplementasikan dalam bentuk

anomaly detection. Support Vector Machine (SVM) adalah salah satu teknik data mining

yang dapat diterapkan dalam bentuk misuse detection dan anomaly detection. Untuk anomaly

detection, SVM dapat diterapkan dengan menggunakan One Class SVM baik dengan

pelatihan menggunakan data normal (supervised training) atau data pelatihan mengandung data intrusi (unsupervised training). Untuk misuse detection, SVM dapat diterapkan dengan menggunakan SVM biner, multi class SVM atau kombinasinya. Seluruh alternatif implementasi SVM ini dieksplorasi untuk mengetahui bagaimana model terbaik untuk mengimplementasikan SVM.

Untuk itu, eksperimen dilakukan dengan menggunakan dataset KDDCUP 99. Hasilnya menunjukkan bahwa SVM memiliki performansi dan tingkat generalisasi yang cukup baik pada berbagai variasi distribusi data pada dataset. Untuk model misuse detection terbaik dipilih kombinasi antara SVM biner dan Multi Class SVM One-Against-One, sedangkan untuk model anomaly detection terbaik dipilih One Class SVM dengan supervised training. Implementasi misuse detection terbaik yang dipilih cukup scalable karena dapat menangani data pelatihan dalam jumlah yang besar sedangkan One Class SVM tidak scalable untuk pelatihan dalam jumlah data yang besar. Dari hasil eksperimen ditunjukkan juga bahwa penggunaan parameter dan teknik normalisasi data sangat berpengaruh pada efektifitas dan efisiensi SVM.

Upaya peningkatan kinerja model terbaik dilakukan dengan menggunakan feature selection menggunakan f-score, penggunaan nilai C berbeda untuk mengatasi permasalahan

imbalanced dataset dan incremental training. Penggunaan nilai C berbeda tidak berhasil

mengatasi masalah imbalance dataset pada data KDDCUP 99. Akan tetapi, feature selection dan incremental training dapat meningkatkan efisiensi secara signifikan. Untuk misuse

detection, efektifitas cenderung tidak berubah akan tetapi pada anomaly detection efektifitas One Class SVM meningkat secara signifikan.

Kata kunci : Support Vector Machine, intrusi pada jaringan, Multi Class SVM, One Class

(4)

KATA PENGANTAR

Puji syukur kepada Tuhan Yang Maha Esa karena berkat rahmat dan kebaikan-Nya Penulis dapat menyelesaikan Tugas Akhir yang berjudul Penerapan Teknik Support

Vector Machine untuk Pendeteksian Intrusi pada Jaringan. Laporan Tugas Akhir ini

disusun untuk memenuhi persyaratan kelulusan tingkat sarjana Program Studi Teknik Informatika ITB.

Dalam pelaksanan Tugas Akhir ini, Penulis menemui banyak hambatan baik dari faktor-faktor internal maupun eksternal. Namun atas bantuan dari berbagai pihak, hambatan tersebut dapat diatasi sehingga Tugas Akhir dapat dijalani dengan baik. Oleh karena itu, Penulis memberikan ucapan terima kasih kepada:

1. Ibu Masayu Leylia Khodra, S.T., M.T. selaku pembimbing Tugas Akhir

2. Ibu Ir. Sri Purwanti, M.Sc yang telah memperkenalkan dan mengajar penulis mengenai data mining dan banyak mengarahkan penulis di awal pengerjaan Tugas Akhir.

3. Bapak Ir. Dwi Hendratmo Widyantoro, M.Sc, Ph.D., selaku penguji presentasi proposal dan seminar yang juga telah banyak memberikan masukan untuk pelaksanaan Tugas Akhir ini.

4. Bapak Ir. Windy Gambetta yang menjadi penguji pada prasidang dan sidang Tugas Akhir.

5. Ibu Nur Ulfa Maulidevi, S.T, M.Sc. dosen wali dan penguji sidang Tugas Akhir. 6. Seluruh dosen program studi Teknik Informatika yang telah mengajar Penulis. 7. Anto Satriyo Nugroho, Dr. Eng yang telah memberikan penjelasan dan banyak

referensi mengenai SVM.

8. Prof. Chih Jen Lin yang telah menyediakan software LibSVM dan menjawab pertanyaan Penulis.

9. Ibu Tita yang telah membantu mengunduh literatur dari jurnal.

10. Keluarga yang telah memberikan dorongan moral selama pelaksanaan Tugas Akhir

11. Eriek, Paula, Fajar, Arie, Hermanto, Neni, Fitri, Dini dan teman-teman IF 2003 yang telah mendukung Penulis selama pelaksanaan Tugas Akhir

(5)

13. Pihak-pihak lain yang tidak dapat disebutkan satu-persatu.

Penulis menyadari bahwa dalam penulisan Tugas Akhir ini masih banyak kekurangan yang harus disempurnakan. Untuk itu Penulis mengharapkan kritik dan saran berkaitan dengan Tugas Akhir ini. Akhir kata, Penulis mengharapkan semoga Tugas Akhir ini dapat bermanfaat bagi siapapun yang membacanya.

Bandung, September 2007

(6)

DAFTAR ISI

Lembar Pengesahan Program Studi Teknik Informatika ... ii

Ringkasan ... iii

Kata Pengantar ... iv

Daftar Isi ... vi

Daftar Gambar ... ix

Daftar Tabel ... xi

BAB I Pendahuluan ... I-1

1.1 Latar Belakang ... I-1

1.2 Rumusan Masalah ... I-3

1.3 Tujuan ... I-4

1.4 Batasan Masalah ... I-4

1.5 Metodologi ... I-4

1.6 Sistematika Pembahasan ... I-5

BAB II Landasan Teori ... II-1

2.1 Intrusion Detection System ... II-1

2.1.1 Arsitektur ... II-2

2.1.2 Intrusi ... II-2

2.1.3 Network-based IDS ... II-3

2.1.4 Pendeteksian Intrusi dengan Data Mining ... II-4

2.2 Support Vector Machine ... II-7

2.2.1 SVM pada Linearly Separable Data ... II-8

2.2.2 SVM pada Nonlinearly Separable Data ... II-10

2.2.3 Multi Class SVM ... II-13

2.2.4 One Class SVM ... II-14

2.2.5 Algoritma Pelatihan SVM ... II-15

2.2.6 Estimasi Parameter Terbaik ... II-16

2.2.7 SVM pada Imbalanced Dataset ... II-17

2.2.8 Pemilihan Atribut penting (feature selection) ... II-18

2.2.9 Incremental Training dengan SVM ... II-19

2.2.10 Pendeteksian Intrusi dengan Support Vector Machine ... II-19

BAB III Analisis dan Penyelesaian Masalah ... III-1

3.1 Deskripsi Sistem ... III-1

3.2 Dataset Eksperimen ... III-3

3.3 Metode Pendeteksian Intrusi dengan SVM ... III-5

3.4 Upaya Perbaikan Performansi ... III-5

3.5 Analisis Pembelajaran Dengan SVM ... III-6

3.5.1 Preprocessing Data ... III-7

3.5.2 Pemilihan dan Estimasi Parameter Terbaik ... III-8

3.5.3 Algoritma Pelatihan SVM ... III-8

3.6 Analisis Perangkat Lunak ... III-9

BAB IV Eksperimen ... IV-1

4.1 Tujuan ... IV-1

4.2 Parameter Evaluasi ... IV-2

4.3 Skenario ... IV-2

4.3.1 Replikasi Hasil Eksperimen Paper Acuan ... IV-2

(7)

4.3.3 Pengujian skalabilitas model terbaik ... IV-3

4.3.4 Upaya Peningkatan Kinerja Model Terbaik ... IV-3

4.4 Pelaksanaan ... IV-4

4.4.1 Lingkungan Eksperimen ... IV-4

4.4.2 Tahapan Data Preprocessing ... IV-4

4.4.3 Tahapan Pembelajaran ... IV-4

4.5 Hasil Eksperimen ... IV-5

4.5.1 Replikasi Hasil Eksperimen Paper Acuan ... IV-5

4.5.1.1 Eksperimen [MUK02A] ... IV-5

4.5.1.2 Eksperimen [MUK02B] ... IV-6

4.5.1.3 Eksperimen [LAS04] ... IV-7

4.5.1.4 Eksperimen [LAS05] ... IV-11

4.5.2 Perbandingan Performansi Alternatif Implementasi SVM ... IV-14

4.5.3 Pengujian skalabilitas model terbaik ... IV-22

4.5.4 Upaya Peningkatan Kinerja Model Terbaik ... IV-24

4.6 Kesimpulan Hasil Eksperimen ... IV-28

BAB V Kesimpulan dan Saran ... V-1

5.1 Kesimpulan ... V-1

5.2 Saran ... V-1

Daftar Referensi ... xiv

Lampiran A Deskripsi Dataset KDDCUP 99 ... A-1

Lampiran B Structural Risk Minimization (SRM) ... B-1

Lampiran C Multi Class SVM ... C-1

C.1 Metode ”One-Against-All” ... C-1

C.2 Metode ”One-Against-One” ... C-2

C.3 Metode DAGSVM (Directed Acyclic Graph Support Vector Machine) .. C-3

Lampiran D Algoritma ... D-1

D.1 Algoritma Decomposition ... D-1

D.2 Pseudocode Algoritma Decomposition [FAN05] ... D-4

D.3 Incremental Training dengan SVM ... D-5

D.4 Algoritma Untuk Menghasilkan Kurva ROC ... D-6

Lampiran E Hasil Penelitian Pendeteksian Intrusi Dengan SVM ... D-1

E.1 Penelitian pada [MUK02A] ... E-1

E.2 Penelitian pada [MUK02B] ... E-1

E.3 Penelitian pada [LAS04] ... E-1

E.4 Penelitian pada [LAS05] ... E-3

Lampiran F Alternatif Implementasi SVM Untuk pendeteksian Intrusi pada jaringan ... ... F-1

F.1 Anomaly Detection ... F-1

F.2 Misuse Detection ... F-1

Lampiran G Parameter Evaluasi Eksperimen ... G-1

Lampiran H Skenario Eksperimen ... H-1

H.1 Replikasi Hasil Eksperimen Paper Acuan ... H-1

H.2 Skenario Perbandingan Implementasi SVM ... H-5

Lampiran I Hasil Eksperimen ... I-1

I.1 Eksperimen Pada Data [MUK02A] ... I-1

I.2 Eksperimen Pada Data [MUK02B] ... I-3

I.3 Eksperimen Pada Data [LAS04] ... I-6

I.4 Eksperimen Pada Data [LAS05] ... I-19

(8)

I.6 Upaya Peningkatan Performansi Model Terbaik ... I-30

(9)

DAFTAR GAMBAR

Gambar II-1 Arsitektur IDS [HAN06] ... II-2

Gambar II-2 Contoh packet ... II-4

Gambar II-3 Contoh output TCPdump ... II-4

Gambar II-4 Pemrosesan data koneksi jaringan dengan data mining [HAN06] .. II-6

Gambar II-5 Alternatif bidang pemisah (kiri) dan bidang pemisah terbaik dengan margin (m) terbesar (kanan) ... II-8

Gambar II-6 Soft margin hyperplane ... II-11

Gambar II-7 Transformasi dari vektor input ke feature space ... II-11

Gambar II-8 Contoh transformasi untuk data yang tidak dapat dipisahkan secara linier ... II-12

Gambar II-9 Transformasi ke feature space ... II-14

Gambar II-10 One Class SVM ... II-15

Gambar III-1 Deskripsi Umum Sistem ... III-1

Gambar III-2 Proses pembangunan dan penggunaan detection model oleh SVM

Analyser ... III-2

Gambar III-3 Pembelajaran dengan SVM ... III-7

Gambar IV-1 Nilai F-measure hasil eksperimen pada dataset [MUK02A] ... IV-5

Gambar IV-2 Nilai F-measure hasil eksperimen pada dataset [MUK02B] ... IV-7

Gambar IV-3 Nilai F-measure pada data dengan rasio intrusi =nu ... IV-9

Gambar IV-4 One Class SVM dengan nilai parameter g 0,1 , 1,0 dan 10 ... IV-9

Gambar IV-5 Nilai F-measure pada data dengan rasio intrusi bervariasi, nu =0.05 ... ... IV-10

Gambar IV-6 Nilai F-measure pada data nilai parameter nu bervariasi, rasio data intrusi=0.05 ... IV-11

Gambar IV-7 Nilai F-measure pada data yang tidak mengandung data intrusi jenis baru ... IV-12

Gambar IV-8 Nilai F-measure pada data yang mengandung data intrusi jenis baru ... ... IV-13

Gambar IV-9 Hasil anomaly detection pada data pengujian yang tidak mengandung data intrusi jenis baru ... IV-15

Gambar IV-10 Hasil anomaly detection pada data pengujian yang mengandung data intrusi jenis baru ... IV-16

Gambar IV-11 Hasil anomaly detection pada data intrusi tidak seimbang, data

pengujian tidak mengandung intrusi jenis baru ... IV-16

Gambar IV-12 Hasil anomaly detection pada data intrusi tidak seimbang, data

pengujian mengandung intrusi jenis baru ... IV-17

Gambar IV-13 Hasil misuse detection pada data pengujian yang tidak mengandung data intrusi baru ... IV-19

Gambar IV-14 Hasil misuse detection pada data pengujian yang mengandung data intrusi baru ... IV-19

Gambar IV-15 Hasil misuse detection pada data pelatihan dengan data intrusi tidak seimbang ... IV-21

Gambar IV-16 Hasil misuse detection pada data pengujian yang mengandung data intrusi baru ... IV-22

(10)

Gambar IV-17 Waktu pelatihan MD1 dan MD6 dengan jumlah data pelatihan

bervariasi ... IV-23

Gambar IV-18 Waktu pelatihan MD6 dengan jumlah data pelatihan dan jumlah atribut bervariasi ... IV-25

Gambar IV-19 Waktu pelatihan MD1 dengan jumlah data pelatihan dan jumlah atribut bervariasi ... IV-26

Gambar IV-20 Waktu pelatihan MD6 dengan incremental training pada jumlah data pelatihan dan jumlah atribut bervariasi ... IV-27

Gambar IV-21 Waktu pelatihan MD1 dengan incremental training pada jumlah data pelatihan dan jumlah atribut bervariasi ... IV-28

Gambar C-1 Contoh klasifikasi dengan metode One-against-all ... C-1

Gambar C-2 Contoh klasifikasi dengan metode One-against-one ... C-3

Gambar C-3 Contoh klasifikasi dengan metode DAGSVM ... C-4

Gambar E-1 Hasil [LAS04] pada penggunaan parameter nu = rasio intrusi ... E-2

Gambar E-2 Hasil [LAS04] pada penggunaan parameter nu=0.05 dan rasio intrusi bervariasi ... E-2

Gambar E-3 Hasil [LAS04] pada penggunaan rasio intrusi 0.05 dan nu bervariasi ... E-3

Gambar E-4 Hasil [LAS05] pada data pengujian yang tidak mengandung data intrusi jenis baru ... E-4

Gambar E-5 Hasil [LAS05] pada pengujian yang mengandung jenis intrusi baru .... ... E-5

Gambar F-1 Klasifikasi dengan SVM Biner Æ Multi Class SVM One Against One ... F-4

Gambar F-2 Klasifikasi dengan SVM Biner Æ Multi Class SVM One Against All ... F-5

Gambar G-1 Kurva ROC ... G-2

Gambar H-1 Komposisi data pengujian (kiri) dan data pelatihan (kanan) ... H-1

Gambar I-1 Hasil skenario 1 dengan metode normalisasi data hasil analisis Tugas Akhir ... I-6

Gambar I-2 Hasil skenario 1 dengan Metode Normalisasi Data seperti pada [LAS04] ... I-6

Gambar I-3 Hasil skenario 1 dengan metode normalisasi data seperti pada

[LAS05] ... I-7

Gambar I-4 Hasil skenario 1 dengan metode normalisasi data hasil analisis Tugas Akhir ... I-10

Gambar I-5 Hasil skenario 2 dengan metode normalisasi data [LAS04] ... I-10

Gambar I-6 Hasil skenario 2 dengan metode normalisasi data [LAS05] ... I-11

Gambar I-7 Hasil skenario 3 dengan menggunakan normalisasi data hasil analisis Tugas Akhir ... I-14

Gambar I-8 Hasil skenario 3 dengan menggunakan normalisasi data [LAS04] ... ... I-14

Gambar I-9 Hasil skenario 3 dengan menggunakan metode normalisasi data [LAS05] ... I-15

Gambar I-10 Hasil pengujian pada data pengujian yang tidak mengandung data intrusi jenis baru ... I-19

Gambar I-11 Hasil pengujian pada data pengujian yang mengandung data intrusi jenis baru ... I-20

(11)

DAFTAR TABEL

Tabel IV-1 Alternatif implementasi SVM untuk pendeteksian intrusi ... IV-2

Tabel IV-2 Hasil pencarian parameter pada dataset eksperimen [MUK02A] ... IV-5

Tabel IV-3 Hasil eksperimen dengan dataset [MUK02] ... IV-5

Tabel IV-4 Hasil pencarian parameter pada dataset eksperimen [MUK02B] ... IV-6

Tabel IV-5 Hasil eksperimen dengan dataset [MUK02B] ... IV-6

Tabel IV-6 Hasil pencarian parameter dengan grid search dengan nilai nu=rasio data intrusi ... IV-8

Tabel IV-7 Hasil eksperimen pada data dengan rasio intrusi =nu ... IV-8

Tabel IV-8 Hasil eksperimen pada data dengan rasio intrusi bervariasi, nu =0.05 ... ... IV-10

Tabel IV-9 Hasil eksperimen pada data dengan nilai parameter nu bervariasi, rasio data intrusi=0.05 ... IV-10

Tabel IV-10 Hasil pencarian parameter untuk dataset [LAS05] ... IV-11

Tabel IV-11 Hasil pencarian parameter untuk dataset [LAS05] ... IV-12

Tabel IV-12 Hasil pencarian parameter untuk dataset [LAS05] ... IV-13

Tabel IV-13 Hasil anomaly detection pada data pengujian yang tidak mengandung data intrusi jenis baru ... IV-14

Tabel IV-14 Hasil anomaly detection pada data pengujian yang mengandung data intrusi jenis baru ... IV-15

Tabel IV-15 Hasil anomaly detection pada data intrusi tidak seimbang ... IV-16

Tabel IV-16 Hasil anomaly detection pada data intrusi tidak seimbang, data pengujian mengandung intrusi jenis baru ... IV-17

Tabel IV-17 Hasil misuse detection pada data pengujian yang tidak mengandung data intrusi baru ... IV-18

Tabel IV-18 Hasil misuse detection pada data pengujian yang mengandung data intrusi baru ... IV-20

Tabel IV-19 Hasil misuse detection pada data pelatihan dengan data intrusi tidak seimbang ... IV-20

Tabel IV-20 Hasil misuse detection pada data pengujian yang mengandung data intrusi baru ... IV-21

Tabel IV-21 Performansi MD6 dengan jumlah data pelatihan bervariasi ... IV-22

Tabel IV-22 Performansi MD1dengan jumlah data pelatihan bervariasi ... IV-23

Tabel IV-23 Performansi MD6 dengan jumlah atribut bervariasi ... IV-25

Tabel IV-24 Performansi MD1 dengan jumlah atribut data bervariasi ... IV-26

Tabel IV-25 Parameter incremental training ... IV-26

Tabel IV-26 Perubahan jumlah data pelatihan MD6 dengan incremental training ... ... IV-26

Tabel IV-27 Performansi MD6 dengan incremental training dan feature selection ... ... IV-27

Tabel IV-28 Perubahan jumlah data pelatihan MD1 dengan incremental training ... ... IV-27

Tabel IV-29 Performansi MD1 dengan incremental training dan feature selection ... ... IV-28

Tabel A-1 Distribusi kelas intrusi ... A-1

(12)

Tabel A-3 Deskripsi atribut data KDDCUP 99 ... A-2

Tabel C-1 Contoh 4 SVM biner dengan metode One-against-all ... C-1

Tabel C-2 Contoh 6 SVM biner dengan metode One-against-one ... C-2

Tabel C-3 Contoh 6 SVM biner dengan metode DAGSVM ... C-3

Tabel E-1 Eksperimen [MUK02B] ... E-1

Tabel F-1 5 SVM Biner untuk Multi Class SVM One-against-all ... F-2

Tabel F-2 10 SVM Biner untuk Multi Class SVM One-against-one ... F-3

Tabel F-3 SVM Biner Æ Multi Class SVM One Against One ... F-4

Tabel F-4 SVM Biner Æ Multi Class SVM One Against All ... F-5

Tabel G-1 Metrik standar untuk dasar evaluasi algoritma pendeteksian intrusi .... G-1

Tabel H-1 Asumsi distribusi dataset untuk replikasi hasil [LAS04] ... H-2

Tabel H-2 Asumsi distribusi dataset untuk replikasi hasil [LAS05] pada skenario data pengujian tidak mengandung data intrusi jenis baru ... H-4

Tabel H-3 Asumsi distribusi dataset untuk replikasi hasil [LAS05] pada skenario dimana data pengujian mengandung data intrusi jenis baru ... H-5

Tabel H-4 Distribusi dataset untuk perbandingan altenatif implementasi SVM ... H-7

Tabel H-5 Distribusi data pengujian baru untuk perbandngan altenatif

implementasi SVM ... H-8 Tabel I-1 Hasil eksperimen tanpa normalisasi dengan parameter seperti pada

[MUK02] ... I-2

Tabel I-2 Hasil eksperimen tanpa normalisasi dan dengan parameter hasil grid

search ... I-2

Tabel I-3 Hasil eksperimen dengan normalisasi dan parameter hasil grid search ... ... I-2

Tabel I-4 t-Test pada metode normalisasi+grid search dan tanpa normalisasi +

grid search ... I-2

Tabel I-5 t-Test pada metode tanpa normalisasi+ grid search dan tanpa normalisasi

+ parameter [MUK02] ... I-3

Tabel I-6 Hasil eksperimen tanpa normalisasi dengan parameter seperti pada [MUK02] ... I-3

Tabel I-7 Hasil eksperimen tanpa normalisasi dan dengan parameter hasil grid

search ... I-4

Tabel I-8 Hasil eksperimen dengan normalisasi dan parameter hasil grid search I-4

Tabel I-9 t-Test pada metode normalisasi+grid search dan tanpa normalisasi + grid search ... I-5

Tabel I-10 t-Test pada metode normalisasi+ grid search dan tanpa normalisasi + parameter [MUK02] ... I-5

Tabel I-11 Hasil eksperimen pada skenario 1 ... I-8

Tabel I-12 t-Test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS05] ... I-9

Tabel I-13 6 t-Test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS04] ... I-9

(13)

Tabel I-20 t-Test pada metode normalisasi hasil analisis Tugas Akhir dan metode normalisasi [LAS05] dari ketiga skenario ... I-18

Tabel I-25 t-Test pada MD1 dan MD2 pada skenario i-a ... I-22

Tabel I-26 t-Test pada MD1 dan MD2 pada skenario i-b ... I-22

Tabel I-27 t-Test pada MD1 dan MD2 pada skenario ii-a ... I-23

Tabel I-28 t-Test pada MD1 dan MD2 pada skenario ii-b ... I-23

Tabel I-29 t-Test pada MD1 dan MD2 pada seluruh skenario ... I-24

Tabel I-34 t-Test pada MD6 dan MD7 i-b ... I-26

Tabel I-45 t-Test pada MD6 dan MD5 pada selutuh skenario ... I-30

Tabel I-46 f-score pada aribut KDDCUP 99 ... I-30

Tabel I-47 f-score pada atribut hasil preprocessing ... I-31