Abstrak—Low-Rate DDoS (LDDoS) merupakan salah satu variasi serangan DDoS yang mengirimkan jumlah paket lebih sedikit dibandingkan dengna serangan DDoS konvensional. Namun dengan mengirimkan jumlah paket yang lebih sedikit serta menggunakan periode serangan yang unik membuat LDDoS sangat efektif untuk menurunkan kualitas suatu layanan berbasis jaringan internet akibat penuhnya akses. Di sisi lain LDDoS dengan sifatnya tersebut juga membuatnya menjadi sulit dideteksi karena terlihat lebih membaur dengan akses pengguna normal. Pembauran dengan akses pengguna normal ini terjadi karena intensitas suatu aliran akses (flow) serangan LDDoS mirip dengan intensitas dari akses pengguna biasa. Penerapan Congestion Participation Rate (CPR) untuk pendeteksian serangan LDDoS dilakukan dengan melakukan penghitungan intensitas suatu aliran akses (flow) ketika terjadi congestion pada jaringan. Aliran-aliran tersebut dikelompokkan berdasarkan pada IP tujuan, port tujuan, periode, payload, waktu mulai akses, dan protokol. Persentase intensitas ketika terjadi congestion inilah yang menjadi pertimbangan apakah kelompok flow tersebut tergolong serangan LDDoS atau akses pengguna biasa. Implementasi penerapan CPR dilakukan dengan membuat suatu sistem monitoring dan idetifikasi yang diletakkan pada router. Hasil identifikasi disajikan dalam bentuk log yang menunjukkan hasil rekapitulasi dan identifikasi dari masing-masing kelompok flow. Setelah dilakukan uji coba fungsionalitas dan performa dengan sistem yang dibuat, dapat disimpulkan bahwa CPR dapat digunakan untuk mendeteksi serangan LDDoS dengan keakuratan mencapai 75%.
Kata Kunci—CPR , LDDoS, Network Congestion
I. PENDAHULUAN
ALAH satu tindak kejahatan dunia maya terhadap layanan yang memanfaatkan jaringan komputer adalah serangan Distributed Denial of Service (DDoS). Serangan DDoS menggunakan sejumlah host untuk membanjiri komputer korban dengan request informasi sehingga sistem tidak dapat bekerja dengan normal yang berakibat sistem tidak dapat memberi layanan sebagaimana mestinya.
Dalam perkembangannya, muncul variasi baru dari serangan DDoS yang diberi sebutan low-rate DDoS (LDDoS). Berbeda dengan DDoS pada umumnya, low-rate DDoS mengirimkan paket yang jumlahnya lebih sedikit [1]. Pengiriman paket yang tidak sporadis membuat sering kali serangan LDDoS terlihat membaur dengan request paket normal sehingga tidak dengan mudah diketahui. Hal ini membuat kualitas dari layanan aplikasi yang berbasis jaringan menjadi menurun namun tidak diketahui oleh pemilik dari
komputer tempat layanan tersebut dijalankan [2]. Karena sifat serangannya yang tidak sporadis dan terkadang memiliki interval waktu tertentu dibandingkan serangan DDoS biasa, terjadi kesulitan dalam melakukan pendeteksian terhadap serangan dari LDDoS. Untuk melakukan pendeteksian aliran serangan dari LDDoS ini diperlukan pendekatan khusus sehingga dapat dibedakan dari paket TCP biasa.
Pada paket TCP normal terdapat beberapa algoritma di dalamnya yang salah satunya adalah Congestion Avoidance dimana algoritma ini bekerja dengan membuat paket TCP bersifat menghidari kepadatan ketika padatnya traffic pada jaringan. Sedangkan kondisi sebaliknya terjadi terhadap paket TCP yang merupakan serangan LDDoS. Paket LDDoS akan tetap membanjiri jaringan walau terjadi congestion.
Congestion participation rate (CPR) merupakan suatu pendekatan yang melakukan kalkulasi intensitas setiap aliran paket data (flow) yang melewati router selama terjadi congestion. Setiap aliran-aliran paket data dikelompokkan berdasarkan kesamaan IP, port, protokol, dan payload. Hasil pengelompokkan ini disebut dengan group flow. Masing-masing group flow inilah yang kemudian dihitung nilai intensitas aksesnya selama congestion. Nilai dari CPR kemudian dibandingkan dengan threshold yang ditentukan. Berkaca pada sifat dari paket TCP, nilai CPR dari LDDoS akan lebih tinggi dari threshold. Berangkat dari kondisi ini, maka bukan hal yang tidak mungkin untuk mendeteksi serangan LDDoS dengan bantuan metode CPR. Pada makalah ini akan mencoba menerapkan pendekatan CPR untuk pendeteksian serangan Low-rate DdoS.
II. DASAR TEORI
Pada bagian ini akan dijelaskan beberapa hal mengenai teori yang berkaitan dengan sistem yang akan diimplementasikan. Hal ini ditujukan untuk memberikan gambaran umum terhadap permasalahan, metode, dan implementasi untuk memecahkan permasalahan yang ada.
A. Low-Rate DDoS
Serangan LDDoS melakukan eksploitasi dari mekanisme congestion control (congestion avoidance) yang dimiliki oleh paket TCP. Serangan dilakukan oleh sejumlah komputer dengan mengirimkan traffic jaringan secara berkelanjutan, pengiriman aliran paket data secara berkala dengan pola tertentu ini sering disebut dengan LDDoS attack flows [3]. Dari setiap komputer yang melakukan serangan, masing-masing akan memiliki attack flowtersendiri.
Penerapan Congestion Participation Rate (CPR)
untuk Pendeteksian Serangan Low-Rate DDoS
I Gusti Ngurah Agung Bayu Ditaprawira, Ary Mazharuddin Shiddiqi, dan Baskoro Adi Pratomo
Jurusan Teknik Informatika, Fakultas Teknologi Informasi, Institut Teknologi Sepuluh Nopember (ITS)
Jl. Arief Rahman Hakim, Surabaya 60111 Indonesia
E-mail: ary.shiddiqi@if.its.ac.id
Gambar. 1. Ilustrasi attack flow
Gambar. 2. Ilustrasi LDDoS flow group
Terdapat beberapa parameter yang merepresentasikan attack flow seperti yang diilustrasikan pada Gambar 1. Pada setiap attack flow terdiri dari beberapa parameter yaitu, Ta yang merupakan periode serangan, Tb yang merupakan lamanya terjadi burst, Rb yang merupakan besarnya payload yang dikirimkan, serta s yang merupakan waktu dimulainya serangan.
Sejumlah attack flow yang memiliki parameter yang sama dikelompokkan dalam masing-masing grup yang sering disebut dengan flow group. Suatu serangan LDDoS bisa memiliki banyak flow group yang dinotasikan dengan F1 , F2,
... Fn. Berkaca dari pemodelan berdasarkan flow group yang diilustrasikan pada Gambar 2, maka serangan LDDoS akan memiliki parameter berupa, n yang mewakili total jumlah attack flow yang ada pada serangan LDDoS, m mewakili banyaknya anggota pada sebuah LDDoS flow group, g mewakili banyaknya flow group pada serangan LDDoS, σ mewakili jarak mulai serangan flow group.
B. TCP Congestion Control
Terdapat beberapa metode yang diterapkan pada TCP untuk mengatasi kemacetan (congestion) pada jaringan. Berdasarkan pada RFC5681, terdapat 4 algoritma yang digunakan melakukan kontrol pada kemacetan pada jaringan, yaitu [4]:
1) Slow start merupakan suatu metode kontrol terhadap kecepatan transmisi. Kecepatan transfer ditentukan dari kecepatan pengembalian balasan dari penerima request. Dengan kata lain, kecepatan pengembalian balasan oleh penerima request menjadi penentu kecepatan transmisi data.
2) Pada algoritma congestion avoidance, waktu transmisi ulang yang berakhir dan penerimaan duplikasi ACK mengimplikasikan sinyal pada pengirim bahwa terjadi kemacetan pada jaringan.
fast recovery bekerja untuk mengembalikan kecepatan pengiriman paket data.
C. Congestion Participation Rate
CPR merupakan suatu pendekatan dimana berdasarkan fakta dari kondisi bahwa aliran serangan LDDoS secara aktif menyebabkan terjadinya kemacetan (congestion) dimana sebaliknya paket TCP normal berusaha menghidari kemacetan pada jaringan. Dengan begitu, aliran paket TCP normal akan cenderung mengirimkan lebih sedikit paket selama terjadinya congestion, sedangkan hal seperti itu tidak berlaku pada aliran serangan LDDoS [3].
Berdasarkan pada deskripsi di atas, CPR dari setiap flow dapat dinotasikan dalam bentuk matematis pada (1):
∑ ∗ . / ∑ . (1)
T merupakan waktthxthxu dilakukannya pencatatan. T* merupakan set sampel suatu jangka waktu tertentu ketika terjadi congestion pada jaringan. merupakan rasio antara total paket yang masuk ketika congestion dengan total paket yang masuk oleh flow Fi. Si.t Merupakan representasi dari flow ke-i yang ada selama waktu t. Yang patut dicatat adalah sampling dilakukan pada link masuk sebelum paket memasuki packet queue pada router atau didrop karena queue yang sudah penuh (karena terjadi congestion di link keluar). Karena itu, jumlah paket yang dikirim flow ke router biasanya lebih besar daripada jumlah paket yang diteruskan ke router.
Untuk menentukan minimum threshold dari CPR yang tergolong LDDoS, maka dilakukan dua macam penghitungan yaitu:
1) a yang merupakan nilai batas tertinggi CPR dari aliran TCP normal.
2) b yang merupakan nilai terbawah CPR dari aliran LDDoS Berdasarkan kedua nilai tersebut, maka threshold untuk CPR bisa didapatkan dengan menggunakan (2):
(2) D. Packet Capture (pcap)
Packet Capture (pcap) dalam dunia jaringan komputer merupakan suatu kumpulan application programming interface (API) untuk menangkap lalu lintas yang terjadi pada jaringan komputer [11]. Pada sistem operasi berbasis unix pcap lebih dikenal dengan libpcap sedangkan pada sistem operasi windows lebih dikenal dengan WinPcap.
Penggunaan pcap dapat membantu untuk menyediakan data terkait analisis protokol, pemantuan jaringan, percobaan jaringan, serta pembangkit paket data untuk keperluan khusus. Terdapat sangat banyak aplikasi open-source maupun komersil yang mempergunakan libpcap atau WinPcap sebagai bagian dari aplikasi yang terkait dengan jaringan komputer.
Gambar. 3. Ilustrasi rancangan arsitektur sistem.
III. PERANCANGAN DAN IMPLEMENTASI SISTEM
A. Algoritma Pendeteksian LDDoS
Sistem pendeteksian LDDoS dengan memanfaatkan CPR untuk mendeteksi adanya serangan LDDoS ketika congestion. Untuk mendeteksi serangan LDDoS, maka data yang didapat ketika congestion akan dikelompokkan menjadi group flow berdasarkan kesamaan parameter waktu akses, IP tujuan, port tujuan, protokol, dan payload. CPR masing-masing group flow kemudian dihitung dengan rumus pada (3).
CPR dari (group) flow ke-i diwakili dengan notasi θi. Waktu t adalah waktu selama congestion terjadi. Si.t mewakili banyaknya paket dari (group) flow ke–i selama congestion. n adalah banyaknya jenis flow selama congestion. Menggunakan rumus di atas, maka akan didapatkan nilai CPR dari suatu aliran paket data.
. / ∑ . (3) Setelah CPR didapatkan, maka nilai CPR masing-masing (group) flow tersebut dibandingkan dengan threshold yang telah ditentukan. Jika diatas threshold maka dapat digolongkan sebagai LDDoS sedangkan jika dibawah threshold maka digolongkan sebagai flow biasa.
B. Arsitektur Sistem
Sistem pendeteksian LDDoS dengan memanfaatkan CPR bekerja pada router. Router yang digunakan adalah router dengan sistem operasi linux. Pada router ini nantinya akan dipasang sebuah sistem yang terdiri dari 3 aplikasi yang berjalan berkesinambungan. Pada Gambar 3 diilustrasikan dimana nantinya sistem bekerja. Berikut merupakan penjelasan dari masing-masing aplikasi yang akan ada pada sistem:
1) Aplikasi monitoring yang dibuat dengan shell script dan menggunakan bantuan aplikasi BWM-NG [5]. Aplikasi ini bertugas untuk mengetahui beban pada jaringan setiap detik. Aplikasi ini yang nantinya akan memutuskan apakah perlu dilakukan pencatatan akibat dari beban jaringan yang tinggi hingga diatas ambang batas normal yang ditentukan. Ketika dianggap perlu, maka aplikasi monitoring ini akan mengaktifkan aplikasi sniffer.
2) Aplikasi sniffer merupakan hasil modifikasi aplikasi sniffex.c yang merupakan contoh sniffer yang dikeluarkan oleh TCPDUMP [6]. Aplikasi ini berfungsi untuk mencatat semua lalu lintas paket data yang masuk pada router dan kemudian mencatatnya pada sebuah log yang bertipe textfile. Data yang dicatat adalah waktu, IP asal, IP tujuan, port asal, port tujuan, protokol, dan payload.
Gambar. 4. Diagram alir proses kerja sistem
3) Aplikasi identifikasi diimplementasikan dengan bahasa python. Aplikasi ini yang nantinya menghitung dan mengolah data. Data didapat dari membaca log yang dihasilkan oleh sniffer. Kemudian data-data tersebut akan diolah sehingga bisa mengidentifikasi dan mengelompokkan pengakses yang tergolong LDDoS dan yang normal. Aplikasi ini juga kemudian akan membuat laporan dalam bentuk textfile.
C. Proses kerja sistem
Sistem ini bekerja dengan melakukan monitoring terus menerus terhadap kondisi pada jaringan. Aplikasi monitoring mengotrol 2 kondisi sniffing yaitu kondisi ketika beban dalam keadaan normal dan beban diatas ambang batas normal. Ketika beban normal, maka aplikasi monitoring menjalankan sniffer yang akan mencatat kondisi normal yang terjadi. Namun ketika kondisi beban jaringan di atas normal, maka aplikasi monitoring akan memantikan sniffer kondisi normal dan kemudian mengaktifkan sniffer untuk congestion. Pada Gambar 4 diperlihatkan secara umum bagaimana dinamika kerja sistem ketika menghadapi 2 kondisi berbeda hingga menghasilkan luaran hasil pendeteksian.
Pada proses monitoring, penentuan kondisi congestion dilakukan dengan membuat threshold beban pada jaringan. Secara umum paket TCP biasa hanya akan mencapai tingkatan beban tertentu pada jaringan. Sedangkan ketika terdapat serangan LDDoS di dalamnya, maka beban pada jaringan dapat melebihi kondisi normal dan membuat kualitas layanan pada jaringan mulai menurun, kondisi inilah yang dikatakan
Gambar. 5. Ilustrasi penentuan threshold beban pada jaringan
terjadi congestion pada jaringan. Poin a di Gambar 5 merupakan ilustrasi tingkat beban jaringan normal. Sedangkan pada poin b di Gambar 5 merupakan ilustrasi tingkat beban jaringan yang terdapat serangan LDDoS. Berdasarkan pada kedua poin tersebut, maka dapat ditentukan threshold poin c yang berada diantarabatas atas poin a dan batas bawah poin b
Ketika proses sniffing dilakukan, terdapat beberapa parameter yang dicatat yaitu waktu, IP asal, IP tujuan, port asal, port tujuan, protokol, dan payload. Data ini merupakan data-data yang diperlukan untuk diolah pada proses pendeteksian.
Pada proses pendeteksian, terdapat beberapa proses yang dilakukan hingga akhirnya bisa menghasilkan luaran yang berisi identifikasi aliran data mana yang tergolong LDDoS dan yang mana yang tidak. Berikut merupakan urutan proses indentifikasi LDDoS:
1) Insialisasi konfigurasi, pada tahap ini aplikasi identifikasi membaca konfigurasi yang meliputi threshold LDDoS, lokasi data sniffer, waktu delay, dan lokasi dimana nantinya luaran akan diletakkan.
2) Memeriksa data sniffer, pada tahap ini aplikasi identifikasi memeriksa apakah terdapat data yang harus diproses dan jika lebih dari 1 akan dicatat untuk diproses secara berurutan.
3) Membaca data catatan sniffing, pada tahap ini aplikasi identifikasi membaca seluruh data yang dicatat oleh sniffer. Data ini disimpan dalam bentuk list dan setiap baris data diperiksa integritas datanya untuk mengantisipasi data yang tak lengkap.
4) Menentukan potongan waktu delay, pada tahap ini aplikasi identifikasi melakukan pemotongan untuk jangka waktu ketika delay berlangsung. Delay ini sendiri merupakan waktu yang sengaja disediakan untuk menjaga apakah akan ada serangan lagi dalam waktu dekat. Ketika delay terakhir sebelum aplikasi monitoring mematikan sniffer dapat dikatakan bahwa tidak ada serangan lagi pada lalu lintas data. Berdasarkan pada kondisi tersebut jika data selama delay ini dibiarkan maka akan mengaburkan hasil dari pendeteksian.
5) Memotong data, pada tahap ini aplikasi identifikasi memotong data yang diperoleh dari sniffer. Data yang tidak termasuk dalam jangka waktu terjadinya serangan berdasarkan pada potongan waktu delay akan dibuang. 6) Mengelompokkan data yang sama, pada tahap ini aplikasi
identifikasi mengelompokkan aliran data yang memiliki
memiliki kesamaan. Pengelompokan flow ini berdasarkan pada waktu pertama kali akses, periode, IP tujuan, port tujuan, payload, dan protokol. Hasil pengelompokan ini akan menghasilkan sejumlah group flow.
8) Identifikasi serangan dan membuat log, pada tahap ini aplikasi menghitung CPR dari masing-masing group flow. Nilai CPR dari masing-masing kemudian dibandingkan dengan threshold untuk menentukan apakah tergolong LDDoS atau tidak. Hasil tersebut kemudian dituliskan pada log yang lokasi sudah ditentukan pada tahap konfigurasi.
IV. UJICOBADANEVALUASI A. Uji Coba ketepatan pendeteksian
Lingkungan uji coba terdiri dari:
1) 4 unit komputer yang mengirimkan paket normal berupa: paket UDP, ping, SCP file, dan simulasi akses web dengan apache benchmark.
2) 2 buah router dimana router yang terluar akan diisi oleh sistem yang telah dibuat.
3) 1 buah komputer yang bertindak sebagai server sekaligus target serangan
Uji coba ketepatan merupakan uji coba untuk mengetahui apakah sistem dapat mengelompokkan dengan benar kelompok flow penyerang yang ada. Untuk ketepatan pendeteksian digunakan 2 skenario uji yaitu 1 grup dengan 4 penyerang dan 2 grup dengan masing-masing 2 penyerang dengan waktu mulai serangan yang berbeda. Berdasarkan pada Gambar 6, Gambar 7, dan Gambar 8 terlihat bahwa sistem mampu mengelompokkan grup penyerang yang ada sesuai dengan yang ada pada skenario. Threshold persentase yang digunakan pada pengujian ini adalah 19.
Pada Gambar 6 terlihat hasil pendeteksian dari skenario 1. Poin a mengacu pada waktu kapan serangan tersebut dilakukan. Poin b hingga e merupakan 4 LDDoS flow yang tergabung dalam satu group flow. Pada masing-masing poin tersebut tertulis data dari flow tersebut. Data yang ditampilkan adalah data waktu, IP asal, IP tujuan, port asal, port tujuan, protokol, payload, serta periode dari flow tersebut. Pada poin f terlihat total banyaknya paket yang dikirimkan oleh group flow ini. Poin g menunjukkan nilai persentase CPR dari group flow ini. Terakhir pada pada poin h ditunjukkan hasil identifikasi bahwa group flow ini tergolong LDDoS.
Pada Gambar 7 dan Gambar 8 terlihat hasil pendeteksian untuk skenario 2. Isi dari masing-masing poin tidak ada yang berbeda dari penjelasan pada Gambar 6. Pada pengujian dengan skenario 2 terlihat sistem dapat membedakan 2 group flow yang jika dicermati pada poin yang menunjuk pada masing-masing flow, group flow menjadi terpisah berdasarkan pada start time yang berbeda dan hal ini merupakan parameter yang memang sudah diatur dalam skenario 2. Pada Gambar 7 group flow tersebut digolongkan LDDoS karena persentase aksesnya diatas threshold. Sedangkan pada Gambar 8, group
Gambar. 6. Hasil pengujian ketepatan pendeteksian skenario 1
Gambar 7. Hasil pengujian ketepatan pendeteksian skenario 2 bagian 1
Gambar 8. Hasil pengujian ketepatan pendeteksian skenario 2 bagian 2
flow digolongkan normal akibat dari intensitasnya yang masih dibawah threshold. Dari sini terlihat bahwa sistem sudah dapat memilah dan mengindentifikasi group flow yang ada berdasarkan pada nilai CPR dan threshold yang ditentukan. B. Uji Coba Akurasi
Uji coba akurasi dilakukan untuk mengetahui seberapa akurat pendeteksian yang dapat dilakukan oleh sistem. Pengujian dilakukan dengan metode 2 fold cross validation dimana kumpulan data uji akan dibagi menjadi 2 sama banyak. Kemudian salah satu kumpulan data akan dijadikan data training sekaligus menentukan threshold dari aplikasi pendeteksian. Setelah selesai, maka kegiatan diulang kembali dengan kumpulan data yang sebelumnya menjadi data uji akan dijadikan data training dan kumpulan kumpulan data training dijadikan data uji [7]. Pembeda antar data uji adalah waktu mulai dan durasi (detik). Data yang akan dicatat nantinya adalah persentase partisipasi dari kelompok aliran serangan LDDoS dan persentase terbesar partisipasi yang dihasilkan oleh aliran paket data normal. Kedua variabel tersebut nantinya akan diolah menjadi threshold berdasarkan pada (2).
Dalam perhitungan akurasi dengan menggunakan confussion matrix, karena itu maka selain data uji serangan prediksi benar, diperlukan juga data uji serangan untuk prediksi salah [8]. Untuk itu maka dibuat juga data uji prediksi salah dimana tidak ada serangan LDDoS dan hanya ada akses pengguna biasa. Data uji ini hanya digunakan ketika fase pengujian dan tidak digunakan ketika fase training. Hal ini dikarenakan fase training digunakan untuk menentukan
Tabel 1. Hasil penilaian percobaan 1
No Jenis Penilaian Nilai Persentase
1 Akurasi (AC) 0,75 75%
2 True positive rate (TP) 0,75 75%
3 False positive rate (FP) 0,25 75%
4 True negative rate (TN) 0,25 75%
5 False negative rate (FN) 0,25 75%
6 Presisi (P) 0,75 75%
Tabel 2. Hasil penilaian percobaan 2
No Jenis Penilaian Nilai Persentase
1 Akurasi (AC) 0,75 75%
2 True positive rate (TP) 0,75 75%
3 False positive rate (FP) 0,25 75%
4 True negative rate (TN) 0,25 75%
5 False negative rate (FN) 0,25 75%
6 Presisi (P) 0,75 75%
threshold persentase serangan, sehingga hanya dibutuhkan data uji yang mengandung serangan. Confussion matrix yang akan digunakan untuk pengujian akurasi adalah confussion matrix dengan ukuran 2x2.
Berdasarkan pada pengujian yang dilakukan maka didapatkan data hasil dari pengujian yang disajikan pada Tabel 1 dan Tabel 2. Dari kedua tabel tersebut didapatkan hasil akurasi yang sama yaitu 75%.
V. KESIMPULAN
Berdasarkan implementasi dan sejumlah uji coba yang telah dilakukan didapatkan beberapa kesimpulan, yaitu:
1) Sistem yang dibuat untuk mengimplementasikan pendekatan CPR sudah mampu mendeteksi serangan LDDoS dengan persentase akurasi 75%.
2) Berdasarkan pengujian yang dilakukan pendeteksian dengan pendetekatan CPR dapat mendeteksi serangan LDDoS dengan mengelompokkan aliran akses dan menghitung persentase akses selama terjadi congestion.
DAFTARPUSTAKA
[1] Searchsecurity, 2013, distributed-denial-of-service, <URL: http://search security.techtarget.com/definition/distributed-denial-of-service-attack>, diakses pada 1 April 2012
[2] A. Kuzamnovic and E.W. Knightly, "Low-rate TCP-targeted denial of service attacks – (the shrew vs. the mice and elephants)," ACM SIGCOMM, pp. 75-86, 2003.
[3] C. Zhang, Z. Cai, W. Chen, X. Luo, and J. Yin, "flow level detection and filtering of low-rate DDoS," Computer Networks, vol. 56, pp. 3417-3431, July 2012.
[4] Ietf, 2009, rfc5681, <URL: http://tools.ietf. org/html /rfc5681>, diakses pada 5 April 2013
[5] Vijayalakshmi Galleys. 2006, Cross Validation, <URL: http://www.cse.iitb.ac.in/~tarung/smt/papers_ppt/ency-cross-validation .pdf>, diakses pada 26 Juli 2013
