PREDIKSI DIAGNOSIS PENYAKIT JANTUNG MENGGUNAKAN METODE RANDOM FOREST

1 PREDIKSI DIAGNOSIS PENYAKIT JANTUNG MENGGUNAKAN METODE

RANDOM FOREST

Ferdian, Roni Salambue

Mahasiswa Program Studi S1 Sistem Informasi Jurusan Ilmu Komputer

Fakultas Matematika dan Ilmu Pengetahuan Alam Kampus Bina Widya Pekanbaru, 28293, Indonesia

ferdian3560@student.unri.ac.id , roni.salambue@lecturer.unri.ac.id ABSTRACT

The heart is an organ of the human body with the main function of pumping blood throughout the body. Heart health must be maintained because the mortality rate caused by heart disease is among the highest in the world. So early action is needed to predict the diagnosis of heart disease as a form of prevention or treatment efforts so that there is no increase in cases of heart disease. Therefore, a system is needed that can help predict the diagnosis precisely and accurately and on time based on a computer. This study aims to build a prediction model for the diagnosis of heart disease using the Random Forest method. This prediction model uses the RSI Ibnu Sina medical record dataset of 336 data, including 268 used as training data and 68 testing data. The data attributes used were 11 attributes, namely gender, age, chest pain, systolic blood pressure, diastolic blood pressure, cholesterol, current blood sugar (GDS), RestingECG, heart rate, ST Slope, and diagnosis. This study produced a prediction model with an accuracy of 85.29% measured using the Confusion Matrix.

Keywords: Random Forest, Data Mining, Prediction, Heart Desease.

ABSTRAK

Jantung merupakan organ tubuh manusia dengan fungsi utama yaitu memompakan darah ke seluruh tubuh. Kesehatan pada jantung harus dijaga karena tingkat kematian yang disebabkan oleh penyakit jantung termasuk kedalam kelompok tertinggi di dunia. Maka diperlukan tindakan secara dini untuk melakukan prediksi diagnosis penyakit jantung sebagai bentuk upaya pencegahan ataupun pengobatan agar tidak terjadi peningkatan kasus penyakit jantung. Oleh karena itu diperlukan sistem yang dapat membantu memprediksi diagnosis secara tepat dan akurat serta tepat waktu berbasis komputer.

Penelitian ini bertujuan untuk membangun model prediksi diagnosis penyakit jantung menggunakan metode Random Forest. Model prediksi ini menggunakan dataset rekam medis RSI Ibnu Sina sebanyak 336 data, diantaranya 268 dijadikan data training dan 68 data testing. Atribut data yang digunakan sebanyak 11 atribut, yaitu jenis kelamin, umur, sakit dada, tekanan darah sistolic, tekanan darah diastolic, kolesterol, gula darah sewaktu (GDS), RestingECG, heart rate, ST Slope, dan diagnosis. Penelitian ini menghasilkan model prediksi dengan akurasi sebesar 85.29% diukur menggunakan Confusion Matrix.

Kata Kunci: Random Forest, Data Mining, Prediksi, Penyakit Jantung

2 PENDAHULUAN

Jantung adalah salah satu organ yang memiliki peranan penting dalam tubuh manusia dengan fungsi utama yaitu memompakan darah ke seluruh tubuh. Kesehatan jantung menjadi prioritas terpenting yang harus dijaga oleh setiap individu agar terhindar dari penyakit karena tingkat kematian yang disebabkan oleh penyakit jantung termasuk kedalam kelompok tertinggi di dunia. Inilah alasan utama diperlukan tindakan secara dini untuk melakukan prediksi diagnosis penyakit jantung secara akurat. Prediksi tersebut memiliki risiko sangat penting bagi kelangsungan hidup pasien untuk mencegah ataupun mengobati penyakit jantung (Utomo & Mesran, 2020).

Kurangnya dokter atau ahli medis terkait dalam penanganan pasien memiliki resiko yang besar pada bidang kesehatan. Kesalahan dalam mendiagnosis dapat menyebabkan cacat bahkan kematian pada pasien. Oleh karena itu, diperlukan sistem yang dapat membantu memprediksi diagnosis secara tepat dan akurat serta tepat waktu berbasis komputer. Sistem ini berfungsi sebagai alat analisis untuk menemukan informasi, pengetahuan, dan pola tersembunyi pada sejumlah besar data medis pasien yang selalu bertambah setiap hari. Salah satu cara yang dapat digunakan dalam pengolahan data tersebut adalah dengan menggunakan teknik data mining.

LANDASAN TEORI a. Prediksi

Prediksi adalah suatu proses memperkirakan secara sistematis tentang sesuatu yang paling mungkin terjadi di masa depan berdasarkan informasi masa lalu dan sekarang yang dimiliki, agar kesalahannya (selisih antara sesuatu yang terjadi dengan hasil perkiraan) dapat diperkecil. Prediksi tidak harus memberikan jawaban secara pasti kejadian yang akan terjadi, melainkan berusaha untuk mencari jawaban sedekat mungkin yang akan terjadi. Hasil prediksi tersebut didapat dari proses ekstraksi data berdasarkan variabel- variabel yang ada pada data sehingga menemukan suatu pola tertentu dari suatu data. Pola yang telah ditemukan dapat digunakan untuk memprediksi variabel lain yang belum diketahui nilai ataupun jenisnya.

b. Diagnosis Penyakit Jantung

Penyakit jantung merupakan salah satu dari jenis penyakit mematikan yang penanganannya harus diatasi sesegera mungkin karena bisa terjadi secara mendadak kepada penderitanya. Faktor-faktor penyakit jantung yang dikenali berdasarkan kondisi tubuh seseorang penderitanya perlu diketahui sejak dini sehingga risiko kemungkinan terjadi serangan seketika dapat diminimalisir atau bisa diatasi dengan berbagai cara, misalnya pola hidup sehat dan olahraga teratur yang bisa mengantur kesehatan jantung dalam tubuh. Kondisi kesehatan pada jantung dapat diketahui berdasarkan diagnosis dari dokter. Diagnosis merupakan prosedur yang dilakukan dokter untuk menentukan kondisi pasiennya. Diagnosis juga diartikan sebagai hasil dari evaluasi yang telah dilakukan.

Indikator diagnosis dilakukan dalam beberapa cara yaitu dengan pemeriksaan fisik, tes laboratorium, atau sejenisnya. Dokter akan melakukan pemeriksaan tekanan darah, kadar kolesterol, gula darah, denyut jantung dan gejala lainnya terhadap pasien yang berisiko terkena penyakit jantung.

3 c. Data Mining

Hingga saat ini, data-data yang tersimpan dan terkumpul dari berbagai tempat instansi atau perusahaan mengalami peningkatan yang sangat cepat dari segi jumlahnya.

Skala volume data yang jumlahnya sangat besar tersebut hanya menjadi sampah di penyimpanan apabila tidak diolah menjadi informasi. Untuk mengolah data menjadi sebuah informasi atau pengetahuan diperlukan suatu teknik yang dinamakan dengan data mining (Suntoro, 2019). Proses KDD (Knowledge Discovery in Database) terdiri dari langkah-langkah berikut (Eska, 2018):

1. Data Selection 2. Data Cleaning 3. Data Transformation 4. Data Mining

5. Evaluation

d. Machine Learning

Machine learning merupakan teknik melakukan inferensi terhadap data dengan tujuan membuat model matematis yang merefleksikan pola-pola pada data. Machine learning pada umumnya terbagi menjadi dua kategori besar yaitu supervised learning dan unsupervised learning. Pembagian kategori tersebut didasarkan pada perbedaan karakteristik data dan jenis supervisi yang didapatkan oleh program selama pelatihan.

Supervised learning adalah kategori machine learning yang menyertakan solusi yang diinginkan disebut sebagai label dalam proses pembelajarannya, sedangkan unsupervised learning adalah kategori machine learning yang tidak menyertakan label pada dataset yang digunakan. Model unsupervised learning melakukan proses pembelajaran sendiri untuk melabeli atau mengelompokkan data.

e. Dataset

Dataset adalah kumpulan data (sampel dalam statistik) yang digunakan untuk membuat model maupun mengevaluasi model machine learning. Dataset pada umumnya dibagi menjadi tiga bagian yang tidak beririsan (Putra, 2019):

1. Training set adalah himpunan data yang digunakan untuk melatih atau membangun model.

2. Validation set adalah himpunan data yang digunakan untuk mengoptimasi saat melatih model. Model dilatih menggunakan training set dan pada umumnya kinerja pada saat latihan diuji dengan validation set.

3. Testing set adalah himpunan data yang digunakan untuk menguji model setelah proses latihan selesai.

Ketentuan dalam rasio pembagian dataset tidak ditemukan pada jurnal-jurnal penelitian yang berhubungan dengan parameter khusus yang digunakan, tetapi pada umumnya digunakan rasio (training: validation: testing) adalah (80% : 10% : 10%) atau (90% : 5% : 5%). Validation set biasanya tidak digunakan apabila dataset berukuran kecil sehingga dataset hanya dibagi menjadi training dan testing set saja. Rasio pembagian dataset menjadi training dan testing set pada umumnya memiliki rasio (90% : 10%), (80% : 20%), (70% : 30%), atau (50% : 50%).

4 f. Random Forest

Random Forest merupakan hasil kombinasi dari penggabungan beberapa metode klasifikasi yang terdiri atas sejumlah pohon keputusan (decision tree) di berbagai subset dari dataset dan mengambil prediksi dari setiap pohon, kemudian diambil majority voting dari setiap prediksi yang dihasilkan untuk menentukan hasil akhir suatu kelas. Algoritma atau prosedur dalam membangun Random Forest pada dataset terdiri dari n data dan terdiri atas p peubah penjelas (predictor). Berikut tahapan dalam membangun model dari Random Forest (Zhou et al., 2020).

1. Pengambilan sampel secara acak berukuran n dari dataset asli (data training) dengan pengembalian (bootsrapping).

2. Memilih atribut prediktor m yang dipilih secara acak, dimana m << p, kemudian pemilah terbaik dipilih berdasarkan m prediktor.

3. Membangun sebuah pohon keputusan dari data yang telah dilakukan pengambilan sampel secara acak (bootsrapping) dan pemilihan atribut dari langkah 1 dan 2.

4. Mengulangi langkah 1 sampai 3 untuk membangun pohon hingga mencapai jumlah yang diinginkan, kemudian melakukan majority voting.

g. Confusion Matrix

Confusion matrix didalam ilmu data mining merupakan metode evaluasi yang digunakan sebagai alat ukur untuk menghitung kinerja dari model klasifikasi. Metode ini memberikan hasil yang diperoleh dari prediksi klasifikasi dan data aktual yang dilakukan oleh model klasifikasi. Nilai akurasi pada confusion matrix memiliki dua kelas yang membentuk tabel matrik yaitu kelas positif dan kelas negative. Kedua kelas tersebut terdiri dari True Positive (TP), False positive (FP), True Negative (TN) dan False Negative (FN).

Tabel 1. Confusion Mtrix

Confusion Matrix Class Hasil Prediksi

True False

Class Actual True TP FN

False FP TN

Suatu model dapat dilihat tingkat keberhasilannya berdasarkan akurasi yang dimiliki.

Akurasi adalah nilai evaluasi dari confusion matrix yang memiliki jumlah prediksi benar dari keseluruhan data. Karena tingkat keberhasilan dari akurasi dilihat dari hasil prediksi yang mendekati nilai aktual.

𝐴𝑘𝑢𝑟𝑎𝑠𝑖

... (1)

h. Cross Validartion

Cross validation adalah teknik untuk menganalisis apakah suatu model memiliki generalisasi yang baik (mampu memiliki kinerja yang baik pada data uji baru). Dataset terbagi menjadi training, validation, dan testing data. Saat proses training, model dilatih dengan training data serta dievaluasi menggunakan validation data. Teknik cross validation bekerja dengan prinsip yang sama, yaitu membagi sampel asli menjadi

5 beberapa subsampel dengan partisi sebanyak K (K-fold).

Gambar 1. 3-fold Cross Validation

Pada Gambar 1 diketahui persegi panjang melambangkan suatu sampel. Warna merah dan biru melambangkan sampel yang tergolong ke dua kelas berbeda. Saat proses training, dataset dibagi menjadi data training dan data testing. Hal tersebut dilakukan sebanyak 3 kali. Setelah itu dilakukan evaluasi kemampuan generalisasi model dengan merata-ratakan kinerja pada tiap iterasi. Berikut persamaan yang digunakan untuk mengetahui kinerja rata-rata akurasi model.

𝑃𝑒𝑟𝑓𝑜𝑟𝑚𝑎 ∑ 𝐾𝑖𝑛𝑒𝑟𝑗𝑎𝑀𝑜𝑑𝑒𝑙

... (2)

METODE PENELITIAN a. Tahapan Penelitian

Langkah-langkah yang konsisten dan mengikuti alur diperlukan dalam melakukan penelitian. Berikut tahapan dari penelitian ini.

Gambar 2. Kerangka Kerja Penelitian

6 b. Peralatan yang Digunakan

Adapun peralatan yang digunakan dalam penelitian ini terbagi menjadi 2 kategori, yaitu hardware dan software. Peralatan hardware dapat dilihat pada Tabel 2 dan software pada Tabel 3.

Tabel 2. Hardware yang digunakan

No Hardware Fungsi Keterangan

1 Laptop Pengolahan data serta untuk proses

modeling. Lenovo

2 Printer Mencetak laporan HP

Tabel 3. Software yang digunakan

No Software Fungsi

1 Sistem operasi windows 10 Home 64-bit

Sistem operasi laptop 2 Jupyter Notebook Menulis kode program

3 Python Bahasa pemrograman

4 Microsoft Office Membuat laporan

5 Draw.io Membuat bagan skema pohon keputusan

HASIL DAN PEMBAHASAN a. Pengumpulan Data

Data yang akan digunakan pada penelitian ini merupakan data rekam medis pasien yang diambil dari Unit Bagian Rekam Medis RSI Ibnu Sina Pekanbaru. Data rekam medis tersebut merupakan data pasien yang berasal dari Poli Jantung, Poli UGD (Unit Gawat Darurat) dan Poli Spesialis Penyakit Dalam.. Total data yang telah dikumpulkan pada penelitian ini sebanyak 336 kasus dari bulan Januari sampai Desember 2021, diantaranya 168 pasien yang didiagnosis positif penyakit jantung dan 168 pasien yang didiagnosis negatif penyakit jantung. Data terdiri dari beberapa atribut diantaranya nomor rekam medis (No RM), tanggal berobat, jenis kelamin, umur, sakit dada, tekanan darah sistolic, tekanan darah diastolic, kolesterol, gula darah sewaktu (GDS), restingECG, heart rate (HR), ST Slope, dan diagnosis.

b. Data Selection

Pada data yang telah dikumpulkan, tidak semua atribut yang dapat digunakan karena akan disesuaikan dengan kebutuhan penelitian. Atribut nomor rekam medis dan tanggal berobat dihapus karena tidak memiliki hubungan keterkaitan untuk mendiagnosis penyakit jantung. Atribut nomor 1 sampai 10 merupakan atribut yang mempengaruhi hasil diagnosis (variabel independen), sedangkan atribut nomor 11 adalah hasil diagnosisnya (variabel dependen). Tabel 4.2 berikut ini menjelaskan masing-masing atribut yang akan digunakan pada penelitian untuk mendiagnosis penyakit jantung.

7 Tabel 4. Atribut yang Digunakan Dalam Penelitian

c. Data Cleaning

Data yang telah diseleksi dilakukan pembersihan dengan tujuan untuk memastikan kualitas data yang digunakan. Pada data pasien yang telah diseleksi dilakukan pemeriksaan apakah ada data yang kosong (missing value), duplikasi ataupun salah ketik.

Pemeriksaan data duplikasi dapat dilakukan dengan bantuan library pandas menggunakan duplicated method, sedangkan pemeriksaan missing values pada dataframe dilakukan dengan bantuan library pandas menggunakan fungsi isnull. Hasilnya tidak ditemukan data yang duplikat dan data yang bernilai kosong (missing value) pada dataset yang digunakan.

No Nama Atribut Deskripsi Tipe Data

1 Jenis Kelamin Perempuan, Laki-laki Kategorial

2 Umur Umur pasien (tahun) Numerik

3 Sakit Dada Keluhan nyeri atau sakit pada area

sekitar dada pasien; Ya / Tidak Kategorial 4 Tekanan Darah

Sistolic

Tekanan darah saat jantung

berkontraksi Numerik

5 Tekanan Darah Diastolic

Tekanan darah saat jantung

berelaksasi Numerik

6 Kolesterol

Penumpukan endapan lemak pada dinding pembuluh darah arteri,

satuan mg/dl Numerik

7 GDS (Gula Darah Sewaktu)

Kadar gula di dalam darah pasien, satuan yang digunakan adalah mg/dl

Numerik

8 RestingECG

Hasil tes elektrokardiografi berupa rekaman aktivitas jantung dalam waktu tertentu; Normal, ST-T Abnormal, LVH (Left Ventrikuker Hypertrophy)

Kategorial

9 HR (Heart Rate)

Jumlah detak jantung per satuan waktu

(denyut per menit) Numerik

10 ST Slope Elevasi segmen ST pada

elektrokardiografi; Up, Down, Flat Kategorial 11 Diagnosis Diagnosis penyakit jantung pada

pasien; Positif / Negatif Kategorial

8 d. Data Transformation

Data yang telah melalui tahapan pembersihan akan diubah tipe pada datanya menjadi tipe data numerik. Tujuannya agar data tersebut dapat diproses pada tahapan data mining untuk pembuatan model machine learning. Data yang memiliki tipe data kategorial pada dataset adalah Jenis Kelamin, Sakit Dada, RestingECG, ST Slope dan Diagnosis. Tipe data kategorial tersebut akan diubah menjadi tipe data numerik dengan bantuan library scikit learn dengan menggunakan label encoding.

e. Data Mining

Dataset yang telah melalui proses seleksi, pembersihan, dan transformasi akan dibagi menjadi data training dan data testing. Data training digunakan untuk melatih algoritma untuk pembentukan sebuah model machine learning, sedangkan data testing digunakan untuk mengukur sejauh mana tingkat keakuratan dan kinerja model machine learning yang dihasilkan dari data training. Pada tahap ini data training dan data testing dibagi dengan rasio 80 % untuk data training dan 20% dari dari total dataset.

Tabel 5. Rasio Data Training dan Data Testing

Setelah dilakukan proses pembagian dataset menjadi data training dan data testing, model machine learning dibuat dan dilatih menggunakan bahasa pemrograman python dan bantuan library scikit-learn dengan ketentuan sebagai berikut.

Tabel 6. Cuplikan Kode Program Pembuatan dan Pelatihan Model

f. Evaluation

Setelah pembuatan model machine learning menggunakan Random Forest perlu dilakukan evaluasi. Evaluasi dilakukan untuk mengukur kinerja model yang telah dibuat menggunakan confusion matrix berdasarkan data testing yang digunakan. Pada kasus ini, data testing yang digunakan sebanyak 68 data sebagaimana yang telah diketahui pada proses sebelumnya.

Keterangan Data Training Data Testing Total

Rasio 80% 20% 100%

Jumlah 268 68 336

from sklearn.ensemble import RandomForestClassifier model = RandomForestClassifier(n_estimators=100,

max_depth=10, min_samples_leaf=1 )

model.fit(x_train, y_train)

9 Tabel 7. Confusion Matrix dari Data Testing

Keterangan:

TP (True Positif) : 34 TN (True Negatif) : 24 FP (False Positif) : 6 FN (False Negatif) : 4

Berdasarkan Tabel 7 maka didapatkan hasil perhitungan akurasi model merujuk persamaan 1 sebagai berikut.

Akurasi = (TP + TN) / (TP + TN + FP + FN)

= (34 + 24) / (34 + 24 + 6 + 4)

= 58 / 68 = 0.8529

Akurasi yang dihasilkan oleh model machine learning menggunakan Random Forest dengan jumlah data testing sebanyak 68 data adalah 85.29%.

Selain melakukan perhitungan menggunakan confusion matrix, nilai akurasi yang dihitung menggunakan k- fold cross validation dapat menentukan akurasi mana yang memiliki nilai terbaik. Pada kasus ini digunakan 10-fold cross validation sehingga terbentuk 10 subset data dari dataset yang ada. Selanjutnya, 10 subset tersebut dibagi menjadi 9 subset sebagai training set dan 1 subset sebagai testing set dengan 10 kali iterasi.

Tabel 8. 10-Fold Cross Validation

Dapat diketahui bahwa dataset yang berjumlah 336 data jika dibagi menjadi 10 subset artinya setiap 1 subset berisi lebih kurang 34 data. Tabel 9 berikut ini menunjukkan hasil akhir dari perhitungan akurasi sebanyak 10- fold cross validation.

Subset Pertama Subset Kedua Subset Ketiga Subset Keempat Subset Kelima Subset Keenam Subset Ketujuh Subset Kedelapan Subset Kesembikan Subset Kesepuluh

Confusion Matrix

Class Hasil Prediksi

Positif Negatif

Data Testing

Positif 34 4

Negatif 6 24

Total 40 28

68

10 Tabel 9. Hasil Akurasi 10-Fold Cross Validation

10-Fold Cross Validation Akurasi Model Random Forest (%) Subset Pertama 81.48

Subset Kedua 81.48

Subset Ketiga 81.48

Subset Keempat 96.29

Subset Kelima 96.29

Subset Keenam 70.37

Subset Ketujuh 85.18 Subset Kedelapan 85.18 Subset Kesembilan 88.46 Subset Kesepuluh 80.76

Rata-rata 84.70

Berdasarkan 10 nilai akurasi tersebut dilakukan penghitungan nilai rata-rata akurasi untuk mendapatkan nilai akurasi terbaik untuk model machine learning. Nilai akurasi yang diperoleh dari perhitungan rata-rata 10-fold cross validation merujuk pada persamaan 2 menghasilkan akurasi rata-rata sebesar 84.70%.

KESIMPULAN

Berdasarkan penelitian yang telah dilakukan mengenai prediksi diagnosis penyakit jantung menggunakan metode Random Forest, maka dapat diambil kesimpulan sebagai berikut.

1. Metode Random Forest dapat digunakan dalam pembuatan model machine learning untuk memprediksi diagnosis penyakit jantung dengan menggunakan data rekam medis RSI Ibnu Sina Pekanbaru tahun 2021 sebanyak 336 data, diantaranya 168 data pasien yang didiagnosis positif penyakit jantung dan 168 data pasien yang didiagnosis negatif penyakit jantung.

2. Model prediksi yang dibangun menggunakan dasaset berjumlah 336 data dibagi menjadi 80% data training (268 data) dan 20% data testing (68 data) dengan menggunakan n-estimator (jumlah pohon) sebanyak 100. Diperoleh sebanyak 34 data diprediksi positif penyakit jantung dengan tepat dan 24 pasien diprediksi negatif penyakit jantung dengan tepat dari 68 data testing sehingga akurasi yang dihasilkan model yaitu 85.29% melalui perhitungan menggunakan confusion matrix. Selain menggunakan confusion matrix, model juga dievaluasi menggunakan perhitungan 10- fold cross validation untuk menggeneralisasi model yang telah dibangun dan menghasilkan kinerja akurasi rata-rata sebesar 84.70%.

11 SARAN

Berdasarkan temuan yang telah didapatkan, berikut saran untuk penelitian selanjutnya.

1. Penelitian selanjutnya diharapkan menambahkan jumlah dataset yang digunakan agar model machine learning yang dibuat memiliki tingkat keakuratan yang lebih tinggi.

2. Penelitian selanjutnya diharapapkan dapat membangun sebuah sistem sebagai implementasi dari model prediksi yang telah dibuat, model tersebut dapat dibuat seperti dalam bentuk aplikasi mobile atau berbasis website.

3. Penelitian selanjutnya dapat menambahkan tahapan Explorasi Data Analitis atau Feauture Selection untuk mendapatkan variabel yang memiliki korelasi kuat dalam pembuatan model machine learning.

UCAPAN TERIMA KASIH

Penulis mengucapkan terima kasih kepada Bapak Roni Salambue, S.Kom., M.Si.

yang telah membimbing, memotivasi serta membantu penelitian dan penulisan karya ilmiah ini.

DAFTAR PUSTAKA

Eska, J. (2018). Penerapan Data Mining Untuk Prediksi Penjualan Wallpaper Menggunakan Algoritma C4.5. 2. https://doi.org/10.31227/osf.io/x6svc

Putra, J. W. G. (2019). Pengenalan Konsep Pembelajaran Mesin dan Deep Learning.

Computational Linguistics and Natural Language Processing Laboratory, 4, 1–235.

https://www.researchgate.net/publication/323700644

Utomo, D. P., & Mesran, M. (2020). Analisis Komparasi Metode Klasifikasi Data Mining dan Reduksi Atribut Pada Data Set Penyakit Jantung. Jurnal Media Informatika Budidarma, 4(2), 437. https://doi.org/10.30865/mib.v4i2.2080

Zhou, X., Lu, P., Zheng, Z., Tolliver, D., & Keramati, A. (2020). Accident Prediction Accuracy Assessment for Highway-Rail Grade Crossings Using Random Forest Algorithm Compared with Decision Tree. Reliability Engineering and System Safety, 200(January), 106931. https://doi.org/10.1016/j.ress.2020.106931