Proses analisis data memerlukan tahap pra-pemrosesan data mentah dan mengubahnya menjadi data yang dapat digunakan untuk menghasilkan informasi yang bermakna. Analis data memerlukan alat dan algoritma yang digunakan untuk mengekstrak data [1] [2] [3]. Big data adalah istilah yang digunakan untuk menggambarkan kumpulan data yang sangat besar, bervariasi dan mempunyai struktur yang kompleks dengan kesulitan dalam menyimpan, menganalisis dan memvisualisasikan untuk diproses atau dihasilkan lebih lanjut [4] [5] [6]. Artikel ini memberikan tinjauan literatur dari beberapa penelitian terdahulu terkait big data dan bagaimana big data dapat memberikan pedoman dalam mengambil keputusan berdasarkan data yang ada, metode apa saja yang dapat digunakan, dan juga permasalahan atau tantangan pada big data, dalam proses perubahan Raw data menjadi data yang berisi informasi.
Kontribusi artikel ini adalah untuk memberikan informasi bagaimana dan metode apa yang dapat digunakan dalam pengolahan data untuk mengatasi tantangan yang ada pada big data. Pada tahap seleksi kedua [14], pada tahap ini dilakukan proses pencarian jurnal dan layar praktek terkait big data dan sistem. Meningkatnya minat terhadap big data di bidang ekonomi dan bisnis telah mendorong akademisi dan profesional untuk memperdalam studi mereka tentang perubahan yang disebabkan oleh penggunaan teknologi baru dalam proses pengambilan keputusan di perusahaan.
Untuk mengekstrak informasi dari data besar yang memiliki nilai bagi suatu organisasi, perlu dikembangkan dan diterapkan data mining dan juga penggunaan kecerdasan buatan. Sebagai contoh pemanfaatan big data di bidang pariwisata, dilakukan penelitian bertajuk metode big data analytic untuk menganalisis perilaku wisatawan. Berikutnya dari sektor pertanian bertajuk big data in smart farming, berdasarkan hasil penelitian yang mereka lakukan fokusnya adalah bagaimana big data dapat digunakan untuk memberikan informasi prediktif real-time kepada petani tentang aktivitas bisnis dan keputusan operasional. .
Potensi penggunaan big data sebenarnya tidak terbatas, namun dibatasi oleh ketersediaan teknologi, alat, dan kemampuan untuk memproses big data. Analisis data besar mengacu pada metode yang digunakan untuk mempelajari dan memperoleh informasi dari kumpulan data yang sangat besar.
Inquisitive analytics
Predictive analytics
Prescriptive analytics
Pre-emptive analytics
Tantangan pada Big Data
- Big Data Management
- Big Data Cleaning
- Big Data Aggregation
- Imbalanced system capacities
- Imbalanced Big Data
- Big Data Analytics
- Big Data Machine Learning
- Data Steam Learning
- Deep Learning
- Incremental and Ensemble Learning
- Granular Computing
Langkah-langkah seperti pembersihan, agregasi, pengkodean, penyimpanan dan akses bukanlah hal baru dalam hal pengelolaan data, tantangan dalam big data adalah bagaimana mengelola kompleksitas sifat big data dan memprosesnya dalam lingkungan terdistribusi dengan aplikasi yang berbeda [ 44 ]. Tantangan lainnya adalah menyinkronkan sumber data dari pihak eksternal dengan bentuk big data yang terdistribusi (termasuk aplikasi, repositori, sensor, jaringan, dll) dengan infrastruktur internal organisasi. Seringkali, menganalisis data yang dihasilkan dalam suatu organisasi tidak cukup untuk mendapatkan wawasan dan.
Selain mampu mengubah berbagai sektor, big data juga menghadirkan tantangan baru dalam penggunaan data yang jumlahnya semakin meningkat [49]. Pengelolaan big data saat ini mendorong berbagai perkembangan dalam arsitektur sistem, perangkat keras, dan perangkat lunak, namun kemajuan dalam bidang analitik masih diperlukan untuk mengatasi tantangan big data dan pemrosesan aliran data. Aplikasi dunia nyata saat ini seperti media sosial, transaksi, dll menghasilkan kumpulan data yang sangat besar.
Metode data mining sangat penting untuk mendapatkan pola yang berguna dan memperoleh informasi yang berguna dari data dalam jumlah besar [50]. Teknik penambangan data, seperti penambangan asosiasi, pengelompokan, dan klasifikasi, kurang efisien, kurang terukur, dan kurang akurat bila diterapkan pada data besar dalam skala yang sangat dinamis, karena ukuran, kecepatan, dan variasi data tidak memungkinkan untuk menyimpannya secara permanen. dan kemudian melakukan analisis[50]. Jadi, pembelajaran mendalam lebih unggul untuk memecahkan masalah analisis data dalam kumpulan data yang sangat besar, dan pembelajaran mendalam mampu mengekstraksi data dari sejumlah besar data mentah yang tidak diawasi dan tidak dikategorikan [52].
Selain itu, karena pembelajaran mendalam didasarkan pada pembelajaran terstruktur dan penambangan data kompleks berbagai tingkat, pembelajaran mendalam cocok untuk menyederhanakan analisis data dalam jumlah besar, pengindeksan semantik, data anotasi, pengambilan informasi, dan tugas-tugas diskriminatif seperti klasifikasi. dan perkiraan. Keduanya merupakan metode mendasar untuk belajar dari data streaming besar dengan perubahan model data [53]. Di sisi lain, algoritma batch direkomendasikan untuk memastikan akurasi jika terjadi perubahan model yang sangat besar atau perubahan model yang tiba-tiba.
Selain itu, ketika kita berhadapan dengan aliran data yang relatif sederhana atau pemrosesan real-time tingkat tinggi, pembelajaran bertahap lebih disarankan. Namun, pembelajaran ansambel adalah pilihan yang lebih baik ketika ada distribusi aliran data yang rumit atau tidak diketahui [53]. Komputasi granular bukanlah sebuah konsep baru, namun komputasi granular menjadi semakin populer karena dapat digunakan dalam bidang data besar, karena memiliki keunggulan dalam analisis data, pengenalan pola dan pembelajaran mesin untuk data yang sangat besar [54].
Secara umum granular computing merupakan sebuah paradigma dalam pengelolaan informasi dengan konsep granul, granul dapat diartikan sebagai unit dasar pengelompokan data yang lebih besar, yang dapat mempunyai sifat dan karakteristik yang berbeda-beda. Teknik komputasi granular yang digunakan dalam pengelolaan data besar meliputi teori himpunan fuzzy, logika fuzzy, teori himpunan kasar, dan teori informasi fuzzy.
Kelebihan Big Data
- Memahami dan menargetkan pelanggan
- Memahami dan Mengoptimalkan Proses Bisnis
- Meningkatkan Ilmu Pengetahuan dan Penelitian
- Meningkatkan Pelayanan Kesehatan dan Kesehatan Masyarakat
- Mengoptimalkan Performa Mesin dan Perangkat
- Meningkatkan Keselamatan dan Penegak Hukum
Big data berfungsi untuk mengoptimalkan proses bisnis sehingga pemilik bisnis dapat mengoptimalkan stok penjualannya berdasarkan prediksi yang diperoleh dari media sosial, tren pencarian web. Ilmu pengetahuan dan penelitian saat ini sedang diubah oleh kemungkinan-kemungkinan baru yang dapat dihasilkan oleh data besar. Kemampuan analisis data besar memungkinkan kita menguraikan seluruh untaian DNA dalam hitungan menit dan memungkinkan kita menemukan obat baru serta lebih memahami dan memprediksi pola penyakit.
Alat big data juga digunakan untuk mengoptimalkan jaringan energi menggunakan data dari smart meter. Polisi menggunakan alat big data untuk menangkap penjahat dan bahkan memprediksi aktivitas kriminal, dan perusahaan kartu kredit menggunakan big data untuk mendeteksi transaksi penipuan. Dengan menggunakan FFT (Fast Fourier Transform), mereka berhasil membangun metode pra-pemrosesan data untuk mengatasi pola abnormal dari big data.
Kecerdasan Buatan untuk Pengambilan Keputusan di Era Big Data – Perkembangan, Tantangan dan Agenda Penelitian[31]. Big data merupakan kumpulan data dengan volume yang sangat besar dan kompleks, dengan variasi data yang berbeda-beda dan ketidakpastian, sehingga memerlukan teknik atau metode untuk menangani big data dan menganalisis big data secara efektif. Sehingga dapat menjadikan big data sebagai sumber data penting untuk saran pengambilan keputusan.
Teknologi pengelolaan big data yang efisien masih terus berkembang menjadi lebih efisien dan memiliki akurasi yang lebih baik. Penerapan big data dalam sistem pengambilan keputusan dapat memberikan banyak manfaat, misalnya mengurangi biaya, meningkatkan kualitas layanan dan produk, mempercepat proses pengambilan keputusan dan mengambil keputusan penting untuk situasi real-time. Gupta, "Analisis Big Data: Suatu Tinjauan," pada Konferensi Internasional ke-9 tentang Keandalan, Teknologi Infocomm, dan Optimasi (Tren dan Arah Masa Depan) (ICRITO) tahun 2021, 2021, hal.
Riahi, “Big Data dan Big Data Analytics: konsep, jenis dan teknologi”, International Journal of Research and Engineering, vol. 34;Analisis dan Penerapan Machine Learning untuk Klasifikasi Data YouTube dengan Membandingkan Kinerja Algoritma Klasifikasi." Jurnal Informatika Online. 34;Pengembangan Model untuk Memprediksi Tingkat Kelulusan Siswa Tepat Waktu Menggunakan Metode Naïve Bayes." Jurnal Informatika Media Budidarma.
Belfkih, “Big Data Technologies: A Survey,” Journal of King Saud University - Computer and Information Sciences, vol. Feng, “A survey on machine learning for big data processing,” Eurasip Journal on Advances in Signal Processing, vol.
