KONTRAK PENELITIAN INTERNAL UNISSULA TAHUN ANGGARAN 2020/2021
Nomor : 244/B.1/SA-LPPM//VIII/2020
Pada hari ini Senin tanggal 10 (Sepuluh) bulan Agustus tahun 2020, di Universitas Islam Sultan Agung Semarang, kami yang bertanda tangan di bawah ini :
1. Dr. Heru Sulistyo SE, M.Si : Kepala LPPM Universitas Islam Sultan Agung (UNISSULA), dalam hal ini bertindak untuk dan atas nama Universitas Islam Sultan Agung, yang berkedudukan di Jl. Raya Kaligawe Km. 4 Semarang, untuk selanjutnya disebut PIHAK PERTAMA
2. Sam Farisa Chaerul Haviana, ST., M.Kom
: Dosen Fakultas Teknologi Industri Universitas Islam Sultan Agung (UNISSULA), dalam hal ini bertindak sebagai pengusul dan Ketua Pelaksana Penelitian Internal Tahun Anggaran 2020/2021 untuk selanjutnya disebut PIHAK KEDUA.
PIHAK PERTAMA dan PIHAK KEDUA, secara bersama-sama sepakat mengikatkan diri dalam suatu Perjanjian Kontrak Penelitian Internal UNISSULA Tahun Anggaran 2020/2021 dengan ketentuan dan syarat-syarat sebagai berikut :
1. PIHAK KEDUA wajib melaksanakan aktivitas penelitian dengan judul ”Perancangan Aplikasi Sentiment Analysis Pada Komentar Mahasiswa Di Sistem EDOM (Evaluasi Dosen Oleh Mahasiswa) UNISSULA Dengan Teknik Deep Learning” sebagaimana yang diusulkan melalui pendanaan Internal UNISSULA sebesar Rp. 9.000.000 (Sembilan Juta Rupiah) dengan sebaik-baiknya dan penuh tanggung jawab.
2. Pencairan dana dilaksanakan secara bertahap kepada PIHAK KEDUA.
3. PIHAK KEDUA wajib menyerahkan laporan Penelitian dan luaran wajib hasil Penelitian (sebagaimana dijanjikan) kepada PIHAK PERTAMA pada waktu yang telah disepakati dan ditetapkan, yaitu pada tanggal 31 Desember 2020.
4. Apabila sampai batas waktu yang telah disepakati dan ditetapkan untuk melaksanakan Penelitian dimaksud telah berakhir, namun PIHAK KEDUA belum menyelesaikan/memenuhi kewajibannya sebagaimana butir 2 di atas, maka PIHAK KEDUA tidak dapat mengajukan proposal Penelitian melalui dana Internal UNISSULA pada periode tahun anggaran berikutnya.
5. Segala sesuatu yang belum cukup diatur dalam Perjanjian ini dan dipandang perlu diatur lebih lanjut dan dilakukan perubahan oleh PARA PIHAK, maka perubahan-perubahannya akan diatur dalam perjanjian tambahan atau perubahan yang merupakan satu kesatuan dan bagian yang tidak terpisahkan dari Perjanjian ini.
Perjanjian ini dibuat dan ditandatangani oleh PARA PIHAK pada hari dan tanggal tersebut di atas, dibuat dalam rangkap 2 (dua) dan bermeterai cukup sesuai dengan ketentuan yang berlaku, yang masing-masing mempunyai kekuatan hukum yang sama.
PIHAK PERTAMA
Dr. Heru Sulistyo SE, M.Si NIK. 210493032
PIHAK KEDUA
Sam Farisa Chaerul Haviana, ST., M.Kom NIK. 210615046
PROTEKSI ISI LAPORAN PENELITIAN: Dilarang menyalin, menyimpan, memperbanyak sebagian atau seluruh isi laporan ini dalam bentuk apapun kecuali oleh peneliti dan pengelola
administrasi penelitian
LAPORAN PENELITIAN INTERNAL UNIVERSITAS ISLAM SULTAN AGUNG
IDENTITAS PENELITIAN A. JUDUL PENELITIAN
PERANCANGAN APLIKASI SENTIMENT ANALYSIS PADA KOMENTAR MAHASISWA DI SISTEM EDOM (EVALUASI DOSEN OLEH MAHASISWA) UNISSULA DENGAN TEKNIK DEEP LEARNING
B. BIDANG, TEMA, TOPIK, DAN RUMPUN BIDANG ILMU Bidang Unggulan
Perguruan Tinggi
Tema Topik (jika ada) Rumpun Bidang Ilmu
Data Mining Sentiment Analysis Teknik Informatika
C. KATEGORI, SKEMA, TARGET TKT, DAN LAMA PENELITIAN Kategori Skema Penelitian (Penelitian
Dasar/Terapan/Pengembangan)
Target Akhir TKT
Lama Penelitian
(Tahun)
Penelitian Internal Terapan 6 1
D. IDENTITAS PENGUSUL Nama,
Peran (Ketua, Anggota 1, Anggota 2)
Institusi
(Fakultas) Program
Studi Tugas ID
Sinta H-Index Sam Farisa
Chaerul Haviana, ST., M.Kom
Fakultas Teknologi Industri
Teknik Informatika
1. Merekayasa model deep learning 2. Pengembangan
Prototype aplikasi 3. Penulisan
Artikel Ilmiah
299 Scopus= 1 GS = 3
Bagus Satrio Waluyo Poetro,
S.Kom., MCS
Fakultas Teknologi Industri
Teknik Informatika
1. Data
Preprocessing 2. Pengujian
aplikasi 3. Dokumentasi
dan pelaporan
256976 Scopus= 0 GS = 2
E. MITRA KERJASAMA PENELITIAN (JIKA ADA)
Pelaksanaan penelitian dapat melibatkan mitra kerjasama, yaitu mitra kerjasama dalam melaksanakan penelitian, mitra sebagai calon pengguna hasil penelitian, atau mitra investor
Mitra Nama Mitra
F. LUARAN DAN TARGET CAPAIAN (Luaran Wajib) Tahun
Luaran Jenis Luaran
Status target capaian (accepted, published, terdaftar atau granted,
atau status lainnya)
Keterangan (url dan nama jurnal, penerbit, url paten, keterangan sejenis lainnya) 2020 Jurnal Nasional
Terakreditasi
accepted IAES International Journal of Artificial Intelligence (IJ-AI) ISSN/e-ISSN 2089-4872/2252-
8938
http://ijai.iaescore.com/index.ph p/IJAI/index
Luaran Tambahan Tahun
Luaran Jenis Luaran
Status target capaian (accepted, published, terdaftar atau granted,
atau status lainnya)
Keterangan (url dan nama jurnal, penerbit, url paten, keterangan sejenis lainnya)
G. ANGGARAN
Rencana anggaran biaya penelitian mengacu pada PMK yang berlaku dengan besaran minimum dan maksimum sebagaimana diatur pada buku Panduan Penelitian dan Pengabdian kepada Masyarakat UNISSULA.
Total RAB: Rp. 9.000.000,-
HALAMAN PENGESAHAN PENELITIAN
1. a. Judul Penelitian :
Perancangan Aplikasi Sentiment Analysis Pada Komentar Mahasiswa Di Sistem EDOM (Evaluasi Dosen Oleh Mahasiswa) UNISSULA Dengan Teknik Deep Learning
b. Bidang Ilmu : Teknik Informatika
c. Kategori Penelitian : PENELITIAN REGULER - EXACT - TERAPAN
2. Ketua Peneliti
a. Nama Lengkap dan Gelar : Sam Farisa Chaerul Haviana, ST., M.Kom b. Jenis Kelamin : Laki - Laki
c. Golongan / Pangkat / NIK : / 210615046 d. Jabatan Fungsional : Asisten Ahli (150) e. Jabatan Struktural : Sekjur Informatika
f. Fakultas / Jurusan : Fakultas Teknologi Industri g. Pusat Penelitian : LPPM Unissula
3. Alamat Ketua
a. Alamat Kantor / Telepon / Fax /
Email : Jl Kaligawe KM 04 Semarang / 024-6583584
b. Alamat Rumah / Telepon / Fax /
Email :jl.SUMBODRO 29 TEGAL Rt.03 Rw.04 kel.slerok kec.tegal timur Kota Tegal 52125 / / [email protected]
4. Jumlah Anggota : 1
a. Nama Anggota : - Bagus Satrio Waluyo Poetro, S.Kom., M.Cs 5. Mahasiswa yang terlibat : - ARDAN NUR CHAIYA PUTRA
6. Karyawan yang terlibat :
7. Lokasi Penelitian : Semarang
8. Kerjasama dengan Institusi lain
a. Nama Institusi :
b. Alamat :
c. Telepon / Fax / Email :
9. Lama Penelitian : 10 bulan
10. Biaya yang diusulkan
a. Biaya : Rp 10,000,000
b. Sumber Lain : -
c. Biaya yang disetujui : Rp 9,000,000
Jumlah : Rp 9,000,000
Telah Disetujui
Dekan & Kepala LPPM
Semarang, 14 January 2021 Peneliti
Sam Farisa Chaerul Haviana, ST., M.Kom NIK 210615046
LAPORAN PENELITIAN
Pengisian poin A sampai dengan poin G mengikuti template berikut dan tidak dibatasi jumlah kata atau halaman namun disarankan seringkas mungkin. Dilarang menghapus/memodifikasi template ataupun menghapus penjelasan di setiap poin.
A. HASIL PELAKSANAAN PENELITIAN
Tuliskan secara ringkas hasil pelaksanaan penelitian yang telah dicapai sesuai tahun pelaksanaan penelitian. Penyajian meliputi data, hasil analisis, dan capaian luaran (wajib dan atau tambahan). Seluruh hasil atau capaian yang dilaporkan harus berkaitan dengan tahapan pelaksanaan penelitian sebagaimana direncanakan pada proposal. Penyajian data dapat berupa gambar, tabel, grafik, dan sejenisnya, serta analisis didukung dengan sumber pustaka primer yang relevan dan terkini.
Penelitian ini berfokus pada dua hal yaitu membangun model deep learning dan membangun prototype aplikasi sentiment analysis pada angket terbuka dalam sistem EDOM (Evaluasi Dosen Oleh Mahasiswa).
A.1. Dataset
Dataset yang digunakan untuk training model deep learning dalam penelitian dikumpulkan dari komentar mahasiswa yang dimasukkan pada satu semester. Data ini kemudian berikan label sesuai dengan sentimen positif, negatif dan netral. Hasil dari pelabelan data memiliki distribusi sentimen seperti pada Gambar 1.
Gambar 1. Distribusi label sentimen pada dataset
Dari dataset yang ada kemudian dirancang model Multilayer Perceptron dan algoritma preprocessing data untuk data komentar mahasiswa. Dataset yang telah dilabeli menghasilkan distribusi yang tidak seimbang untuk semua sentimenya. Terutama pada sentimen netral yang memiliki paling sedikit proporsi hanya sebanyak 5,7% dari total record pada dataset.
A.2. Perancangan Metode Dan Algoritma
Model deep learning atau Multilayer Perceptron dipilih karena mempu mengungguli metode machine learning populer seperti Naïve Bayes dan SVM. Hal ini dinyatakan pada beberapa penelitian seperti pada [1]–[4]. Dalam hal sentiment analysis, deep learning juga dinyatakan memiliki performa yang sangat baik dengan rata-rata F1-score lebih dari 0.95 seperti dinyatakan pada [3]. Dengan pertimbangan tersebut maka penelitian ini membangun model klasifikasi sentiment menggunakan deep learning. Arsitektur model yang diajukan memiliki komponen Dense layer / Fully Connected layer, Dropout layer, Leaky ReLU dan PreLU activation. Model deep learning yang dibangun pada penelitian ini ditunjukkan pada Gambar 2.
Gambar 2. Arsitektur model deep learning yang dibangun pada penelitian ini
Dropout layer ditempatkan di setiap output dari Dense layer yang menjadi input dari Dense layer berikutnya. Dropout layer ditujukan untuk menghindari overfitting pada arsitektur yang dibangun [5]. Acivation function yang digunakan dalam model yang dibangun menggunakan versi modifikasi Rectified Linear Unit (ReLU) yaitu Leaky ReLU dan PReLU. Dua activation function ini dinyatakan mampu memiliki performa yang melebihi ReLU versi original [6].
Berdasarkan hasil-hasil penelitian yang ada sebelumnya, maka model deep learning dalam penelitian ini ditujukan akan mampu menghasilkan performa yang baik khususnya untuk dataset yang digunakan.
A.3. Hasil dan Pembahasan
Hasil validasi dan pengujian dari model yang dibangun menunjukkan performa yang sangat meyakinkan. Dari serangkaian pengujian dan validasi berulang menggunakan data uji acak dihasilkan Akurasi dan F1-score seperti pada grafik di Gambar 3.
Gambar 3. Grafik hasil validasi Akurasi dan F1-Score pada model yang dibangun
33 58 189 287 308 671 722 797 833 1144
0 0.2 0.4 0.6 0.8 1 1.2
num. of test data
F1-score Accuracy
Skor tertinggi akurasi memperoleh 0.97, dan dengan hasil ini akurasi model yang dibangun sangat meyakinkan. Bahkan dapat dikategorikan sebagai akurasi yang sangat bagus diatas 0.9.
Sedangkan dalam hal F1-score menghasilkan skor terbaik 0.63. Nilai ini cukup dapat diterima, mengingat kelas label dataset yang tidak berimbang.
Implementasi dari perancangan model deep learning untuk sentiment analysis sebagaimana tujuan dari penelitian ini dibangun pada sebuah aplikasi berbasis web. Aplikasi ini dapat digunakan untuk memprediksi kalimat komentar mahasiswa sesuai dengan sentimennya.
Contoh tampilan layar aplikasi ditunjukkan pada Gambar 4 dan Gambar 5.
Gambar 4. Tampilan hasil prediksi sentiment positif
Gambar 5. Tampilan hasil prediksi sentiment negatif
Hasil implementasi menunjukkan kualitas prediksi dari model deep learning dan preprocessing-nya sangat meyakinkan, bahkan untuk kalimat dengan jumlah kata yang sedikit.
B. STATUS LUARAN
Tuliskan jenis, identitas dan status ketercapaian setiap luaran wajib dan luaran tambahan (jika ada) yang dijanjikan. Jenis luaran dapat berupa publikasi, perolehan kekayaan intelektual, hasil pengujian atau luaran lainnya yang telah dijanjikan pada proposal. Uraian status luaran harus didukung dengan bukti kemajuan ketercapaian luaran sesuai dengan luaran yang dijanjikan. Lengkapi keterangan jenis luaran yang dijanjikan serta mengunggah bukti dokumen ketercapaian luaran wajib dan luaran tambahan melalui Sippmas.
Luaran wajib yang diajukan berupa artikel di jurnal ilmiah terakreditasi, berikut detail jurnal dan status luaran:
Nama Jurnal : IAES International Journal of Artificial Intelligence (IJ-AI) ISSN/e-ISSN : 2089-4872/2252-8938
URL : http://ijai.iaescore.com/index.php/IJAI/index Akreditasi : SINTA 1 (S1)
Indexed : Scopus (Q4) Status Luaran : Submitted Bukti Luaran :
Gambar 6. Active submission artikel jurnal di IJ-AI
Gambar 7. Summary Artikel Status luaran terkini dalam proses Review.
C. PERAN MITRA
Tuliskan realisasi kerja sama dan kontribusi Mitra baik in-kind maupun in-cash (untuk Penelitian Terapan dan Penelitian Pengembangan). Bukti pendukung realisasi kerja sama dan realisasi kontribusi mitra dilaporkan sesuai dengan kondisi yang sebenarnya. Bukti dokumen realisasi kerja sama dengan Mitra dilampirkan bersama laporan ini.
TIDAK ADA MITRA
D. KENDALA PELAKSANAAN PENELITIAN
Tuliskan kesulitan atau hambatan yang dihadapi selama melakukan penelitian dan mencapai luaran yang dijanjikan, termasuk penjelasan jika pelaksanaan penelitian dan luaran penelitian tidak sesuai dengan yang direncanakan atau yang dijanjikan.
Proses perancangan dan pengujian model deep learning membutuhkan komputasi yang sangat tinggi. Untuk melakukan training pada satu model dengan parameter tertentu membutuhkan waktu antara 5 s.d. 7 jam dengan menggunakan spesifikasi komputer yang dimiliki peneliti.
Sedangkan dalam membangun model yang tepat dan sesuai ekspektasi memerlukan banyak proses pengujian model yang dibangun. Kesulitan utama yang dihadapi dalam penelitian ini adalah keterbatasan mesin komputasi yang kurang memadai sehingga waktu penelitian menjadi lebih lama. Dan dengan ketersediaan dana penelitian yang ada, tidak memungkinkan untuk mengadakan mesin baru yang memadai untuk melakukan perancangan dan pengujian model deep learning dengan waktu yang dapat diterima.
Berkaitan dengan target luaran yang belum tercapai dalam penelitian ini berhubungan juga dengan proses pelaksanaan yang memakan waktu yang cukup panjang. Ini memberikan efek terhadap penulisan artikel yang menunggu hasil akhir dari penelitian yang meyakinkan. Artikel belum dapat ditulis hingga selesai sampai didapatkan hasil penelitian yang cukup. Hal ini berakibat pada proses pengiriman artikel ke jurnal tujuan sedikit mengalami penundaan.
E. KESIMPULAN DAN SARAN
Tuliskan dan uraikan kesimpulan dari pelaksanaan dan hasil penelitian yang sudah dilaksanakan dalam bentuk poin (1., 2., dst). Tuliskan dan uraikan saran untuk kemungkinan dilanjutkannya penelitian berikutnya, baik oleh peneliti yang bersangkutan maupun oleh peneliti lainnya dalam bentuk poin (1., 2., dst).
Berdasarkan hasil validasi dan pengujian dapat disimpulkan bahwa model deep learning untuk sentiment analisis pada komentar mahasiswa yang dibangun pada penelitian ini sangat meyakinkan. Berikut bebrapa hal yang dapat disimpulkan dari penelitian ini
1. Implementasi dengan aplikasi berbasis web dapat digunakan dengan hasil prediksi yang akurat. Ini dibuktikan dengan hasil validasi akurasi yang tinggi diatas 0.9.
2. Masih perlu menganalisis ketidakseimbangan distribusi sentimen dataset. Apakah hal ini mempengaruhi akurasi per kelas sentimen atau tidak, melihat hasil F1-score tidak terlalu tinggi hanya berkisar di 0.6.
Ketidakseimbangan distribusi dataset masih berpeluang untuk diteliti lebih lanjut, sehingga masih memungkinkan adanya studi atau penelitian lain yang membahas hal ini.
F. DAFTAR PUSTAKA
Penyusunan Daftar Pustaka berdasarkan sistem nomor sesuai dengan urutan pengutipan.
Hanya pustaka yang disitasi pada laporan kemajuan yang dicantumkan dalam Daftar Pustaka.
[1] D. Kansara and V. Sawant, “Comparison of Traditional Machine Learning and Deep Learning Approaches for Sentiment Analysis,” in Advanced Computing Technologies and Applications, H. Vasudevan, A. Michalas, N. Shekokar, and M. Narvekar, Eds.
Singapore: Springer Singapore, 2020, pp. 365–377.
[2] B. Magnini, A. Lavelli, and S. Magnolini, “Comparing machine learning and deep learning approaches on NLP tasks for the Italian language,” Lr. 2020 - 12th Int. Conf.
Lang. Resour. Eval. Conf. Proc., no. May, pp. 2110–2119, 2020.
[3] W. C. F. Mariel, S. Mariyah, and S. Pramana, “Sentiment analysis: A comparison of deep learning neural network algorithm with SVM and naïve Bayes for Indonesian text,”
J. Phys. Conf. Ser., vol. 971, no. 1, 2018, doi: 10.1088/1742-6596/971/1/012049.
[4] K. Jain and S. Kaushal, “A Comparative Study of Machine Learning and Deep Learning Techniques for Sentiment Analysis,” 2018 7th Int. Conf. Reliab. Infocom Technol.
Optim. Trends Futur. Dir. ICRITO 2018, pp. 483–487, 2018, doi:
10.1109/ICRITO.2018.8748793.
[5] N. Srivastava, G. Hinton, A. Krizhevsky, I. Sutskever, and R. Salakhutdinov, “Dropout:
A Simple Way to Prevent Neural Networks from Overfitting,” J. Mach. Learn. Res., vol.
15, no. 56, pp. 1929–1958, 2014, [Online]. Available:
http://jmlr.org/papers/v15/srivastava14a.html.
[6] B. Xu, N. Wang, T. Chen, and M. Li, “Empirical Evaluation of Rectified Activations in Convolutional Network,” 2015, [Online]. Available: http://arxiv.org/abs/1505.00853.
G. LAMPIRAN
Lampirkan dokumen-dokumen dan foto pendukung kegiatan dan laporan.
Lampiran 1. Foto kegiatan penelitian
Lampiran 2. Screenshot Aplikasi
