Analisis Sentimen Pembangunan Infrastruktur di Indonesia dengan Automated Lexicon Word2Vec dan Naive-Bayes

Fakultas Ilmu Komputer

Universitas Brawijaya 2673

Analisis Sentimen Pembangunan Infrastruktur di Indonesia dengan Automated Lexicon Word2Vec dan Naive-Bayes

Ananda Fitri Niasita¹, Putra Pandu Adikara² ,Sigit Adinugroho³

Program Studi Teknik Informatika, Fakultas Ilmu Komputer, Universitas Brawijaya Email: ¹anandafn8@gmail.com, ²adikara.putra@ub.ac.id, ³sigit.adinu@ub.ac.id

Abstrak

Pembangunan infrastruktur merupakan proyek yang sedang gencar dilakukan oleh pemerintah saat ini. Dengan adanya infrastruktur yang memadai, pemerintah berharap nantinya perekonomian dan tingkat kesejahteraan Indonesia akan meningkat. Pembangunan infrastruktur tentu saja menarik perhatian dari masyarakat. Berbagai komentar mengenai proyek ini disebutkan melalui media sosial, salah satunya adalah Twitter. Jumlah perbandingan pendapat pro dan kontra dari masyarakat dapat diketahui dengan menggunakan analisis sentimen. Dalam hal ini, analisis sentimen menggunakan kamus leksikon untuk menentukan apakah data tersebut bersifat positif atau negatif. Kamus leksikon dibuat secara otomatis dengan menggunakan metode Word2Vec terhadap data komentar. Metode Word2Vec bertujuan untuk mencari kedekatan antara satu kata dengan kata lainnya. Selanjutnya, penentuan kelas sentimen dilakukan dengan menggunakan metode Naive-Bayes. Penelitian ini menggunakan data latih sebanyak 100 data dan data uji sebanyak 50 data yang dibagi ke dalam sentimen positif dan negatif. Nilai akurasi tertinggi yang diperoleh adalah 64% dengan nilai precision sebesar 0,36, recall sebesar 0,818 dan f-measure sebesar 0,5.

Kata Kunci: analisis sentimen, pembangunan infrastruktur, word2vec, naive-bayes Abstract

Infrastructure development is a project that being intensively carried out by the current government. With the existence of good infrastructure, the government hopes that in the future the economy and the level of Indonesian welfare will increase. Infrastructure development attracts the community attention. Various comments regarding this project were mentioned through social media, for example Twitter. The number of pros and cons community comparisons known by using sentiment analysis. In this case, sentiment analysis uses a lexicon dictionary to determine whether the data is positive or negative. The lexicon dictionary created automatically using the Word2Vec method.

Word2Vec method is used to find closeness between words.. Then, the sentiment class is determine using the Naive-Bayes method. This study uses 100 training data and 50 testing data divided into positive and negative sentiment. The highest accuracy value are 64% with precision of 0.36, re-call of 0.818 and f-measure of 0.5.

Keywords: sentiment analysis, infrastructure development, word2vec, naive-bayes

1. PENDAHULUAN

Kemajuan sebuah negara berbanding lurus dari tingkat pertumbuhan dan pembangunan ekonominya. Salah satu faktor yang memengaruhi hal tersebut adalah dengan adanya pembangunan infrastruktur. Demi kesejahteraan pada masyarakat, maka perlu adanya keberadaan infrastruktur yang baik.

Pembangunan infrastruktur menjadi salah satu fokus pembangunan nasional pada masa pemerintahan Presiden Joko Widodo

(Suheriadi, 2017). Pembangunan tersebut antara lain bandara, jalan raya, jalan tol, stasiun kereta api, serta fasilitas umum lainnya. Pembangunan infrastruktur berkembang pesat dari tahun-tahun sebelumnya. Pada periode 2017-2018, Indonesia telah menduduki posisi ke 52 dari 137 negara dalam peringkat daya saing infrastruktur (Sembiring, 2018).

Dengan adanya pembangunan infrastruktur di Indonesia saat ini, tentu saja menimbulkan berbagai reaksi dari masyarakat. Reaksi tersebut adalah pro dan kontra. Reaksi pro dan kontra tersebut akan menjadi bahan evaluasi untuk

pemerintah ke depannya. Agar dapat mengetahui jumlah reaksi yang pro dan kontra terhadap pembangunan infrastruktur, maka perlu adanya analisis sentimen dengan data yang berasal dari komentar masyarakat pada platform Twitter.

Analisis sentimen berfungsi untuk menemukan pola pada kalimat lalu mengelompokkan ke dalam sentimen positif atau negatif. Adapun metode yang digunakan pada penelitian ini adalah Word2Vec dan Naive- Bayes. Metode Word2Vec merupakan hasil pembelajaran dari algoritme word embedding yang bertujuan untuk melakukan pemetaan dari kata menjadi vektor. Metode ini bertujuan untuk membuat leksikon otomatis berupa kata- kata positif dan negatif. Selanjutnya, klasifikasi data tersebut ke dalam sentimen positif atau negatif dengan menggunakan metode Naive- Bayes. Naive-Bayes berfungsi untuk mencari nilai probabilitas tertinggi pada data.

Penelitian dengan metode Word2Vec dan Naive-Bayes telah dilakukan sebelumnya dalam membuat kategori berita berbahasa Indonesia.

Model Word2Vec bertujuan untuk menambahkan makna semantik dari kata dalam proses klasifikasi. Hasil percobaan dengan Word2Vec memiliki nilai F-Score sebesar 94,17% (Santoso, 2018). Selain itu, terdapat penelitian selanjutnya yang bertujuan untuk menghitung persamaan ayat pada Al-Quran dengan pendekatan Word Alignment berdasarkan Support Vector Regression.

Penelitian ini menggunakan Word Alignment dan merepresentasikan ke dalam bentuk vektor dengan menggunakan Word2Vec. Nilai prediksi data pasangan ayat Al-Quran menggunakan metode Support Vector Regression (SVR) dan menghasilkan nilai Pearson Correlation sebesar 0,81221 (Nasution, 2017). Dari beberapa penelitian tersebut, metode Word2Vec dan Naive-Bayes terbukti memiliki akurasi yang baik dan mampu membuat corpus dengan cara mencari persamaan makna dari kata.

Harapannya, penelitian ini mampu memberikan klasifikasi mengenai opini masyarakat dengan akurasi yang tergolong baik sehingga nantinya dapat menjadi masukan atau saran untuk pemerintah.

2. PEMBANGUNAN INFRASTRUKTUR DI INDONESIA

Pembangunan infrastruktur di Indonesia merupakan salah satu program kerja terbesar

pada masa pemerintahan Presiden Jokowi.

Pembangunan infrastruktur ini bertujuan untuk meningkatkan pertumbuhan ekonomi yang merata bagi seluruh masyarakat Indonesia di masa mendatang. Menurut Katadata (2017), tercatat 30 dari total 225 proyek yang sudah selesai, antara lain pembangunan bendungan, bandara, jembatan, jalan tol, MRT, LRT, jalur kereta api, dan sebagainya.

3. WORD2VEC

Metode Word2Vec bertujuan untuk menemukan hubungan tersembunyi pada kata.

Setiap kata mewakili distribusi bobot pada elemennya. Metode ini memiliki 2 model arsitektur, yaitu Continous Bag-of-Words (CBOW) dan Skip-Gram. Model CBOW bertujuan untuk memprediksi target kata dari konteks kata, sedangkan model Skip-Gram bertujuan untuk memprediksi probabilitas kata yang dapat menjadi konteks kata dari target kata yang ada (Mikolov et al., 2013).

Berikut merupakan algoritme dari Word2Vec model Skip-Gram:

1. Pada tiap kata dalam kalimat, tentukan bobot dari kata target dan kata konteks.

Kata yang menjadi kata target dan kata konteks bernilai 1 sedangkan kata lainnya bernilai 0.

2. Untuk setiap kata yang menjadi kata target, lakukan proses 3 hingga 7

3. Forward Pass

a. Perhitungan bobot dari input layer ke hidden layer dengan rumus yang terdapat pada Persamaan (1).

ℎ = 𝑊^𝑇 × 𝑥 (1) keterangan:

h = hidden neuron x = input vector

𝑊^𝑇 = nilai transpose pada bobot dari input layer ke hidden layer

b. Perhitungan bobot dari hidden layer ke output layer dengan rumus yang terdapat pada Persamaan (2).

𝑢_𝑗 = 𝑊′^𝑇× ℎ (2) keterangan:

𝑢_𝑗 = output pada baris ke j

𝑊′^𝑇 = nilai transpose bobot dari hidden layer ke output layer

4. Softmax Output

Perhitungan softmax output dengan rumus yang terdapat pada Persamaan (3).

Fakultas Ilmu Komputer, Universitas Brawijaya

𝑦_𝑗= ^{exp (𝑢𝑗)}

∑^𝑉 exp (𝑢_𝑗′)

𝑗′=1

(3) keterangan:

𝑦_𝑗 = softmax output pada baris ke j 𝑢_𝑗′ = output dari seluruh baris 𝑉 = jumlah kata unik 5. Nilai error

Perhitungan nilai error dengan rumus yang terdapat pada Persamaan (4).

𝑒 = ∑ (𝑦^𝑐_{1 𝑗}− 𝑥_𝑐) (4) keterangan:

𝑒 = nilai error

𝑥_𝑐 = nilai vektor dari kata konteks 6. Backpropagation

a. Perhitungan bobot dari output layer ke hidden layer dengan rumus yang terdapat pada Persamaan (5).

𝑑𝑙𝑑𝑤′= ℎ × 𝑒^𝑇 (5) keterangan:

𝑑𝑙𝑑𝑤′ = bobot dari output layer ke hidden layer

b. Perhitungan bobot dari hidden layer ke input layer dengan rumus yang terdapat pada Persamaan (6).

𝑑𝑙_𝑑𝑤= 𝑥 × ( 𝑊^′× 𝑒)^𝑇 (6) keterangan:

𝑑𝑙_𝑑𝑤 = bobot dari input layer ke hidden layer

W’ = bobot dari hidden layer ke output layer

7. Update bobot

a. Perhitungan bobot baru dari input layer ke hidden layer dengan rumus yang terdapat pada Persamaan (7).

𝑊 = 𝑊(𝑙𝑎𝑚𝑎) − (𝑙𝑒𝑎𝑟𝑛𝑖𝑛𝑔 𝑟𝑎𝑡𝑒 ∗ 𝑑𝑙_𝑑𝑤) (7) keterangan:

𝑊 = bobot baru dari input layer ke hidden layer

𝑊(𝑙𝑎𝑚𝑎) = bobot lama dari input layer ke hidden layer

𝑙𝑒𝑎𝑟𝑛𝑖𝑛𝑔 𝑟𝑎𝑡𝑒 = parameter fungsi turunan dari waktu

b. Perhitungan bobot baru dari hidden layer ke output layer dengan rumus yang terdapat pada Persamaan (8).

𝑊′ = 𝑊′(𝑙𝑎𝑚𝑎) − (𝑙𝑒𝑎𝑟𝑛𝑖𝑛𝑔 𝑟𝑎𝑡𝑒 ∗ 𝑑𝑙𝑑𝑤′) (8) keterangan:

𝑊′ = bobot baru dari hidden layer ke output layer

𝑊′(𝑙𝑎𝑚𝑎) = bobot lama dari hidden layer ke output layer

8. Setelah mendapatkan bobot baru dari kata terakhir dalam kalimat, maka lakukan perhitungan query dengan masing-masing kata konteks untuk mendapatkan vektor kata dengan rumus yang terdapat pada Persamaan (9).

𝜃 = ^{𝑣𝑞𝑢𝑒𝑟𝑦×(𝑣𝑘𝑜𝑛𝑡𝑒𝑘𝑠)}

𝑇

√∑ 𝑉𝑞𝑢𝑒𝑟𝑦 ²×√∑ 𝑉𝑘𝑜𝑛𝑡𝑒𝑘𝑠 ² (9) keterangan:

𝜃 = vektor dari kata

𝑣_{𝑞𝑢𝑒𝑟𝑦} = bobot dari kata query 𝑣_{𝑘𝑜𝑛𝑡𝑒𝑘𝑠} = bobot dari kata konteks

9. Urutkan nilai vektor pada tiap kata dari yang besar hingga kecil, lalu ambil n kata teratas untuk menentukan kata yang memiliki kedekatan dengan query.

4. NAIVE-BAYES CLASSIFIER

Algoritme Naive-Bayes bertujuan untuk mengelompokkan dokumen dengan cara mencari peluang tertinggi pada tiap dokumen.

Algoritme ini mudah dan memiliki tingkat akurasi yang tinggi dengan proses perhitungan yang cepat (Lestari, 2017). Perhitungan posterior terdapat pada Persamaan (10) berikut (Manning, Raghavan and Schütze, 2008).

𝑃(𝑐_𝑗|𝑤_𝑖) = 𝑃(𝑐_𝑗) × 𝑃(𝑤₁|𝑐_𝑗) × 𝑃(𝑤₂|𝑐_𝑗) ×

… … .× 𝑃(𝑤_𝑛|𝑐_𝑗) (10) Adapun persamaan untuk menghitung prior terdapat pada Persamaan (11) (Manning, Raghavan and Schütze, 2008).

𝑃(𝑐_𝑗) =^{𝑁(𝑐𝑗)}

𝑁 (11)

keterangan:

𝑁(𝑐_𝑗) = Jumlah dokumen latih yang berada pada kategori c_j

N = Jumlah seluruh dokumen latih

Perhitungan likelihood menggunakan fungsi Multinomial Naive-Bayes. Persamaan dari perhitungan likelihood terdapat pada Persamaan (12) (Manning, Raghavan and Schütze, 2008).

𝑃(𝑤𝑖|𝑐𝑗) = ^{𝑐𝑜𝑢𝑛𝑡(𝑤𝑖,𝑐𝑗)+1}

(∑_𝑤∈𝑉𝑐𝑜𝑢𝑛𝑡(𝑤,𝑐_𝑗))+|𝑉| (12) keterangan:

𝑐𝑜𝑢𝑛𝑡(𝑤𝑖, 𝑐𝑗) = Jumlah kemunculan kata uji i pada kategori 𝑐_𝑗

∑_𝑤∈𝑉𝑐𝑜𝑢𝑛𝑡(𝑤, 𝑐_𝑗) = Jumlah kemunculan seluruh kata yang ada di kategori 𝑐𝑗

|𝑉| = Jumlah seluruh kata unik yang ada pada seluruh kategori

5. IMPLEMENTASI ALGORITME

Implementasi algoritme pada penelitian ini terbagi menjadi 2 tahap, yaitu pembuatan automated lexicon dengan menggunakan metode Word2Vec dan proses klasifikasi untuk analisis sentimen. Diagram alir dari pembuatan automated lexicon terdapat pada Gambar 1.

Gambar 1. Diagram Alir Pembuatan Automated Lexicon

Selanjutnya, terdapat proses klasifikasi untuk analisis sentimen yang dibagi menjadi 2 tahap, yaitu pelatihan dan pengujian. Proses pelatihan bertujuan untuk mendapatkan kelas dari data latih. Diagram alir dari pelatihan pada proses klasifikasi untuk analisis sentimen terdapat pada Gambar 2.

Gambar 2. Diagram Alir Pelatihan pada Proses Klasifikasi untuk Analisis Sentimen

Proses pengujian berfungsi untuk menentukan kelas dari data uji apakah masuk ke dalam sentimen positif atau negatif berdasarkan data latih sebelumnya. Diagram alir dari pengujian pada proses klasifikasi untuk analisis sentimen terdapat pada Gambar 3.

Gambar 3. Diagram Alir Pengujian pada Proses Klasifikasi untuk Analisis Sentimen

6. HASIL DAN PEMBAHASAN

Pengujian dari program menggunakan 150 data latih yang terbagi menjadi 75 data sentimen positif dan 75 data sentimen negatif, sedangkan untuk pengujian program menggunakan 50 data uji yang terbagi menjadi 25 data sentimen positif dan 25 data sentimen negatif. Pengujian terhadap metode Word2Vec ini menggunakan lima parameter, yaitu windows size, learning rate, hidden neuron, Top-N kata, dan epoch.

6.1 Pengujian terhadap Windows Size Tabel 1 Tabel Pengujian Window Size WS Pakar

Prediksi Positif Negatif Akurasi

2 Positif 4 21

Negatif 4 21 50%

5 Positif 6 19

57,9%

Negatif 2 23

10 Positif 8 17

Negatif 3 22 60%

20 Positif 10 15

Negatif 4 21 62%

50 Positif 6 19

57,9%

Negatif 2 23

Berdasarkan Tabel 1, dapat dijelaskan bahwa banyaknya hasil prediksi pada kelas positif yang sesuai dengan ground truth akan meningkat seiring dengan bertambahnya nilai windows size tersebut. Namun, banyaknya hasil prediksi pada kelas negatif yang sesuai dengan ground truth akan menurun ketika windows size yang dimasukkan adalah 10 atau lebih besar

Fakultas Ilmu Komputer, Universitas Brawijaya

dari 10. Hal ini menandakan bahwa leksikon positif yang dihasilkan lebih merepresentasikan kata pada data uji dibandingkan dengan leksikon negatif yang dihasilkan. Namun, ketika windows size bernilai 50 atau lebih besar dari 50, maka hasil akurasi akan berkurang karena nilai error yang dihasilkan pada tiap kata akan semakin besar sehingga kemiripan katanya semakin sedikit. Adapun akurasi tertinggi yang diperoleh dari pengujian ini sebesar 62%, yaitu ketika ukuran windows size adalah 20.

6.2 Pengujian terhadap Learning Rate Tabel 2 Tabel Pengujian Learning Rate LR Pakar

Prediksi Positif Negatif Akurasi 0,01 Positif 6 19

57,99%

Negatif 2 23

0,03 Positif 7 18

57,99%

Negatif 3 22

0,05 Positif 10 15 Negatif 4 21 62%

0,08 Positif 7 18

56,001%

Negatif 4 21

Berdasarkan Tabel 2, dapat dijelaskan bahwa banyaknya hasil prediksi pada kelas positif yang sesuai dengan ground truth akan meningkat hingga learning rate bernilai 0,05.

Namun, banyaknya hasil prediksi pada kelas negatif yang sesuai dengan ground truth akan menurun seiring bertambahnya nilai dari learning rate. Hal ini menandakan bahwa nilai learning rate yang optimal berada pada saat learning rate bernilai 0,05. Sehingga, apabila learning rate yang dimasukkan bernilai lebih dari 0,05, maka akan mengurangi keakuratan dari hasil prediksi tersebut. Adapun akurasi yang diperoleh ketika learning rate sebesar 62%.

6.3 Pengujian terhadap Hidden Neuron Berdasarkan Tabel 3, dapat dijelaskan bahwa banyaknya hasil prediksi pada kelas positif yang sesuai dengan ground truth akan meningkat hingga hidden neuron bernilai 20 dan konstan ketika hidden neuron bernilai 30.

Namun, hasil prediksi pada kelas negatif yang sesuai dengan ground truth akan meningkat hingga hidden neuron bernilai 30 sehingga precision pada saat hidden neuron 30 akan

berkurang. Hal ini menandakan bahwa nilai hidden neuron yang optimal berada pada saat hidden neuron bernilai 20 sehingga, apabila hidden neuron yang dimasukkan bernilai lebih dari 20, maka akan mengurangi keakuratan dari hasil prediksi tersebut. Adapun akurasi yang diperoleh adalah sebesar 64%.

Tabel 3 Tabel Pengujian Hidden Neuron HN Pakar

Prediksi Positif Negatif Akurasi

10 Positif 7 18

56,001%

Negatif 4 21

20 Positif 9 16

Negatif 2 23 64%

30 Positif 7 18

Negatif 1 24 62%

40 Positif 5 20

Negatif 3 22 54%

6.4 Pengujian terhadap Top-N Kata Tabel 4 Tabel Pengujian Top-N Kata Top-

N (%)

Pakar

Prediksi

Positif Negatif Akurasi

25 Positif 4 21

Negatif 2 23 54%

40 Positif 5 20

56,01%

Negatif 2 23

50 Positif 9 16

Negatif 2 23 64%

60 Positif 8 17

57,9%

Negatif 4 21

75 Positif 8 17

57,9%

Negatif 4 21

Berdasarkan Tabel 4, dapat dijelaskan bahwa banyaknya hasil prediksi pada kelas positif yang sesuai dengan ground truth akan meningkat ketika kata yang diambil semakin banyak sehingga peluang masuknya kata kerja, sifat dan keterangan akan semakin banyak.

Namun, ketika kata yang diambil lebih dari 50%, tingkat akurasi akan berkurang karena kata yang diambil terlalu banyak dan tingkat kemiripan kata juga akan semakin jauh dari kata query. Hal ini menandakan bahwa pengambilan kata yang optimal adalah ketika pengambilan sebesar 50% dari hasil kata.

Adapun akurasi yang diperoleh adalah sebesar 64%.

6.5 Pengujian terhadap Epoch Tabel 5 Tabel Pengujian Epoch Ep Pakar

Prediksi Positif Negatif Akurasi

2 Positif 9 16

Negatif 2 23 64%

20 Positif 9 16

Negatif 3 22 62%

40 Positif 9 16

Negatif 2 23 64%

60 Positif 9 16

Negatif 2 23 64%

Berdasarkan Tabel 5, dapat dijelaskan bahwa penambahan jumlah epoch tidak memiliki pengaruh yang signifikan terhadap hasil akurasi. Hal ini disebabkan karena kumpulan kata yang masuk ke dalam leksikon positif dan negatif merupakan kata yang sama, hanya saja urutan katanya yang berbeda. Dari keempat percobaan yang dilakukan, nilai precision yang diperoleh tetap, yaitu sebesar 0,36 dan mengalami perubahan pada recall dari 0,75 menjadi 0,818. Adapun akurasi yang diperoleh adalah sebesar 64%.

7. KESIMPULAN

Berdasarkan hasil pengujian yang telah dilakukan, ada beberapa kesimpulan yang diperoleh. Kesimpulan tersebut antara lain:

1. Perancangan algoritme Word2vec untuk membuat automated lexicon menggunakan 150 data latih dengan pembagian 75 data sentimen positif dan 75 sentimen negatif.

Proses perhitungan Word2Vec ini dilakukan pada tiap kata dalam data latih secara berurutan. Kemudian, bobot akhir dari Word2Vec digunakan untuk mencari kemiripan kata dan membuat automated lexicon berdasarkan peluang terbesar dari kelasnya. Pengujian terhadap data uji dilakukan dengan menggunakan metode Naive-Bayes Lexicon Based yang mana leksikon merupakan hasil dari automated lexicon yang telah dibuat sebelumnya. Hasil klasifikasi yang didapatkan berupa sentimen positif dan sentimen negatif.

2. Penggunaan metode Naive-Bayes untuk melakukan klasifikasi kelas sentimen memiliki nilai precision sebesar 0,36, recall sebesar 0,818, f-measure sebesar 0,5 dan akurasi sebesar 64%. Dari analisis yang

telah dilakukan sebelumnya, pembentukan automated lexicon memiliki pengaruh terhadap hasil dari data uji tersebut.

Semakin banyak variasi dan jumlah data latih yang digunakan untuk membuat automated lexicon, maka akan semakin akurat juga hasil prediksi kelas data uji.

8. DAFTAR PUSTAKA

Katadata, 2017. Bagaimana Progres Pembangunan Infrastruktur di Indonesia?

[online] Available at:

<https://databoks.katadata.co.id/datapublis h/2017/06/09/bagaimana-progres-

pembangunan-infrastruktur> [Diakses 22 Agustus 2018].

Lestari, A.R., 2017. Analisis Sentimen Tentang Opini Pilkada DKI 2017 pada Dokumen Twitter Berbahasa Indonesia Menggunakan Naive Bayes dan Pembobotan Emoji. Universitas Brawijaya.

Manning, C.D., Raghavan, P. and Schütze, H., 2008. Introduction to Information Retrieval. New York, NY, USA:

Cambridge University Press.

Mikolov, T., Chen, K., Corrado, G. and Dean, J., 2013. Efficient Estimation of Word Representations in Vector Space. [online]

pp.1–12. Available at:

<http://arxiv.org/abs/1301.3781> [Diakses 22 Agustus 2018].

Nasution, A.W.Z., 2017. Analisis dan Implementasi Perhitungan Semantics Similarity Pada Ayat Al-Quran Dengan Pendekatan Word Alignment Berdasarkan Support Vector Regression Analysis and Implementation Semantics Similarity Measurement Of Al-Quran Verses with Word Alignment Approa. [online]

Universitas Telkom. Available at:

<http://repository.telkomuniversity.ac.id/p ustaka/136787/analisis-dan-implementasi- perhitungan-semantics-similarity-pada- ayat-al-quran-dengan-pendekatan-word- alignment-berdasarkan-support-vector- regression.html>.

Santoso, J., 2018. Self-Training Naive Bayes Berbasis Word2Vec untuk Kategorisasi Berita Bahasa Indonesia. Jurnal Nasional Teknik Elektro dan Teknologi Informasi (JNTETI), [online] 7(2), pp.158–166.

Available at:

<http://ejnteti.jteti.ugm.ac.id/index.php/JN

Fakultas Ilmu Komputer, Universitas Brawijaya

TETI/article/view/418> [Diakses 22 Agustus 2018].

Sembiring, L.J., 2018. Infrastruktur Indonesia di Peringkat 52 Dunia, Apa Masalahnya.

[online] Available at:

<https://economy.okezone.com/

read/2018/04/13/320/1886166/infrastruktur -indonesia-di-peringkat-52-dunia-apa- masalahnya%3E> [Diakses 22 Agustus 2018].

Suheriadi, 2017. Ini Alasan Pemerintah Fokus Bangun Infrastruktur. [online] Available at: <http://infobanknews.com/ini-alasan- pemerintah-fokus-bangun-infrastuktur>

[Diakses 22 Agustus 2018].