WEB MINING ON INDONESIA E-COMMERCE SITE
Humasak Simanjutak1, Novitasari Sibarani2, Bambang Sinaga3, Novalina Hutabarat4
Del Institute of Technology
Jl. Sisingamangaraja Desa Sitoluama Laguboti Telp. (0632) 331234, Faks. (0632) 331116
E-mail: humasak@del.ac.id, if11001@students.del.ac.id, if11013@students.del.ac.id, if11052@students.del.ac.id
ABSTRAK
E-commerce site telah berkembang dengan sangat pesat karena e-commerce site memungkinkan seseorang untuk berbelanja secara online dengan mudah dan cepat tanpa harus bertemu dengan penjual secara langsung. Setiap e-commerce site menyediakan berbagai jenis produk, seperti sandang, pangan, perabotan rumah tangga, alat-alat elektronik dan aksesoris. Keinginan customer untuk memperoleh produk dan harga yang sesuai mengakibatkan customer harus mengunjungi beberapa e-commerce site. Oleh karena itu, dibutuhkan adanya sebuah website atau site summary yang dapat menampilkan produk dari beberapa e-commerce site. Site summary dapat menampilkan data produk dari beberapa e-commerce site sehingga dapat membantu pengguna untuk mencari produk yang diinginkannya dengan mudah. Site summary yang dibangun menerapkan web content mining dengan teknik web data extraction yang akan menghasilkan file-file Html. Dan terdapat beberapa proses tambahan yaitu proses parsing file Html menggunakan library Jericho Html Parser dan proses penyimpanan data hasil parsing tersebut ke basis data dasite summaryn proses menampilkan data dalam Dengan proses ini, data yang sebelumnya ditampilkan pada website masing-masing, saat ini sudah ditampilkan pada sebuah site yang disebut site summary.
Kata Kunci: e-commerce site, site summary, parsing, web content mining, online
E-commerce site has grown rapidly since it allows someone to shop online quickly and easily without having to meet the seller directly. Every e-commerce site provides ma ny kinds of products, such as clothes, food, furniture, electronic tools, and accessories. But online e-commerce site transactions also sometimes not effective for users to find products needs and has appropriate price. Therefore, we need a website or site summary that can display product summary from several commerce site. That site summary can display products data from several e-commerce site so it can help user to find products needs easily. Site summary built with implement web content mining by using web data extraction technique that can produce Html files. Then, there are some additional process such as parsing Html files using library Jericho Html Parser, saving data into database and then displayed data into a site summary. By using all these process, data from several e-commerce site now can be displayed on a site called site summary.
1. PENDAHULUAN
1.1 Latar Belakang
Perkembangan Teknologi Informasi dan Komunikasi saat ini telah mengubah perilaku masyarakat maupun peradaban manusia secara global. Perkembangan tersebut juga menyebabkan hubungan dunia menjadi tanpa batas dan menyebabkan terjadi perubahan sosial, ekonomi, dan budaya yang secara signifikan berlangsung cepat. Salah satu contoh adalah banyak e-commerce site yang memungkinkan seseorang berbelanja secara online dengan mudah dan cepat tanpa harus bertemu dengan penjual secara langsung. Masing-masing e-commerce site menyediakan berbagai jenis produk, seperti sandang, pangan, perabotan rumah tangga, alat-alat elektronik dan aksesoris.
Pada saat ini, banyak e-commerce site menawarkan produk dengan harga, deskripsi, discount, dan merk yang sama, namun dengan kualitas yang berbeda sehingga pembeli cenderung mengunjungi beberapa e-commerce site untuk memperoleh perbandingan setiap data produk sesuai
dengan yang diinginkan. Hal ini memberikan kesulitan bagi pembeli karena harus mengunjungi beberapa e-commerce site sehingga membutuhkan waktu yang lebih lama. Dalam menangani hal tersebut, maka dibutuhkan suatu site yang menyediakan summary dari beberapa e-commerce site. Site summary ini bertujuan untuk membantu pembeli dalam membuat keputusan ketika melakukan transaksi online.
Google Shopping merupakan site summary yang menyediakan produk-produk dari beberapa online store, antara lain Shop, ArtFire eBay dan Newegg. Setiap online store tersebut memiliki e-commerce site masing-masing. Sehingga pada setiap produk yang ditawarkan di Google Shopping memiliki keterangan mengenai e-commerce site penyedia produk tersebut. Hal tersebut mempermudah pembeli dalam berbelanja online karena pembeli tidak perlu mengunjungi site dari setiap online store tersebut satu per satu.
summary dari e-commerce site Indonesia. Oleh karena itu, pengerjaan tugas akhir ini diharapkan dapat menghasilkan suatu site summary yang membantu para pengunjung e-commerce site Indonesia dalam berbelanja seperti yang ada pada Google Shopping. Beberapa cara yang digunakan untuk menghasilkan site summary adalah dengan cara melakukan Web Content Mining dan Web Mash-Up.
Dalam tugas akhir ini teknik yang dilakukan untuk menghasilkan site summary adalah Web Content Mining, dimana teknik ini akan melakukan mining terhadap beberapa e-commerce site Indonesia sehingga akan menghasilkan suatu site yang berisi rangkuman perbandingan data dari e-commerce site tersebut. Informasi yang diperoleh dari hasil mining web tersebut antara lain merk, harga dan kategori produk dari beberapa e-commerce site Indonesia.
1.2 Metode Penelitian
Dalam penelitian yang dilakukan terhadap e-commerce site menggunakan teknik web content mining, dilakukan beberapa metode antara lain:
1. Literatur studi
Pencarian dan pengumpulan referensi yang berhubungan dengan web mining, web content mining, web mash-up, parser html dan e-commerce site.
2. Analisis dan Desain
Analisis penerapan web content mining pada beberapa e-commerce site Indonesia dan mendesain aplikasi site summary.
3. Implementasi
Implementasi dilakukan untuk membangun aplikasi dan visualisasi yang menjadi summary dari beberapa e-commerce site.
2. ANALISIS
2.1 Analisis Terhadap Proses Web Content
Mining
Berdasarkan hasil studi literatur mengenai web data extraction, output dari web data extraction berupa file HTML belum dapat digunakan untuk membuat site summary. Oleh karena itu, dibutuhkan proses tambahan meliputi parsing, simpan data dan view site summary. Secara detil, proses web content mining tersebut dapat dilihat pada Gambar .
Keterangan gambar: 1. Proses Parsing
Parsing merupakan proses yang dilakukan pada untuk mendapatkan data yang dibutuhkan untuk ditampilkan pada view site summary. Data yang diparsing meliputi nama produk, harga produk, detil produk, gambar produk dan spesifikasi produk. Parsing dilakukan dengan menggunakan library Jericho Html Parser. 2. Menyimpan Data
Data hasil parsing yang meliputi nama produk, harga produk, detil produk, gambar produk, deskripsi produk, spesifikasi produk disimpan pada sebuah database.
2. View Site Summary
Data yang telah berhasil disimpan pada database selanjutnya akan ditampilkan pada suatu site summary. Site summary menampilkan data produk dari dua e-commerce site Lazada dan Rakuten yang telah berhasil disimpan.
2.2 Analisis Terhadap Struktur Tag: Lazada
dan Rakuten
Pada pengerjaan penelitian ini dibutuhkan dua e-commerce site yang memiliki struktur layout dan tag yang mirip. Kemiripan dapat dilihat dari content dan struktur yang dimiliki oleh kedua e-commerce site. Pada bagian ini ditunjukkan hasil analisis terhadap struktur tag dan layout dua e-commerce site, yaitu Lazada dan Rakuten. Kedua e-commerce siste Lazada dan Rakuten memiliki struktur layout yang sama. Struktur layout dari kedua e-commerce site dapat dilihat pada Gambar
Keterangan gambar:
pengiriman dan jaminan yang diberikan Lazada kepada pembeli.
b. Pada angka 2 disebut sidebar yang berisi kategori produk yang terdapat dalam Lazada, misalnya Komputer dan Laptop, Otomotif, Kamera dan Fashion. dapat melihat produk-produk yang sedang murah.
e. Pada angka 5 disebut footer. Footer pada e-commerce site Lazada berisi informasi mengenai Lazada, layanan bagi pelanggan, metode pembayaran dan kategori brand pilihan. Dari hasil analisis struktur kedua e-commerce site yaitu Lazada dan Rakuten, maka dapat diambil kesimpulan antara lain:
1. Struktur e-commerce site Lazada dan Rakuten memiliki kemiripan yaitu memiliki struktur antara lain:
a. Header yang berisi logo ataupun nama dari e-commerce site.
b. Sidebar yang berisi kategori-kategori produk yang dijual di e-commerce site tersebut. c. Content berisi iklan maupun produk-produk
yang dijual di e-commerce site tersebut. d. Footer berisi infomasi mengenai e-commerce
site dan cara pembayaran yang dilakukan. 2. Berdasarkan jenis-jenis kategori produk yang
dimiliki oleh kedua e-commerce site maka diperoleh:
a. Kategori produk yang sama pada kedua e-commerce site antara lain: handphone, tablet, kamera, elektronik, peralatan rumah tangga, komputer, fashion, kecantikan, bayi, kesehatan, otomotif, mainan, olahraga dan musik.
b. Kategori produk yang hanya ada pada Lazada yaitu tas koper, sedangkan produk yang hanya ada pada Rakuten yaitu makanan dan minuman, bunga tanaman, serta buku dan alat tulis. Sehingga dari keterangan diatas diperoleh empat kategori yang berbeda yaitu sekitar 20 %.
Maka berdasarkan persamaan dan perbedaan kedua e-commerce site tersebut diperoleh persentase kategori produk yang sama yaitu sekitar 80 %. Hal demikian dapat dilihat dari kategori-kategori produk yang dijual pada kedua e-commerce site tersebut. Sedangkan untuk perbedaan struktur tag antara kedua e-commerce site dapat dilihar pada Tabel.
No Struktur
Tag
Lazada Rakuten
1 Tag Box <div class=”b
-item”> <div class=”bmod-item-
-No Struktur
breadcrumb”> <ul class=”bcr box
breadcrumbs”
2.3 Analisis Terhadap Web Content Mining dan
Web Mash-up
Perbedaan antara web mash-up dan web content mining dapat dilihat pada Tabel
No Jenis
2 Penggunaan Online Offline
3 Input URL URL
Berbayar Open source
Berdasarkan hasil analisis terhadap perbandingan web mash-up dan web content mining, maka diperoleh beberapa hal, diantaranya:
a. Web mash-up menggunakan data online sedangkan dalam pengerjaan tugas ini menggunakan data offline dikarenakan bahwa data online membutuhkan koneksi ke Internet.
2.4 Analisis Terhadap Web Crawling
Web crawling merupakan Proses menyalin sebagian atau seluruh isi dari website ke local disk komputer. Proses ini dilakukan untuk proses analisis dan pengambilan data yang lebih cepat. Terdapat beberapa tools atau sering disebut web crawler yang dapat menyalin isi website ke local disk antara lain Visual Web Spider, Visual Web Ripper, Win Web Crawler dan HTtrack. Berikut beberapa perbedaan yang diperoleh dari keempat web crawler tersebut. Berdasarkan hasil analisis terkait keempat web crawler tersebut maka diputuskan untuk menggunakan HTtrack sebagai web crawler karena beberapa alasan berikut:
1. HTtrack merupakan tools yang open source sedangkan tools lain tidak open source.
2. HTTrack menghasilkan output berupa file dan folder yang dapat disimpan dalam direktori lokal karena telah berubah menjadi data yang offline. 3. Selain dapat menghasilkan data yang offline,
HTTrack juga dapat digunakan secara berulang-ulang karena sifatnya yang open source. Hal demikian karena dalam proses pengerjaan dibutuhkan untuk dapat melakukan crawling selama beberapa kali sesuai kebutuhan.
Hasil dari menggunakan Httrack sebagai web crawler adalah sebagai berikut.
1. Menghasilkan folder yang berisi file-file berupa image, dokumen .txt, file css dan sebuah index.html, hts-log.txt, cookies.xt, backblue.gif dan fade.gif serta root directory.
2. Root directory merupakan folder yang berisi informasi terkait produk. Di dalam root directory terdapat beberapa file html yang memiliki penamaan sama dengan nama produk atau item yang terdapat pada website tersebut. 3. Di dalam root directory juga terdapat folder
images yang khusus menyimpan icon dan shortcut dari setiap file html didalamnya. 4. Menghasilkan file index.html pada folder utama
website yang di-crawling yang akan menampilkan halaman utama dari website dan berisi semua kategori produk yang tersedia. 5. Setiap folder yang memiliki nama sesuai nama
kategori produk memiliki satu file index.html dan beberapa folder lain. File index.html digunakan untuk menampilkan setiap halaman sesuai kategori pada website online-nya. Hasil crawling dengan HTtrack dapat digambarkan sebagai berikut.
Keterangan gambar:
A. Root folder hasil crawling
B. File (index.html, backblue, cookies, fade, hts-log)
C. Folder gambar
D. Folder configuration (hts-cache)
E. Folder yang memuat isi website (ajax.googleleapis.com, apis.google.com, assets.pinterest.com,
lh3.gppgleusercontent.com) F. Kategori dan subkategori folder G. File (index dan detil produk)
2.5 Analisis Terhadap HTML Parser: Jericho
HTML Parser
Jericho HTML Parser merupakan salah satu contoh HTML Parser yaitu suatu library pada Java untuk analisis dan manipulasi terhadap suatu tag html sehingga dapat diperoleh data yang diingin dari halaman html tanpa harus mengambil semua data yang terdapat pada halaman tersebut atau disebut dengan parsing.
Library Jericho Html Parser melakukan parsing berdasarkan tag css. Library ini dapat mengambil data sesuai data yang dibutuhkan, maksudnya adalah sebagai berikut:
1. Jericho Html Parser dapat mengambil data dari
isi tag tertentu seperti
“<strong>Kamera</strong>, maka data yang diambil adalah Kamera.
2. Jericho Html Parser dapat melakukan modifikasi terhadap data yang telah diambil dengan menambah tag tertentu pada konten yang ingin dimodifikasi dan menghapus tag tertentu yang tidak dibutuhkan.
Berikut adalah kelas-kelas yang disediakan oleh library Jericho Html Parser dengan fungsi yang berbeda-beda untuk mempermudah pada proses parsing.
1. DisplayAllElemenyts.java
2. FindSpesificTags.java
kelas ini dibangun untuk mencari tag dengan nama tertentu, dalam namespace tertentu, atau tag khusus seperti deklarasi tipe dokumen, deklarasi XML, instruksi pemrosesan XML, tag PHP, tag Mason, dan komentar HTML.
3. ExtractText.java
kelas ini menunjukkan penggunaan kelas Text Extractor yang mengekstrak semua teks dari dokumen, judul, deskripsi, kata kunci dan link. 4. RenderToText.java
kelas ini menunjukkan penggunaan kelas Renderer yang melakukan render teks sederhana dari HTML, mirip dengan cara Mozillla Thunderbird dan klien email lainnya untuk melakukan konversi otomatis dari konten HTML teks dalam alternatif pengkodean MIME email mereka.
5. HTMLSanitiser.java
kelas ini menunjukkan bagaimana membersihkan tag HTML yang tidak diinginkan atau tidak valid.
6. FormControlDisplayCharacteristics.java
kelas ini menunjukkan pengaturan karakteristik tampilan dari form control. Hal ini memungkinkan sebuah kontrol dinonaktifkan, dihapus, atau diganti dengan representasi teks biasa dari nilainya. Dokumen baru ditulis ke sebuah file dengan nama NewForm.html
7. FormFieldCSVOutput.java.
kelas ini menunjukkan penggunaan metod FormFields.getColumnValues(Map) untuk menyimpan data formulir dalam file.csv, secara otomatis, membuat kolom terpisah untuk field- field yang berisi beberapa nilai (seperti kotak centang) . Output ditulis ke sebuah file yang bernama FormData.csv.
8. FormFieldList.java
kelas ini menunjukkan penggunaan method Segment.findFormFields() untuk mendaftarkan semua kolom field dan kontrolnya yang terkait dalam sebuah dokumen.
9. FormatSource.java
kelas ini menunjukkan penggunaan kelas SourceFormatter yang melakukan format terhadap kode HTML dengan meletakkan setiap elemen non-inline-level pada baris baru dengan indent yang tepat. Kelas ini juga dikenal sebagai "source beautifier".
10.CompactSource.java
kelas ini menunjukkan penggunaan kelas SourceCompactor untuk menghapus semua spasi yang tidak perlu pada kode HTML.
11.Encoding.java
kelas ini menunjukkan penggunaan kelas EncodingDetector dan bagaimana menentukan encoding dari sumber dokumen.
12.SplitLongLines.java
kelas ini menunjukkan bagaimana cara untuk melakukan format dokumen sehingga garis yang melebihi jumlah karakter tertentu dibagi menjadi beberapa baris.
3. IMPLEMENTASI
3.1Implementasi
Implementasi yang dilakukan pada pengerjaan site summary dapat dilihat pada gambar flow chart berikut ini.
Start
Persiapan Web Crawler TTrack
URL Website Crawling Web Offline Data
Parsing Tag HTML Hasil Parsing
Simpan Hasil Parsing ke Database
View Site Summary
End
Keterangan gambar.
Berdasarkan gambar tersebut terlihat bahwa terdapat empat proses yang dilakukan secara bertahap yaitu: 1. Crawling Web
Tahap ini merupakan proses awal yang harus dilakukan yaitu melakukan crawling terhadap website yang akan digunakan kontennya pada site summary dengan menggunakan web crawler HTrack. Inputan untuk web crawler HTtrack adalah url dari website yang akan dicrawling dan hasilnya adalah data offline dari website tersebut. 2. Parsing
Tahap parsing merupakan proses untuk mengambil konten dari hasil crawling untuk ditampilkan pada site summa ry. Pada proses ini yang menjadi inputan adalah tag html dari konten yang akan ditampilkan pada site summary.
3. Simpan Hasil Parsing ke Database
Setelah proses parsing selesai dilakukan, maka proses selanjutnya alah menyimpan hasil parsing ke dalam sebuah database.
Proses view site summary merupakan proses akhir yaitu proses untuk menampilkan data dari database ke sebuah site summary.
4. HASIL DAN PEMBAHASAN
4.1Hasil dan Pembahasan HTtack
Beberapa hal penting dalam proses crawling dengan menggunakan HTrack adalah:
1. Proses crawling dilakukan terhadap dua e-commerce site Indonesia dengan keterangan sebagai berikut.
a. E-commerce site Lazada dengan jumlah file 12503 file dan jumlah folder sebanyak 22013 folder.
b. E-commerce site Rakuten dengan jumlah file 7368 file dan jumlah folder sebanyak 10747 folder.
2. Inputan untuk HTtrack ini adalah alamat website yang akan dicrawling yang kemudian akan disimpan pada penyimpanan local.
3. Hasil crawling dengan menggunakan HTTrack dapat berupa folder-folder, image, document .txt file css, javascipt dan index.html.
4.2Hasil dan Pembahasan Aplikasi Parsing
Beberapa hasil yang diperoleh dari aplikasi parsing yang dibangun adalah sebagai berikut. 1. Aplikasi parsing dapat melakukan parsing
terhadap dua e-commerce site dengan keterangan antara lain:
a. E-commerce site Lazada dengan jumlah file 5197 dan ukuran direktori sebesar 1.02 GB b. E-commerce site Rakuten dengan junlah file
3158 dan ukuran direktori sebesar 332 Mb. 2. Aplikasi parsing ini melakukan parsing sesuai
dengan inputan css atau tag yang diminta oleh aplikasi kepada user. Tag-tag yang digunakan pada aplikasi parsing yaitu tag harga, nama produk, gambar, breadcumbs, spesifikasi dan deskripsi.
3. Aplikasi parsing membaca semua tag-tag yang telah didefenisikan dari file index.html yang terdapat pada root folder site yang diparsing. 4. Pada saat user memasukkan inputan css atau tag
yang diminta oleh aplikasi maka selanjutnya aplikasi akan mengenali tag-tag atau css tersebut dan mengambil konten yang terdapat pada tag atau css tersebut.
5. Jika inputan yang dimasukkan oleh user adalah inputan yang salah atau tidak sesuai dengan yang dibutuhkan pada aplikasi, maka aplikasi tidak dapat melakukan parsing karena parsing hanya dapat mengenali tag atau css yang sudah didefinisikan pada program aplikasi parsing. 6. Aplikasi parsing akan menghasilkan data yang
terstruktur ke dalam database.
4.3Hasil dan Pembahasan Proses Penyimpanan
Data Hasil Parsing
Setelah aplikasi parsing berhasil mengenali semua konten dari tag atau css yang dimasukkan oleh user, maka langkah berikutnya adalah menyimpan hasil pengambilan konten tersebut ke dalam sebuah database. Hasil proses parsing berupa data dan diperleh hasil dari e-commerse site Lazada sebanyak 2892 record sedangkan pada Rakuten sebanyak 15517 record.
Hasil record yang diperoleh tidak sebanding dengan jumlah file yang di-parsing karena beberapa alasan berikut ini.
1. Terdapat beberapa perbedaan tag image pada file hasil crawling dengan tag yang didefinisikan pada aplikasi parsing, sehingga konten dari tag tersebut tidak dapat diparsing.
2. Terdapat 5 file index yang tidak berisi list produk sehingga tag css yang telah didefinisikan pada form parsing tidak ditemukan pada file ini.
4.4Hasil dan Pembahasan Aplikasi Site
Summary
Aplikasi site summary yang dibangun dapat menampilkan perbandingan produk pada dua e-commerce site Indonesia yang telah berhasil diparsing sebelumnya. Aplikasi site summary dapat menampilkan perbandingan produk dengan menerima inputan nama produk pada kotak search kepada user. Berikut beberapa hal yang penting pada aplikasi site summary.
1. Terdapat beberapa penamaan ketgori produk pada kedua e-commerce site yang berbeda sehingga menimbulkan kesulitan ketika menampilkan produk yang sejenis.
2. Berdasarkan proses yang dilakukan, site summary ini tidak membanding produk yang persis sama yang dimiliki oleh kedua ecommerce site tersebut.
5. KESIMPULAN
Beberapa kesimpulan yang diperoleh dari pengerjaan site summary ini adalah sebagai berikut. 1. Aplikasi yang dibangun telah mampu melakukan
web content mining dengan menerapkan teknik data extraction dan HTML Parser Jericho untuk melakukan parsing dan untuk menampilkan site summary.
2. Proses untuk menampilkan perbandingan produk pada kedua e-commerce site melibatkan empat proses yaitu crawling website, parsing, simpan hasil parsing ke dalam database dan proses menampilkan data produk pada site summary.
PUSTAKA
mudah Anda buat dengan bantuan aplikasi EndNote. Jika aplikasi ini tidak ada di komputer Anda, tidaklah sukar untuk menggunakan format dalam contoh di bawah. Untuk semua pengarang, tulis nama belakang diikuti singkatan nama tengah dan belakang. Hanya published paper (judul buku, nama dan nomor volume jurnal) yang ditulis miring. Perhatikan untuk rujukan dari Internet, semua bagian rujukan tetap ditulis lengkap. Berikut adalah contoh penulisan daftar pustaka.
Jangan lupa mengembalikan seting Macro Security seperti keadaan semula, setelah selesai mengedit makalah SNATI ini.
Bonham, G. M., Seifert, J. W., dan Thorson, S. J. (2003). The transformational potential of e-government: the role of political leadership.
Diakses pada 1 Mei 2003 dari
http://www.maxwell.syr.edu/maxpages/faculty/g mbonham/ecpr.htm
de Mooij, M. (1998). Global Marketing and Advertising: Understanding Cultural Paradoxes. Thousand Oaks, CA: Sage Publications.
Harrison, D. A., Mykytyn, P. P., Jr., dan Riemenschneider, C. K. (1997). Executive decisions about adoption of information technology in small business: theory and empirical tests. Information System Research, 8(2), 171-195.
Hofstede, G. (1997). Cultures and Organizations: Software of the Mind. New York: McGraw-Hill. Katz, J. E., dan Aspden, P. (1997). A nation of
