1
BAB I
PENDAHULUAN
1.1 Latar Belakang dan PermasalahanSistem temu kembali konten citra (CBIR - Content-based Image Retrieval) saat ini merupakan bagian penting dalam teknologi temu kembali informasi citra dan diaplikasikan dalam beberapa bidang seperti industri (Tao et al., 2008), forensik (Garni dan Hamiane, 2008), remote sensing (Hafiane, et al., 2006; Xie, 2004) dan aplikasi kedokteran (Muller et al., 2004). Berkembangnya pemakaian citra digital dan besarnya ukuran jumlah data citra digital ditindaklanjuti dengan banyaknya peneliti melakukan penelitian untuk meningkatkan efisiensi pencarian dan pengindeksan data citra.
Pencarian citra secara tradisional menggunakan teks untuk melakukan pencarian citra ternyata kurang memadai untuk mendapatkan citra dalam bentuk data visual. Konsekuensinya harus dilakukan pencarian citra berdasarkan fitur bentuk, fitur tekstur dan fitur warna dalam pencarian dan pengindeksan data citra. Penelitian-penelitian sebelumnya menunjukkan bahwa CBIR menggunakan pendekatan fitur warna merupakan salah satu yang terpopuler dan mudah untuk dipergunakan dalam pencarian citra tersebut. Beberapa metoda yang didasarkan pada ekstraksi fitur warna diantaranya adalah histogram, korelogram warna dan temperatur dominan warna.
Pencarian citra di internet saat ini sudah banyak tersedia dalam bentuk mesin pencari citra seperti Google Image Search, Flickr, dan AltaVista Image Search. Metoda pencarian citra dibagi dalam dua kategori yaitu text based image retrieval (TBIR) dan
content based image retrieval (CBIR). Teknik pencarian menggunakan kategori TBIR
dikembangkan oleh beberapa peneliti antara lain Li et al. (2007) menggunakan model pembelajaran kategori, Fergus et al. (2005) mengembangkan metoda probabilistic
Laten Semantic Analysis (pLSA), dan Schroff et al. (2007) mengembangkan
pengelompokan spesifik objek dari hasil pencarian web. Google sendiri saat ini sudah mengembangkan sistem pencarian berdasarkan kemiripan citra (CBIR) dengan cara memasukkan query citra. Teknik pencarian CBIR ditindaklanjuti oleh peneliti lain diantaranya Zitouni et al. (2008) menyajikan kemiripan citra dalam struktur graf dan
2 pembentukan subset koleksi citra untuk mempercepat pencarian, Jhou dan Lee (2010) menggunakan pengukuran kemiripan visual yang menggabungkan relevansi citra dan kinerja pencarian, Yao et al. (2010) mengusulkan ide dengan co-reranking untuk pencarian citra, dan Liu et al. (2009) mengenalkan crowd reranking diambil dari karakteristik hasil visual pattern dengan mengambil dari hasil pencarian citra dengan menggunakan beberapa model pencarian citra.
Penelitian tentang CBIR yang menggunakan metoda histogram warna untuk menggambar komposisi warna pada citra terdapat pada penelitian Marques et.al. (2002), Liu et al. (2004), Ju dan Ma (2002), Yap dan Paramesran (2006), Khanh et al. (2003), Konstantinidis et al. (2005), dan Shim dan Choi (2002). Sedangkan penelitian sistem CBIR yang menggunakan karakter visual dengan fitur bentuk antara lain dilakukan oleh Pourghassem dan Ghassemian (2008), Dai dan Zhang (2005), Zhang dan Lu (2005), dan Antani et al. (2004). Pencarian citra berdasarkan fitur bentuk tepi dilakukan oleh beberapa peneliti antara lain Rahmani et al. (2008), Banerjee dan Kundu (2003), Han dan Guo (2003). Penelitian yang menggunakan fitur tekstur diantaranya dilakukan oleh Rahman et al. (2007), Kokare et al. (2006), Chun et al. (2003), Rallabandi dan Rallabandi (2008), Oliviera et al. (2007), Muneeswaran et al. (2006), dan Yu et al. (2005).
Sistem CBIR merupakan salah satu bidang riset yang sedang berkembang pesat dan banyak penelitian masih dilakukan pada saat ini. Pencarian citra menggunakan fitur visual telah banyak dilakukan, demikian juga sistem CBIR telah banyak dikembangkan, namun demikian dalam menerapkan sistem CBIR tersebut masih banyak mengalami kendala. Masalah ini muncul karena adanya pemisah yang bersifat tingkat rendah (low level) di satu sisi dan tingkat tinggi (high level) pada sisi lain yang sulit diselesaikan dalam sistem CBIR (Jiang et al., 2006). Pemisah ini muncul akibat dari proses ekstraksi fitur citra, pengindeksan, dan query dalam sistem CBIR akan diinterpretasikan secara berbeda oleh pengguna yang melakukan pencarian citra dalam fitur tingkat tinggi yang disebut sebagai kesenjangan semantik (Chiu et al., 2003). Kesenjangan semantik adalah perbedaan intepretasi sebuah citra dari sudut pandang pengguna (bersifat high level) dengan sudut pandang sistem (bersifat low
3
level), dimana hasil pencarian citra diperoleh dari pengolahan citra piksel demi piksel,
sehingga hasil pencariannya kurang mewakili maksud dari pengguna. Tingkat kemiripan pencarian citra pada sistem CBIR tergantung pada jarak mutlak dari fitur citra terhadap kemiripan citra yang dicari (Wang dan Xie, 2005). Disamping itu, untuk melakukan ekstrasi fitur citra memerlukan banyak waktu apalagi kalau jumlah citranya sangat banyak yang akan mengakibatkan lambatnya perolehan kembali citra yang dicari (Xuelong et al., 2007).
Teknik pencarian citra yang lain adalah pencarian citra dengan memanfaatkan teknik pelabelan yang akan menampilkan citra dengan fitur yang telah dilatih sebelumnya sehingga akan menghasilkan label secara otomatis. Selain itu, jika terdapat kesalahan pelabelan, sistem akan meminta feedback dari pengguna untuk mengoreksi label yang telah ada. Teknik seperti ini akan meningkatkan efisiensi waktu pencarian lebih baik dibandingkan dengan teknik sebelumnya, namun tetap membutuhkan peran pengguna dan menghabiskan waktu yang lama. Sistem label pun akan menjadi rentan terhadap perubahan dan kebenaran pelabelan masih diragukan karena pengguna diberi hak untuk mengubah label yang telah ada sebelumnya. Teknik tersebut dikenal sebagai teknik Semi-Automatic Image Annotation (Varytimidis, 2008) dan memerlukan fitur yang tepat untuk mendeskripsikan citra yang ada. Fitur-fitur yang digunakan dapat berupa warna, citra, dan tekstur. Untuk memperoleh informasi data fitur yang lebih lengkap tentu dibutuhkan fitur-fitur yang tepat yang semuanya digabungkan. Namun masalah kembali muncul jika fitur citra yang diambil terlalu besar sehingga memperlambat proses pencarian citra. Oleh karena itu, perlu adanya reduksi dimensi fitur guna mempercepat proses pencarian citra.
Teknik anotasi citra secara otomatis akan membantu proses pencarian citra menjadi lebih cepat karena teknik ini tidak memerlukan keterlibatan pengguna dalam pelabelan citra (Song et al., 2002). Sehingga fitur akan diekstraksi secara otomatis, yang kemudian dilatih ke dalam sistem. Tentu dibutuhkan fitur yang tepat guna mendeskripsi informasi pada citra, salah satunya adalah fitur warna. Fitur warna dapat direpresentasikan dalam histogram warna. Keuntungan dari fitur ini adalah dapat diaplikasikan pada semua citra berwarna. Untuk otomatisasi, digunakan machine
4
learning salah satunya adalah SVM (Support Vector Machine). SVM ini yang nantinya
akan dilatih agar menghasilkan klasifikasi objek-objek citra tersimpan dalam bentuk
metadata dan akan menghasilkan label-label tertentu. Ketika proses pencarian
dilakukan, maka sistem akan mecari kedalam metadata untuk menemukan kata yang dimaksud, jika ditemukan maka sistem akan menampilkan citra yang memiliki
metadata tersebut (Natsev et al., 2001).
Pengukuran kemiripan citra adalah bagian terpenting dalam sistem CBIR, baik untuk citra asli maupun citra yang terkompresi. Ketika melakukan evaluasi terhadap citra yang terkompresi, maka tingkat kemiripan citra yang mendekati sistem visual manusia (human visual system) akan mendapatkan citra yang lebih akurat. Pengukuran yang sering dipergunakan dalam pencarian kemiripan citra adalah dengan mean
squared error (MSE) dan peak signal-to-noise ratio (PSNR). Nilai MSE dan PSNR akan
menunjukkan tingkat kritikal kemiripan citra terhadap penyimpangan citra yang dibandingkan (Eckert dan Bradley, 1998; Wang et al., 2004). Penyimpangan nilai tersebut pada citra digital akan mengakibatkan terjadinya penurunan kualitas citra, sehingga pada akhirnya akan mempengaruhi penilaian dari sistem visual manusia. Keuntungan pengukuran kualitas cintra menggunakan nilai MSE dan PSNR adalah perhitungan yang sangat cepat dan mudah untuk diimplementasikan (Wang dan Bovik, 2002). Pembahasan tentang algoritma penaksiran kualitas citra dan video dapat ditemukan pada penelitian Eckert dan Bradley (1998), Pappas dan Safranek (2000), Wang et al. (2003), Winkler (1999), Koumaras et al. (2005), Lai dan Kuo (2000), dan Lauterjung (1998).
Halkidi et al. (2001) mengartikan bahwa pengklasteran sebagai bagian paling penting dalam menyelesaikan masalah unsupervised. Definisi dasar dari pengklasteran adalah proses untuk mengorganisasi objek-objek ke dalam kelompok dimana objek dalam satu kelompok memiliki kemiripan dan objek yang tidak mirip berada pada kelompok lain. Beberapa algoritma pengklasteran diantaranya adalah Means, K-Median (Grira et al., 2005), DBSCAN (Han dan Kamber, 2006), CLARAN (Jain et al., 1999), dan DENCLUE (Liu, 2007). Masing-masing algoritma memiliki keunggulan dan kekurangan, sebagai contoh: K-Means menghasilkan klaster berkualitas untuk data
5 yang tidak banyak memiliki pencilan (outlier), sementara K-Median tidak sensitif terhadap pencilan, namun membutuhkan waktu yang lebih lama untuk mencari
centroid (median). Pengklasteran K-Means adalah salah satu metoda pengelompokan
objek ke dalam sejumlah kelompok dan pengelompokan dilakukan dengan menghitung nilai minimal jarak antara objek dengan pusat klaster, sehingga akan memisahkan objek yang memiliki kemiripan ke dalam satu klaster dan memisahkan objek yang tidak mirip ke dalam klaster lain.
Hasil pengklasteran selanjutnya dapat dievaluasi baik buruknya (Wu et al., 2009) menggunakan salah satu dari 3 (tiga) kriteria evaluasi yaitu kriteria eksternal, kriteria internal, dan kriteria relatif (Theodoridis, dan Koutroubas, 1999). Kriteria eksternal didasarkan pada metoda statistik dan permintaan perhitungan yang tinggi, di samping itu kriteria evaluasi eksternal juga akan mengevaluasi pengklasteran didasarkan pada beberapa intuisi spesifik pemakai. Kriteria internal didasarkan pada beberapa pengukuran data dan skema pengklasteran yang digunakan tanpa dipengaruhi informasi eksternal. Kerugian dari kriteria eksternal dan internal membutuhkan perhitungan yang kompleks. Sedangkan untuk kriteria relatif didasarkan pada perbandingkan dari perbedaan skema pengklasteran.
Beberapa kajian yang dilakukan oleh peneliti sebelumnya masih memunculkan beberapa masalah yang harus diselesaikan yaitu :
1. Pencarian konten citra secara tradisional menggunakan teks kurang memadai untuk mendapatkan citra dalam bentuk data visual, hal ini disebabkan karena query citra mengunakan kata kunci sering menampilkan citra yang tidak terlalu tepat dengan konten citra yang diinginkan oleh pengguna.
2. Adanya kesenjangan semantik dalam sistem CBIR antara tingkat rendah dan pengguna yang akan melakukan pencarian dalam bentuk fitur tingkat tinggi sehingga sistem CBIR memerlukan waktu yang cukup lama pada proses pencarian citra terlebih apabila jumlah citra yang dicari sangat banyak.
3. Sistem CBIR dapat menggunakan teknik pelabelan untuk meningkatkan efisiensi waktu pencarian menjadi lebih baik dibanding teknik lainnya, namun teknik pelabelan tetap membutuhkan peran pengguna dan menghabiskan waktu yang
6 lama untuk menandai atau memberi label pada setiap citra yang dimasukkan sebagai record dalam database citra.
4. Pencarian konten citra untuk database citra berukuran besar pada sistem CBIR masih mengalami kendala karena ukuran database yang besar mengakibatkan pencarian citra menjadi lama.
5. Diperlukan alternatif yang lain yang mampu meningkatkan tingkat akurasi dan mampu mereduksi waktu proses pencarian konten citra ke dalam database citra terlebih untuk database citra berukuran besar sehingga pencarian konten citra diharapkan dapat lebih singkat dan dapat menjembatani kesenjangan semantik.
Akses konten citra pada database citra berukuran besar relatif membutuhkan waktu yang cukup lama untuk melakukan pencarian suatu citra. Salah satu alternatif yang bisa dilakukan adalah dengan melakukan klasifikasi terhadap record database citra dalam bentuk kategori menggunakan kata kunci seperti yang dipergunakan pada database WANG. Pengelompokan citra menggunakan kategori juga akan mengalami kendala apabila jumlah citra yang dikelola sangat banyak, hal ini dikarenakan pengelompokan dengan menggunakan kategori memerlukan waktu yang lama untuk mengelompokkan citra secara manual satu per satu sesuai dengan kategorinya masing-masing.
Hal tersebut mendasari pemikiran penulis untuk mengembangkan arsitektur sistem CBIR dengan harapan arsitektur sistem CBIR yang diusulkan akan mampu melakukan pengelompokan record database citra secara otomatis, dengan tujuan akhir akan meningkatkan tingkat akurasi pencarian citra sekaligus akan mereduksi waktu yang diperlukan untuk pencarian record dalam database citra. Untuk melakukan pengelompokan citra tersebut maka komputer memerlukan parameter yang dijadikan sebagai kunci pengelompokan sehingga suatu citra dapat dimasukkan ke dalam kelompoknya secara tepat. Salah satu alternatif yang dapat dijadikan pilihan untuk parameter pengelompokkan adalah dengan menggunakan fitur warna citra yang akan menghasilkan parameter bernilai numerik. Dengan menggunakan parameter yang memiliki nilai bervariasi tersebut maka alternatif pengelompokkan yang memungkinkan digunakan adalah dengan pengklasteran.
7 1.2 Tujuan dan Manfaat Penelitian
Tujuan dari penelitian ini adalah mendapatkan sistem baru untuk memecahkan masalah akurasi pencarian dan waktu akses pada proses pencarian konten citra pada sistem CBIR dengan memanfaatkan query yang dioptimasikan pada database citra menggunakan pengklasteran sebagai indeks awal untuk mencari citra sesuai dengan klaster citra tersebut. Sistem baru yang diusulkan diimplementasikan dalam bentuk arsitektur sistem yang merupakan integrasi dari optimasi query dan pengklasteran partisi yang difungsikan sebagai penyaringan (filtering) yang akan mereduksi jumlah record database citra yang dibaca sehingga diharapkan akan mampu meningkatkan akurasi hasil dan mereduksi waktu akses yang dibutuhkan pada saat proses pencarian konten citra tersebut dilakukan.
Implementasi dari hasil perancangan sistem diharapkan mampu memberikan solusi peningkatan akurasi pencarian dan penurunan waktu akses pencarian citra pada database citra berukuran besar, hal ini ditunjukkan dengan melakukan pengujian dan membandingkan kinerja akurasi dan waktu akses untuk standar query tanpa klaster (query without cluster) dan query menggunakan klaster (query with cluster) yang merupakan terapan dari sistem yang diusulkan tersebut.
Ekstraksi fitur warna citra yang dipergunakan dalam arsitektur yang diusulkan dibagi menjadi dua bagian yaitu ekstraksi fitur warna citra untuk kebutuhan pengklasteran record database citra dengan menggunakan nilai PSNR minimum dan maksimum sebagai kunci pengklasteran, dan ekstraksi fitur warna citra untuk mengukur tingkat kemiripan citra. Hasil pengklasteran selanjutnya dilakukan uji validitas klaster mengunakan kriteria internal untuk mengetahui dan mendapatkan jumlah klaster optimumnya dengan tolok ukur didasarkan pada kriteria internal. Pengukuran tingkat kemiripan citra untuk query tanpa klaster dan query menggunakan klaster dilakukan dengan menggunakan ekstraksi fitur warna yaitu PSNR warna, intensitas warna, histogram warna dan momen warna, dan selanjutnya dilakukan evaluasi kinerja tingkat akurasi query CBIR menggunakan perhitungan nilai precision,
recall dan F-score yang diterapkan pada database WANG dan database citra akan yang
8 1.3 Metodologi Penelitian
1.3.1 Materi Yang Akan Dipakai
Penelitian ini menggunakan data citra digital dalam bentuk file JPG maupun JPEG yang disimpan dalam database yang memanfaatkan relational database
management systems (RDBMS). Record database citra berasal dari file citra digital
bertipe JPG/JPEG diperoleh dengan melakukan koleksi citra dari mengunduh internet, kumpulan citra dari majalah-majalah komputer, kumpulan citra yang diperoleh dari
frame beberapa film, total jumlah 48.000 file citra dan selanjutnya diproses dengan
beberapa tahapan dan disimpan ke dalam bentuk record database citra memanfaatkan tipe blob-field yang disediakan dalam sistem database.
Pengujian waktu akses, uji validitas klaster, pengujian fungsi tujuan dan evaluasi kinerja tingkat akurasi query CBIR diujicobakan pada database WANG yang terdiri dari 1.000 citra terbagi menjadi 10 kategori dan juga diujicobakan pada database citra yang terdiri dari 48.000 file citra terbagi menjadi 13 kategori. Evaluasi kinerja tingkat akurasi pencarian citra menggunakan ekstraksi fitur warna citra berdasarkan PSNR warna, intensitas warna, histogram warna, dan momen warna. 1.3.2 Jalan Penelitian
Untuk mencapai tujuan dari penelitian di atas, maka penelitian ini dilakukan dengan beberapa tahapan yaitu :
1. Studi pustaka, yaitu dengan mempelajari karya ilmiah hasil penelitian beberapa peneliti yang dipublikasikan dalam bentuk jurnal, paper dan buku. Disamping itu penulis juga mempelajari beberapa aplikasi yang dikembangkan oleh beberapa perusahaan pengembang maupun aplikasi yang dihasilkan oleh peneliti terdahulu yang berkaitan dengan penelitian ini.
2. Melakukan analisis dan desain sistem, yaitu dengan melakukan analisis berbagai sistem yang telah dikembangkan oleh peneliti terdahulu, serta beberapa terapan dari pengklasteran partisi, dilanjutkan dengan membuat desain sistem baru yang merupakan integrasi dari optimasi query dan pengklasteran record citra dengan tujuan untuk meningkatkan akurasi pencarian dan penurunan waktu akses pencarian citra.
9 3. Melakukan koleksi database, yaitu melakukan koleksi file bertipe JPG/JPEG dan melakukan proses penyimpanan file-fle tersebut ke dalam bentuk record database citra serta menggunakan database WANG sebagai tolok ukur pengujian.
4. Membangun aplikasi yang merupakan implementasi dari arsitektur sistem CBIR yang diusulkan yang dapat menunjukkan bentuk nyata dari sistem yang didesain dengan materi pengujian database WANG dan database citra.
5. Melakukan analisis dan evaluasi hasil pengujian dari beberapa hasil pengujian yang dilakukan terdiri dari pengujian waktu akses, uji validitas klaster, pengujian fungsi tujuan dan evaluasi kinerja temu kembali pencarian citra.
6. Dari beberapa tahapan diatas selanjutnya dibuatkan dokumentasi yang nantinya merupakan bagian dari penulisan penelitian ini secara lengkap.
1.4 Kontribusi Penelitian
Kontribusi penelitian pada disertasi ini adalah
1. Menghasilkan arsitektur baru dalam temu kembali citra berdasarkan konten yang merupakan bentuk pengembangan dari standar sistem CBIR.
2. Menghasilkan teknik klasifikasi citra menggunakan klaster secara otomatis sebagai pengganti teknik pelabelan yang membutuhkan peran pengguna dan menghabiskan waktu yang lama untuk menandai setiap citra yang dimasukkan dalam database.
3. Menghasilkan indeks klaster yang diperoleh dari ekstraksi fitur warna citra berupa nilai PSNR minimum dan maksimum sebagai kunci pengklasteran record database citra menggunakan pengklasteran partisi yaitu algoritma K-Means dan CLARA. 4. Meningkatkan tingkat akurasi pencarian citra berdasarkan konten menggunakan
query CBIR dengan memanfaatkan indeks klaster sebagai penyaringan awal, sekaligus mereduksi waktu akses yang dibutuhkan terhadap pembacaan record database citra.
5. Mendapatkan formula dalam bentuk fungsi tujuan untuk menghitung waktu akses query CBIR menggunakan klaster, sehingga formula ini dapat diterapkan untuk memperkirakan waktu akses yang dibutuhkan pada akses record database citra ukuran besar berdasarkan ukuran klaster yang dibentuk.
10 1.5 Sistematika Penulisan
Penelitian ini disusun dengan sistematika sebagai berikut :
BAB I, memberikan gambaran umum tentang latar belakang, permasalahan yang terjadi terkait dengan temu kembali konten citra pada database citra. Bab ini juga memberikan gambaran tentang tujuan dan manfaat penelitian, kontribusi penelitian dan metodologi penelitian yang dipergunakan.
BAB II, menguraikan tentang tinjauan pustaka dari berbagai penelitian yang sudah dilakukan oleh peneliti-peneliti terdahulu yang dijadikan sebagai referensi pada penelitian ini dan dititikberatkan pada penelitian tentang sistem CBIR, pengklasteran partisi dan implementasi dari CBIR dan pengklasteran partisi tersebut.
BAB III, berisi landasan teori dari berbagai sumber yang dititikberatkan pada database relasional, kompresi dan pemrosesan citra, sistem temu kembali konten citra, pengukuran kualitas citra, pengklasteran, pengukuran kemiripan, algoritma pengklasteran, analisa dan uji validitas klaster dan evaluasi temu kembali.
BAB IV, menguraikan tentang metodologi penelitian secara detail mengenai arsitektur sistem, ekstraksi fitur yang digunakan, deskripsi objek penelitian, perangkat yang digunakan, fungsi tujuan, diagram proses, implementasi yang diuraikan dalam bentuk algoritma, dan analisis hasil dan evaluasi kinerja query CBIR.
BAB V, menjelaskan tentang uraian hasil penelitian berdasarkan arsitektur sistem yang diusulkan dan penerapannya pada database WANG dan database citra. Bab ini juga membahas secara detail hasil penelitian dan pembahasan yang terdiri dari praproses, implementasi algoritma pengklasteran, hasil pembentukan klaster, hasil pengujian waktu akses query CBIR tanpa klaster dan query CBIR menggunakan klaster, uji validitas klaster, pengujian fungsi tujuan, dan evaluasi kinerja tingkat akurasi query CBIR.
BAB VI, berisi kesimpulan dari hasil pembahasan serta saran-saran untuk penelitian berikutnya.
11 Pada bagian akhir dari disertasi ini dicantumkan pula daftar pustaka dan lampiran-lampiran yang berisi data terperinci yang menjadi pendukung paparan dan argumentasi dalam isi disertasi ini, terdiri dari sampel data perhitungan PSNR record database citra, script algoritma yang diujicobakan, hasil output pengklasteran dari beberapa algoritma pengklasteran yang diujicobakan, dan hasil query CBIR menggunakan dengan ekstraksi fitur warna, serta detail hasil perhitungan precision,
recall dan F-Score untuk setiap pengujian.
1.6 Daftar Publikasi
Selama proses penelitian disertasi telah menghasilkan publikasi pada Jurnal Internasional, proceeding dan seminar yaitu :
1. Juli Rejito, Retantyo Wardoyo, Sri Hartati, Agus Harjoko, “Optimization CBIR Using
K-Means Clustering for Image Database”, International Journal of Computer
Science and Information Technologies, Vol. 3 (4), 2012, page 4789-4793.
2. Juli Rejito, Retantyo Wardoyo, Sri Hartati, Agus Harjoko, “Optimasi Query CBIR Menggunakan Klaster Indeks K-Means”, disampaikan pada Seminar Nasional dan dimuat dalam Proceeding Konferensi Nasinonal Matematika XVI Tahun 2012. 3. Juli Rejito, Retantyo Wardoyo, Sri Hartati, Agus Harjoko, “Uji Validitas dan Waktu
Akses Klaster K-Means Database Citra”, disampaikan pada Seminar Nasional dan dimuat dalam Proceeding Konferensi Nasinonal Matematika XVI Tahun 2012. 4. Juli Rejito, Retantyo Wardoyo, Sri Hartati, Agus Harjoko, “Optimasi Query CBIR
Database Citra Menggunakan K-Means Cluster”, Seminar Nasional Hasil Penelitian MIPA, UGM Tahun 2011.
5. Juli Rejito, Retantyo Wardoyo, Sri Hartati, Agus Harjoko, “Algoritma Konversi Warna Dalam Metoda Similarity Match Query CBIR”, Seminar Nasional Hasil Penelitian MIPA, UGM Tahun 2010.
6. Juli Rejito, Retantyo Wardoyo, Sri Hartati, Agus Harjoko, “Query Clustering dan Optimasi Query Content Based Retrieval DBMS dalam VLDB (Very Large Database)”, Seminar Nasional Hasil Penelitian MIPA, UGM Tahun 2009.
