Citra Mosaicing Menggunakan Hexagon Search Berbasis Fitur Global Affine

(1)

Citra Mosaicing Menggunakan Hexagon Search

Berbasis Fitur Global Affine

Abstrak - Citra mosaicing merupakan proses

menyajikan gambar secara lengkap dari serangkaian gambar kecil atau serangkaian frame video. Algoritma yang sudah ada pada umumnya hanya berfokus pada penangkapan scene statis. Penelitian ini mengembangkan teknik mosaicing yang terdapat obyek bergerak didalam frame input. Pada sistem ini ada tiga tahapan yang dilakukan. Pertama, preprocessing citra

mosaicing berupa estimasi local motion dan global affine. Tahap kedua adalah registrasi citra mosaicing. dan yang terakhir adalah integrasi

citra mosaicing. Uji Coba yang telah dilakukan pada tahap estimasi local motion menunjukkan bahwa teknik Hexagon search dapat digunakan untuk menginisialisasi region background dengan nilai rata-rata PNSR 26,7655 dB dengan waktu kompputasi rata-rata 8,41 detik. Pemilihan fitur global affine dari region background mask menjadi pengaruh sangat besar pada hasil registrasi mosaicing karena dapat mengurangi kesalahan pengambilan titik sudut penggabungan citra pada region obyek yang bergerak (foreground)

Kata kunci: citra mosaicing, Hexagon search,

fitur global affine, obyek bergerak.

1. PENDAHULUAN

Pada saat ini penelitian tentang citra

mosaicing sangat aktif di bidang komputer visi,

fotografi, pengolahan citra digital dan komputer grafik. Aplikasi dari citra mosaicing diantaranya kontruksi fotografi satelit dan pemetaan tanah, pengeditan foto dan berbagai kreasi di virtual

environment. Citra mosaicing merupakan teknik

untuk memperluas pandangan (Fields of View

/FOV) berupa penampakan citra berdasarkan

metode registrasi dari beberapa citra (Szeliski, 1997). Citra mosaicing dalam bidang video

coding merupakan teknik merepesentasikan video sequence dalam format berbasis scene dan

membuang informasi yang redundan.

Teknik tradisional citra mosaicing awalnya hanya digunakan dengan input frame yang statis yaitu hanya menggabungkan saja tanpa mempertimbangkan motion dari obyek yang bergerak dalam frame dan motion yang diakibatkan oleh kamera saat mengambil gambar

(Zomet et al., 2006). Penelitian saat ini sudah mulai dikembangkan ke arah mosaicing yang dinamis. Teknik mosaicing dinamis tidak hanya memperhatikan perbaikan registrasi pada background tapi mempertimbangkan registrasi citra dari obyek yang bergerak(Shen, 2004). Pendeteksian region background dan foreground dapat dilakukan dengan memanfaatkan estimasi

local motion dan global motion (Jorge et al.,

2001).

Pendeteksian fitur pada region

background sangat berperan penting pada hasil

dari citra mosaicing (Rocha, 2000). Salah satu penelitian citra mosaicing yang berbasis fitur yaitu pembentukan citra mosaicing yang dilakukan oleh Shen (2004) untuk menghasilkan

background model menggunakan fitur melalui

pendeteksian berbasis blok secara full search. Kelemahan dari metode ini adalah memerlukan waktu komputasi yang sangat lama (Liu et al, 2009). Pengembangan metode pencarian berbasis hirarki mampu mengatasi waktu komputasi dari

full search (Hsu et al, 2004). Akan tetapi, teknik

hirarki dapat membuang informasi dari nilai piksel yang seharusnya penting sehingga fitur yang terbaik bisa saja ikut terbuang (Zhu et al, 2002). Solusi waktu komputasi dan kualitas pendeteksian fitur berbasis blok untuk full search adalah dengan mengembangkan pola dari blok pencarian menjadi hexagonal (hexagon search) (Zhu et al, 2002).

Fitur region background yang sudah terestimasi menggunakan full search masih menghasilkan fitur yang seharusnya adalah

foreground yang diakibatkan adanya global motion oleh kamera (Hsu et al, 2004). Kesalahan

ini dapat diminimalisasi dengan mengkompensasi prediksi frame hasil estimasi

local motion melalui teknik global affine (Kurtet,

2008).

Penelitian ini menggunakan fitur yang dihasilkan dari pencarian hexagonal dan menjadi inisialisasi awal untuk tahap global affine. Sehingga diharapkan dapat membantu mendapatkan fitur yang cocok untuk tahap registrasi citra mosaicing.

(2)

2. CITRA MOSAICING

Citra mosaicing adalah proses

menggabungkan beberapa gambar untuk menghasilkan suatu gambar panorama atau gambar yang lebih besar (Levin et al, 2000).

Mosaicing bisa juga didefinisikan sebagai proses

menyajikan gambar lengkap dari serangkaian gambar kecil atau serangkaian frame video (Hui, 2004). Sedangkan citra stitching adalah teknik untuk menyatukan suatu gambar berurutan menjadi satu campuran gambar (Nielsen, 2000).

2.1 Fitur Local Motion

Estimasi local motion menggunakan Algoritma hexagon search terdiri dari 7 titik pengecekan dengan titik pusatnya dikelilingi oleh 6 titik akhir hexagon. Pola pencarian hexagon lebih sedikit dibandingkan 9 titik pola diamond search. Selama proses pencarian, titik tengah hexagon ikut bergerak ke arah keenam titik tersebut. Setiap titik tengah bergerak selalu ada tiga titik akhir yang dimerging dan tiga lainnya overlap.

Prosedur pencarian dengan desain titik pencarian hexagonal yaitu pertama pola hexagonal besar dengan tujuh titik dicari nilai optimumnya. Jika nilai optimum terletak di titik pusat, maka pola diubah ke diamond search kecil untuk melakukan pncarian yang lebih dalam dengan 4 titik pencarian mengelilingi titik pusat. Jika tidak berada di titik tengah, maka pencarian dilanjutkan disekitar titik menggunakan pola hexagonal besar.

Gambar 1. Proses pencarian hexagonal

2.2 Fitur Global Affine

Fitur yang berasal dari estimasi local motion hanya untuk motion dari obyek yang bergerak sedangkan region yang bergerak yang diakibatkan oleh camera motion harus diestimasi terlebih dahulu sebelum dipilih sebagai keypoint (titik sudut) untuk registrasi gambar. Estimasi

global motion bisa menggunakan model

transformasi antara lain: translasi, rigid, affine dan projective (Hsu, 2004).

j X ' j X '' j X

Gambar 2. Hubungan Geometri antara motion

vector hasil local motion dan global motion.

2.3 Registrasi Gambar

Registrasi geometrik terhadap gambar input

mosaicing digunakan untuk menyesuaikan posisi

gambar yang satu dengan yang lainnya atau mentransformasikan koordinat gambar yang satu ke koordinat yang lainnyameminimalisasi fungsi kesalahan dari metode least-square dalam mendapatkan parameter motion. Citra mosaicing meliputi dengan tiga tahap registrasi, yaitu perhitungan homografi maju, pembentukan bounding box dan perhitungan homografi mundur.

Matrik homografi maju merupakan model perspective 2D dengan 8 parameter yang digunakan untuk mosaicing (Szeliski, 1997).

                                                                                               4 3 2 1 4 3 2 1 4 4 4 4 4 4 3 3 3 3 3 3 2 2 2 2 2 2 1 1 1 1 1 1 4 4 4 4 4 4 3 3 3 3 3 3 2 2 2 2 2 2 1 1 1 1 1 1 1 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 0 0 1 0 0 0 1 0 0 0 1 0 0 0 1 v v v v u u u u h g f e d c b a y v x v y x y v x v y x y v x v y x y v x v y x y u x u y x y u x u y x y u x u y x y u x u y x

(3)

2.4 Integrasi Gambar Mosaic

Tahap membangun mosaic menggunakan metode destination scan yang dijelaskan dalam alur di bawah ini:

1.

Melakukan proses 2-7 pada

perulangan dengan kondisi x = 1 sampai x= bw

2.

Melakukan proses 3-7 pada

perulangan dengan kondisi y = 1 sampai x=bh

3.

Mencari titik (u,v) yaitu titik di

gambar asal (x,y) yang di –

warping ke gambar mosaic menggunakan homografi mundur

HBS.

4.

Menentukan nilai c, yaitu warna

pada (u,v) di gambar asal. Jika (u,v) terletak di luar gambar asal, maka tidak ada warna yang dimasukkan ke c.

5.

Mengulangi langkah 3 dan 4

untuk gambar tujuan, menggunakan homografi mundur

HBD.

6.

Menghitung warna final dari

gambar mosaic berdasarkan pada warna yang didapatkan di kedua gambar input.warna final

dinotasikan Cfinal

7.

Set warna gambar mosaic di titik

(x,y) menjadi Cfinal

2.5 Blending

Blending merupakan tahap

penggabungan warna dari gambar pertama dan gambar kedua di daerah overlapping. Penelitian ini menggunakan metode weighted average dengan memperhatikan bobot rata-rata dari intensitas warna, dengan berdasarkan jarak koordinat piksel ke kordinat titih tengah gambar (Harris, 1988). Pencarian bobot tiap piksel yaitu dengan menggunakan rumus pada persamaan 33.

 

_                 tinggi y lebar x y x w , 1 1 2 1 1 2 (33 )

Kemudian untuk nilai intensitas warna piksel di bagian overlapping didapatkan dari persamaan 34

 

   

_{ }





i i i i i

y

x

w

y

x

f

y

x

w

y

x

I

,

(34)

i : indeks citra input yang memiliki

region overlapping.

 

x

y

I

,

: nilai intensitas piksel citra mosaic di region yang overlapping.

 

x

y

f

_i

,

: nilai intensitas piksel citra input

indeks ke-i.

3. METODA PENELITIAN

Pada bagian ini menjelaskan uraian tahapan penelitian yang meliputi pencarian fitur yang tepat pada region background berupa

pembentukan background mask sebagai

preprocessing proses mosaicing dengan menggunakan hexagon search dengan perbaikan fitur global melalui transformasi affine. Selanjutnya background mask dideteksi titik sudutnya untuk proses registrasi citra mosaicing.

Gambar 3. Desain utama deteksi fitur

Seleksi Frame Image Sequence

Estimasi M otion Berbasis Hexagon Search Pembentukan Background M ask Deteksi Feature M atching Feature Eliminasi outlier M atrik Homografi M ulai

(4)

Gambar. 4 Flowchart teknik mosaicing Setelah mendapatkan parameter proyeksi, maka semua gambar bisa di-warping sesuai sistem koordinatnya. Parameter transformasi setiap frame dipetakan ke dalam sistem koordinat frame acuan dengan menggabungkan matriks transformasinya.

Penelitian ini memilih frame pertama sebagai frame acuan dan menggabungkan (warp) semua gambar lainnya ke dalam sistem koordinat gambar pertama. Sehingga informasi camera

motion berguna untuk membentuk dynamic mosaic dari background terintegrasi dengan baik

dan disimpan ke dalam bentuk gambar tunggal.

4. HASIL DAN PEMBAHASAN 4.1 Data Penelitian

Penelitian ini menggunakan video

“coastguard” dengan format QCIF



176 

144 

.

Tidak semua frame dalam video “coastguard” yang digunakan untuk proses uji coba. Pemilihan frame berdasarkan pada tingkat kemiripan frame yang sangat besar sehingga

dapat mereduksi waktu komputasi, frame yang diseleksi bisa mewakili frame lainnya.

Registrasi Gambar Pembentukan Bounding Box Seleksi Frame, Matrik Homografi Warping Blending Final Gambar Mosaic Frame Akhir ? Ya Tidak Selesai

Gambar 5. Citra input “coastguard” sequence frame ke 5 dan 20

Data frame tersebut kemudian dicari region

background-nya untuk mempermudah tahap

registrasi gambar mosaic. Sedangkan untuk proses mosaicing hanya menggunakan frame

anchor.

Gambar 6. Motion Vector dari hexagon search.

Gambar 7. Prediksi motion dengan hexagon

(5)

Gambar 8. Image difference dengan hexagon

search pada frame 5 dan frame 20

Gambar 9 . Operasi morfologi untuk image difference dari hexagon search

Gambar 10. Deteksi region foreground dan background 24 24 25 25 26 26 27 27 28 28 1 3 5 7 9 11 13 15 17 19 21 indeks frame (dB) Hexagon Search Diamond Search EBMA Search HBMA Search

Gambar 11. Grafik perbandingan nilai PSNR dari hexagon search, diamond search, EBMA

search dan HBMA search

0 20 40 60 80 100 120 140 160 180 200 1 3 5 7 9 11 13 15 17 19 Indeks Frame Hexagon Search Diamond Search EBMA Search HBMA Search

Gambar 12. Grafik perbandingan nilai MSE dari

hexagon search, diamond search, EBMA search

dan HBMA search

0 10 20 30 40 50 60 70 80 90 0 5 10 15 20 Indeks Frame Deti k Hexagon Search Diamond Search EBMA Search HBMA Search

Gambar 13. Grafik perbandingan waktu komputasi dari proses hexagon search, diamond

(6)

PSNR hexagon search rata- rata sebesar 26,7655 cukup baik jika dibandingkan dengan diamond search dengan PSNR 26,511, EBMA search dengan PSNR 26,2596 dan HBMA search dengan PSNR 26,0270.

Sedangkan waktu komputasi yang paling rendah adalah teknik pencarian berbasis hirarki (HBMA) dengan waktu rata-rata adalah

0,2631 detik. Teknik hexagon berada

dibawahnya dengan waktu komputasi rata-rata 8,4122 detik. Teknik EBMA memerlukan waktu komputasi yang paling lama yaitu rata-rata 47,1528 detik. Teknik pencarian dengan pola

diamond membutuhkan waktu komputasi

rata-rata sebesar 20,8001 detik.

Gambar 14. Hasil penggabungan 20 frame

5 KESIMPULAN

Berdasarkan hasil penelitian dapat diambil beberapa kesimpulan sebagai berikut :

1. Hasil PSNR dengan hexagon search

rata –rata 26,7655 lebih baik jika dibandingkan dengan PSNR ketiga metode lainnya yaitu diamond search dengan nilai PSNR sebesar 26,5116, EBMA search dengan PSNR sebesar 26,2596 dan kualitas paling rendah adalah metode HBMA dengan nilai PSNR sebesar 26,0270. Maka penggunanaan hexagon search sangat tepat untuk mendapatkan motion vector dari estimasi motion sebagai inisialisai awal untuk estimasi global

motion dan dengan efisiensi waktu

komputasi rata-rata 8,41 detik.

2. Estimasi global motion setelah proses

local motion dengan menggunakan

transformasi affine digunakan untuk mengoreksi kesalahan pendeteksian

foreground akibat dari camera motion

3. Background mask untuk proses

pencarian fitur dan mosaicing mampu mengurangi kesalahan pengambilan titik fitur terbaik untuk regisrasi gambar. Sedangkan hasil mosaicing tanpa menggunakan background

mask terkadang memilih fitur yang

merupakan bagian foreground yang bergerak.

4. Pemilihan frame yang tepat dapat

membantu mempercepat proses

mosaicing image sequence tanpa

harus melibatkan keseluruhan frame.

5. implementasi estimasi motion

terbukti berhasil membantu pembentukan citra mosaicing.

Keseluruhan hasil penelitian diharapkan bisa dikembangkan sehingga dapat menjadi preprocessing untuk aplikasi lainnya. Sistem ini disarankan dapat dikembangan dengan proses segmentasi yang lebih cepat dan akurat untuk mendapatkan background mask dari image

sequence. Pemilihan transformasi diharapkan

dapat dikembangkan untuk global motion yang lebih akurat sehingga dapat mengurangi noise yang diakibatkan oleh camera motion.

DAFTAR PUSTAKA

David G. Lowe.(1999).Object recognition from

local scale-invariant fiturs. International Conference on Computer Vision, Corfu,

Greece. pp. 1150-1157.

Harris, C. and M. Stephen, (1988), A combined

corner and edge detection. In M.

Matthews, M. editor, Proceedings of the 4th ALVEY vision conference, pages 147–151, University of Manchaster, England.

Hsu, C.T and Y.C. Tsan.(2004). Mosaics of video sequences with moving objects. Signal Processing: Image Communication 19.pages 81–98.

Ishfaq, Z. Weiguo, L. Jiancong and L. Ming, (2006). A Fast Adaptive Motion Estimation Algorithm, IEEE Transactions On Circuits And Systems For Video Technology, Vol. 16, N0. 3.

Jorge Badenas, JoseH Miguel Sanchiz, Filiberto Pla. (2001). Motion-Based Segmentation

And Region Tracking In Image Sequences. Pattern Recognition.

Kunter, M.(2008).Advances in Sprite-based

Video Coding. Dissertation. Technische

(7)

Lee, C.-H. and L.-H. Chen,(1997). “A Fast Motion Estimation Algorithm Based on the Block Sum Pyramid,” IEEE Trans. Image Processing, vol. 6, pp. 1587-1591. Levin, A., Assaf Zomet, Shmuel Peleg, and Yair

Weiss.(2004). Seamless Image stitching

in the gradient domain, in European

Conference On Computer Vision, vol. 4,pp. 377-389.

Liu Lei, Wang Zhiliang, Liu Jiwei, Cui Zhaohui, (2009). “Fast Global Motion Estimation,” Proc. of 2nd IEEE Int. Conf. on Broadband Network & Multimedia Technology (IC-BNMT 09), pp. 220-225, Beijing.

Martin A. Fischler and Robert C. Bolles (1981). "Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography". Comm. of the ACM 24 (6): 381–395.

Nielsen, F.(2000). Randomized Adaptive Algorithms for Mosaicing Systems, IEICE Transactions of Information & Systems, vol.E83-D, no.7.

Rocha. A, Ferreira. R, and Campilho.A, (2000).

Image Mosaicing using Corner Detection,

SIAR2000-V Ibero-American Symposium on Pattern Recognition.

Szeliski, R., (1996). Video mosaics for virtual

environments. Computer Graphics

Applications 16 (3): 22-30.

Szeliski. R and Shum. H,(1997), Creating Full

View Panoramic Image Mosaics and Environment Maps, In Proc. of

SIGGRAPH, , pp.251-258

Shen, H. (2004). Moving Object Reconstruction

on Background Mosaics of Dynamic Video Sequences.Thesis. School of