selanjutnya nilai alpha dan alpha matte atau key disebut dengan matte. Teknik segmentasi yang didasarkan pada perhitungan matte disebut image matting.
Gambar 1.1. Wilayah Unknown disebut dengan alpha (matte)
Matting diartikan sebagai sebuah proses segmentasi citra yang didasarkan pada perhitungan nilai matte [5]. Pengertian lain dari matting adalah sebuah metode yang digunakan untuk ekstraksi objek dari latar belakangnya dengan tujuan untuk menempatkan objek tersebut pada citra latar belakang baru yang terkadang sulit untuk dilakukan pada dunia nyata (real world) [6], misalnya dalam pembuatan film animasi yang menyatukan manusia sebagai pemeran dengan latar belakang yang tidak ada di dunia nyata. Perpaduan antara objek dengan latar belakang baru disebut dengan compositing. Compositing diartikan sebagai penggabungan beberapa elemen citra dari sumber-sumber yang berbeda tapi masih terkait untuk menghasilkan sebuah citra yang dengan maksud tertentu [7]. Sementara hasil dari compositing disebut dengan composite.
Metode matting pertama kali dikembangkan oleh Vlahos [8] yang bernama metode blue screen matting untuk video atau bidang perfilman. Awalnya metode ini menggunakan layar biru sebagai latar belakang agar memudahkan segmentasi, sehingga disebut juga dengan constant color matting [5]. Dalam penerapannya, metode ini mensyaratkan pengambilan video di dalam ruang khusus (studio) dengan pengaturan aspek pencahayaan dan warna. Agar didapat hasil yang bagus, maka dibutuhkan seorang yang ahli untuk menerapkan metode ini.
Penelitian tentang matting berkembang hingga saat ini untuk menemukan metode yang bisa melakukan segmentasi citra atau video yang memberikan hasil sebaik blue screen matting. Artinya metode ini ditujukan untuk segmentasi citra
atau video yang diambil di luar studio atau dikatakan secara natural. Metode seperti Poisson [9], Bayessian [11], Knock out [12] dan lain – lain telah dikembangkan agar memberikan hasil segmentasi yang bagus untuk berbagai objek. Metode matting yang ada dibantu oleh sebuah citra map yang disebut dengan tri-map, yang berguna untuk melokalisir bagian tepi objek yang perlu diolah agar mendapatkan objek utuh hasil ekstraksi dengan batas tepi yang tepat. Walaupun begitu, metode – metode ini rumit bila diterapkan pada video karena tri-map harus dibuat secara manual frame per frame.
Tri-map adalah sebuah peta dua dimensi yang terdiri atas tiga wilayah, yakni wilayah “pasti latar belakang (definitely background)”, “pasti latar depan (definitely foreground)” dan wilayah “tak dikenal (unknown region)”. Di dalam kebanyakan penelitian, tri-map biasanya dibuat secara manual seperti penelitian [9][10][11]. Pengguna harus menyediakan sebuah tri-map yang menyekat hasil pembagian citra menjadi tiga wilayah tersebut seperti yang diilustrasikan oleh Gambar 1.1. Teknik matting diterapkan pada wilayah ”tak dikenal”. Pembuatan tri-map harus melingkupi keseluruhan objek, detil dan menunjukkan percampuran antara latar depan dengan latar belakang yang tepat. Artinya semakin mendekati latar belakang maka nilai piksel pada wilayah ”tak dikenal” semakin kecil dan sebaliknya. Wilayah tak dikenal ini disebut dengan matte.
Didasarkan oleh ketidakefisienan pembuatan tri-map secara manual khususnya untuk segmentasi video, maka berkembanglah metode segmentasi matting menggunakan depth untuk video yang menggunakan depth sebagai bantuan dalam pembuatan tri-map [12][13][14][15][16]. Metode ini disebut dengan depth keying. Dengan menggunakan depth, tri-map bisa dihasilkan secara otomatis sehingga frame per frame dari video bisa disegmentasi menjadi lebih mudah dan cepat.
Dilatarbelakangi oleh permasalahan yang telah diuraikan, maka di dalam penelitian ini akan dirancang sebuah skema segmentasi citra yang dapat diterapkan pada frame per frame video. Segmentasi didasarkan pada citra RGB
dan depth yang akan menghasilkan tri-map secara otomatis sehingga proses segmentasi citra secara keseluruhan menjadi lebih cepat, khususnya untuk segmentasi video. Di dalam penelitian ini, data yang diolah merupakan citra diam, bukan merupakan bagian dari video. Segmentasi dengan teknik matting pada video disebut dengan video matting.
Kesulitan yang ditemui dalam penelitian ini adalah perangkat keras yang tersedia dalam pengambilan data masih dibatasi jarak. Seiring dengan kemajuan teknologi, diharapkan perangkat keras dengan jarak pengambilan data dari sensor bisa lebih jauh.
1.2 Perumusan masalah
Penelitian ini didasarkan pada segmentasi citra menggunakan tri-map. Permasalahan dalam penelitian ini dapat dirumuskan sebagai berikut:
1. Metode chroma keying atau blue screen matting
Sebuah metode yang menggunakan penguncian chroma atau intensitas warna, yang hingga saat ini masih dipergunakan. Metode ini sangat efektif dan nyatanya masih digunakan hingga saat ini. Namun ada batasan-batasan yaitu harus dilakukan pada ruang studio khusus dengan pengaturan cahaya dan warna objek yang cermat sehingga dibutuhkan seorang yang ahli agar bisa menerapkan konsep ini.
2. Pembuatan tri-map
Metode image matting mendasarkan segmentasi pada penggunaan tri-map. Sebuah tri-map bisa dihasilkan secara manual atau otomatis. Tri-map yang dibuat secara manual, biasanya digambar tangan. Tri-map merupakan peta kasar yang menentukan piksel mana saja yang akan diolah, sehingga kecermatan dalam pembuatannya sangat diperlukan. Untuk sebuah citra RGB, maka tri-map bisa dibuat secara manual, tapi jika citra merupakan frame dari video yang jumlahnya bisa ratusan bahkan ribuan maka penggunaan tri-map yang dibuat manual tidak efektif karena harus dibuat frame per frame. Untuk
itu, tri-map harus dibuat secara otomatis.
3. Metode depth keying
Sebuah metode yang menggunakan informasi (citra) depth. Metode ini bukanlah metode yang lebih unggul dari chroma keying tetapi pada pengembangan yang masih dilakukan hingga kini, diharapkan akan mempunyai keunggulan dibandingkan metode chroma key. Nilai depth bisa digunakan untuk mensegmentasi objek pada citra. Tapi hasil segmentasinya masih mengandung kesalahan dalam deteksi, khususnya batas tepi luar objek. Di dalam penelitian seperti [12][13][14][15][16], depth digunakan secara bervariasi yakni:
- Sebagai deteksi awal wilayah objek
- Sebagai pembentuk tri-map secara otomatis
- Sebagai bagian dari perhitungan matte
Di dalam penelitian ini, depth digunakan sebagai deteksi awal objek dan pembentuk tri-map secara otomatis.
4. Pemilihan Metode matting
Metode matting citra dipisahkan dalam 2 kelompok yakni berdasarkan tri-map dan scribble. Untuk metode yang sejak awal dikembangkan berdasarkan tri-map seperti Poisson, Bayessian, Robust, Knock out dan lainnya membutuhkan sebuah tri-map dengan kecermatan yang baik agar bisa memberikan hasil yang baik. Untuk metode yang memanfaatkan goresan (scribble) seperti [21][22], beberapa goresan diletakkan pada bagian dalam objek dan bagian latar belakang. Secara otomatis, metode tersebut akan melakukan segmentasi.
Dalam penelitian ini, disimpulkan bahwa metode matting yang cocok adalah yang menggunakan scribble karena tidak membutuhkan tri-map. Hal ini dikarenakan tri-map yang didapat dari depth kemungkinan besar akan mengandung kesalahan dalam ekstraksi objek. Penggunaan scribble akan
dicoba digantikan oleh tri-map, karena scribble hanya bisa digambar secara manual.
1.3 Keaslian penelitian
Beberapa penelitian berikut mengolah informasi warna untuk mendapatkan nilai matte dengan menggunakan tri-map yang dibuat secara manual sebagai nilai matte awal. Kebanyakan dari mereka terdiri atas dua proses: 1) pengumpulan contoh: informasi statistik atau contoh warna F dan B untuk masing-masing piksel di dalam “daerah tidak dikenal” dikumpulkan dari warna-warna “pasti latar depan” dan “pasti latar belakang”. 2) perkiraan matte: matte dihitung untuk masing-masing piksel, nilai-nilai yang dihasilkan dari F dan B digunakan untuk penyelesaian persamaan matting. 3) tri-map yang digunakan dibuat secara manual.
Di dalam Knockout [11], perhitungan F dan B merupakan rata-rata tertimbang dari piksel-piksel sepanjang garis keliling dari daerah-daerah latar depan dan latar belakang yang diketahui. Nilai α yang dihitung terakhir juga merupakan rata-rata tertimbang dari intensitas matte yang dihitung pada saluran RGB. Di dalam [17] dan [18], warna-warna contoh untuk F dan B dianalisa dengan percampuran dari Gaussian tanpa orientasi dan analisa komponen-komponen pokok (PCA = Principal Component Analysis) masing-masing. Cara kerja metode Bayesian matting [10], diawali dengan membentuk gugusan contoh warna-warna untuk F dan B. Masing-masing gugusan disesuaikan dengan distribusi Gaussian terorientasi (Gaussian oriented). Sebuah perhitungan posterior maksimum (MAP = Maximum A Posterior) dari α, F dan B dihitung secara serempak untuk masing-masing pasangan latar depan dan latar belakang dalam sebuah kerangka Bayesian. Nilai α akhir dipilih dari pasangan yang paling banyak kemiripan.
Metode-metode ini tergantung pada contoh warna yang diberikan, sehingga kesalahan dapat dengan mudah terjadi pada variasi latar belakang yang
kompleks dan objek yang bertumpuk. Pemberian contoh warna yang salah akan memberikan hasil matting yang buruk.
Difference Matting [19] memerlukan dua citra: satu dengan latar depan dan yang lain tanpa latar depan. Perbedaan dari dua citra tersebut kemudian dipetakan ke satu matte. Matting video [20] merupakan perluasan Bayesian matting. Awalnya tri-map dibuat secara manual oleh pengguna. Lalu, sebuah alogaritma aliran optikal dua arah (bi-directional optical flow algorithm) digunakan untuk menyisipkan tri-map tersebut ke dalam deretan frame video, untuk menyediakan frame-frame kunci.
Metode Poisson matting [9] diterapkan untuk citra-citra natural dengan variasi latar belakang yang kompleks dengan informasi warna citra sebagai masukannya. Citra natural adalah citra yang direkam pada lingkungan alami atau tidak di dalam studio. Metode ini beroperasi secara langsung pada gradien matte. Poisson matting memperhitungkan gradien matte dari sebuah citra, lalu merekonstruksi matte dengan penyelesaian persamaan Poisson matting. Tetapi metode ini hanya berhasil untuk citra yang peralihan intensitas latar depan dan latar belakang halus.
Penelitian [21] dan [22] menggunakan scribble untuk memisahkan latar depan dengan latar belakang tanpa tri-map. Scribble adalah goresan sembarang yang diberikan pada ’pasti latar depan’ dan ’pasti latar belakang’ dan biasanya diberi warna berbeda. Secara otomatis, objek diekstraksi dari citra. Untuk peralihan intensitas yang kasar antara latar depan dan latar belakang, metode [22] mampu memberikan hasil segmentasi yang bagus. Perbandingan unjuk kerja berdasarkan nilai MSE antara [22] dengan beberapa metode matting berbasis tri-map, juga ditunjukkan pada penelitian tersebut.
Semua metode matting yang menggunakan informasi warna dalam pengolahan, sangat tergantung pada kualitas citra tersebut. Resolusi citra dan aspek cahaya seperti kontras dan kecerahan, akan mempengaruhi hasil dari segmentasi.
Penggunaan depth dalam segmentasi citra juga sudah dilakukan. Penelitian yang dilakukan [12] menggunakan informasi gerak (motion), informasi depth dan warna untuk menghasilkan tri-map. Dalam penelitian ini, algoritma region growing menjadi pembentuk initial mask yang diterapkan dengan menggunakan “pixel seeds” untuk “pertumbuhan” atau peningkatan area batas segmentasi. Selisih depth antar frame digunakan sebagai seed. Hasil dari tahap ini diolah lagi menggunakan teknik color-based refining dengan membuat tri-map yang didapat dari K-nn sebagai pengkluster warna dan CIELAB sebagai ruang warnanya. Walaupun memiliki kelebihan dalam kecepatan dan tidak rumit, tapi ada kekurangan yakni: 1) masih ada kesalahan dalam mendeteksi tepi dari latar depan, 2) jika ada objek yang diam dalam latar depan dan berinteraksi dengan objek yang bergerak maka objek diam dianggap sebagai bagian dari objek yang bergerak.
Informasi depth yang direkam oleh sensor (depth sensor) kamera ToF memiliki kekurangan yakni derau optikal, pergeseran batas tepi antara informasi depth dengan citra warna dan adanya artefak yang berkedip (depth flickering artifacts) [13][14]. Artefak ini disebut berkedip karena penelitian diterapkan pada video. Kedua penelitian tersebut menggunakan informasi depth dan warna. Pada [13], digunakan robust matting [23] untuk penyamaan batas tepi antara citra depth dengan citra warna yang ditempatkan pada bagian tahap awal proses. Pada [14] penyamaan batas tepi antara kedua data citra tersebut dilakukan dengan menggunakan algoritma graph cut [24] yang ditempatkan pada bagian tahap akhir proses.
Penelitian [15][16], memanfaatkan depth untuk membentuk tri-map secara otomatis dan adaptif berdasarkan kekaburan (fuzziness) matte. Nilai matte awal diambil dari normalisasi depth pada bagian objek yang ingin diekstraksi. Penelitian ini diimplementasikan pada citra diam (still image) sebagai dasar untuk video matting. Penelitian [16][25], menggunakan depth sebagai saluran ke empat selain warna untuk mendapatkan nilai matte.
Pada penelitian yang akan dikerjakan, citra RGB digunakan sebagai masukan untuk metode matting. Informasi depth dipilih karena mampu
merepresentasikan posisi objek dalam citra, sehingga bisa digunakan untuk segmentasi citra dengan cepat. Tapi hasil segmentasi dengan depth masih memberikan kesalahan sehingga perlu diperbaiki.
Pemilihan wilayah objek yang akan diekstraksi berdasarkan depth, menggunakan metode region growing [26]. Pemilihan daerah tersebut melibatkan interaksi pengguna karena terdapat banyak objek dalam sebuah citra. Lalu tri-map dibuat secara otomatis berdasarkan kekaburan nilai depth yang dihitung berdasarkan modifikasi persamaan pada [16]. Nilai faktor kekaburan digunakan sebagai radius dilasi dan erosi agar terbentuk sebuah tri-map. Pada subbab 2.2.7, dijelaskan lebih rinci tentang cara menghitung faktor fuzziness.
Dengan menggunakan metode closed form matting [21] dan learning based matting [22], scribble akan digantikan oleh tri-map. Tri-map terlebih dahulu dijadikan masukan untuk closed form matting, lalu nilai matte hasil proses tersebut akan dijadikan sebagai masukan untuk metode learning based matting. Hasil pengolahan terakhir merupakan nilai akhir matte yang diinginkan. Metode closed form matting didasarkan pada scribble yang dibuat manual, sementara hasil segmentasi depth tidak menjamin batas luar objek yang tepat sehingga tri-map pun bisa jadi tidak memberikan hasil yang baik. Maka dalam penelitian ini dicoba untuk menerapkan tri-map sebagai scribble otomatis pada metode closed form matting. Sementara metode learning based matting bisa menerima scribble secara manual ataupun sebuah tri-map. Pada subbab 2.2.8, dijelaskan secara rinci latar belakang pemilihan kedua metode matting ini.
1.4 Tujuan Penelitian
Tujuan dari penelitian ini adalah merancang skema segmentasi citra yang direkam tanpa studio khusus, berdasarkan citra RGB dan depth menggunakan teknik matting dan tri-map yang dihasilkan secara otomatis dari hasil segmentasi depth.
1.5 Manfaat Penelitian
citra yang dirancang dalam penelitian ini, ditujukan sebagai salah satu alternatif untuk ekstraksi objek dari citra yang direkam menggunakan kamera RGB dan depth. Untuk lebih spesifik adalah pada hasil rekaman video yang menggunakan kamera RGB dan kamera depth. Bidang yang dimaksud adalah bidang multimedia seperti perfilman dan penyiaran (broadcasting, forecasting). Tetapi sistem ini akan digunakan dalam post production, bukan secara realtime. Teknik image matting yang diterapkan pada video disebut dengan video matting.
Cara kerjanya adalah video direkam tanpa perlu menggunakan studio khusus seperti yang dilakukan dalam metode chroma keying atau blue screen matting. Video yang direkam bukan hanya berbentuk citra RGB tapi juga depth. Dengan menggunakan sistem ini, tiap frame tunggal akan disegmentasi untuk mendapatkan objek yang diinginkan. Lalu objek hasil ekstraksi dapat dikomposisikan dengan latar belakang yang baru.
