Video compositing
Video compositing
menggunakan
menggunakan
gg
gg
poisson
poisson blending
blending
Pembimbing: Mochammad Hariadi ST M Sc Ph D Mochammad Hariadi, ST., M.Sc., Ph.D. Ahmad Zaini, ST., MT Oleh: Saiful Yahya ITS 2014 ITS - 2014
Riset
Riset yang
yang telah
telah ada
ada
Riset
Riset yang
yang telah
telah ada
ada
y P. P´erez, M. Gangnet, and A. Blake. Poisson image editing ACM
Poisson image editing. ACM
Transactions on Graphics (Proc.
SIGGRAPH 2003), 22(3):313–318, July ) ( ) y 2003
y Fast Poisson Blending using Multi-Splines Richard Szeliski Matthew Splines, Richard Szeliski, Matthew Uyttendaele, and Drew Steedly,
Microsoft Research and Microsoft
y Motion-Aware Gradient Domain Video Composition; Tao Chen, Jun-Yan Zhu, Ariel Shamir and Shi-Min Hu 2013
P.
P. PP´´erezerez, M. , M. GangnetGangnet, and A. Blake. Poisson , and A. Blake. Poisson image editing
image editing ACM Transactions onACM Transactions on GraphicsGraphics image editing.
image editing. ACM Transactions on ACM Transactions on GraphicsGraphics (Proc. SIGGRAPH 2003),
(Proc. SIGGRAPH 2003), 22(3):31322(3):313––318, July 318, July 2003
2003
y Menggunakan persamaan poisson untuk menggabungkan dua image untuk menggabungkan dua image.
y Menggabungkan pixel yang ditandai dengan pixel yang berhimpitan yang dengan pixel yang berhimpitan yang mempengaruhi pixel sebelahnya.
Fast Poisson Blending using Multi
Fast Poisson Blending using Multi--SplinesSplines, , Richard
Richard SzeliskiSzeliski MatthewMatthew UyttendaeleUyttendaele andand Richard
Richard SzeliskiSzeliski, Matthew , Matthew UyttendaeleUyttendaele, and , and Drew
Drew SteedlySteedly, Microsoft Research and , Microsoft Research and Microsoft
Microsoft
y Teknik untuk Poisson cepat blending dan gradien domain compositing. g p g
Dengan menggunakan peta tunggal piecewise-halus offset untuk
p
melakukan blending, mengaitkan peta yang terpisah dengan masing-masing
y g p g g g
Motion
Motion--Aware Gradient Domain Video Aware Gradient Domain Video Composition; Tao Chen, Jun
Composition; Tao Chen, Jun--Yan Zhu, Ariel Yan Zhu, Ariel Sh i d Shi
Sh i d Shi MiMi HH 20132013 Shamir, and Shi
Shamir, and Shi--Min Min HuHu. 2013. 2013
y For images, gradient domain composition methods like
Poisson blending offer practical solutions for uncertain object g p j boundaries and differences in illumination conditions.
However, adapting Poisson image blending to video faces new challenges due to the added temporal dimension. In video, the human eye is sensitive to small changes in y g
blending boundaries across frames, and slight differences in motions of the source patch and target video. We present a novel video blending approach that tackles these problems by merging the gradient of source and target videos and g g g g
optimizing a consistent blending boundary based on a user provided blending trimap for the source video. Our approach extends mean-value coordinates interpolation to support
hybrid blending with a dynamic boundary while maintaining y g y y g interactive performance. We also provide a user interface and source object positioning method that can efficiently deal with complex video sequences beyond the capabilities of alpha blending.g
Video compositing
Video compositing
Video compositing
Video compositing
y Fokus utama dari teknik komposisi p
video yaitu untuk menurunkan jumlah usaha manual yang diperlukan dalam y g p prosesnya.
y Tantangan utama dalam gradien
domain video yang blending, sebagai lawan image blending, berasal dari
k P t b hk jik
gerak. Pertama, bahkan jika
pencampuran hasil untuk setiap frame individu terlihat memuaskan
individu terlihat memuaskan, batas-batas pencampuran dalam bingkai yang berdekatan mungkin tidak
yang berdekatan mungkin tidak konsisten, dan 'popping' artefak mungkin muncul. g
y Gerakan sumber dan target gradien bidang biasanya berbeda dan dapat menyebabkan artefak gerak bahkan jik b t b t
jika batas-batas pencampuran konsisten dari waktu ke waktu.
Perbedaan gerak kamera sering ada
y Perbedaan gerak kamera sering ada antara sumber dan video sasaran, dan ada kebutuhan untuk menyelaraskan ada kebutuhan untuk menyelaraskan mereka.
Tantangan
Tantangan riset
riset
Tantangan
Tantangan riset
riset
y Poisson blending selama ini masihg menggunakan 2D, pada video
compositing dimungkinkan untukp g g mengembangkan dari poisson
blending 2D menjadi poisson blending g j p g 3D.
Rumusan
Rumusan masalah
masalah
Rumusan
Rumusan masalah
masalah
y Poisson blending yang digunakang y g g selama ini pada image dan video
commpositing menggunakan matriksp g gg 2D, peneliti ingin mengembangkan matriks 3D poisson blending padap g p video compositing.
Tujuan
Tujuan
Tujuan
Tujuan
y Menggunakan poisson blending 3D gg p g pada video compositing sebagai salah satu wacana kedepan.p
Batasan
Batasan
Batasan
Batasan
y Video sumber menggunakan video gg yang memiliki background hijau
Manfaat
Manfaat
Manfaat
Manfaat
y Mengetahui penggunaan metode g p gg poisson blending untuk penerapan video compositingp g yang y g
menghaluskan gradasi pada penggabungan video.
p gg g
y Menganalisa filter 3D dari persamaan poisson pada penggabungan video
BAB 2
BAB 2
BAB 2
BAB 2
y Video compositingp g y RGB to Grayscale y Persamaan Poisson y Persamaan Poisson y KonvolusiPoisson equation
Poisson equation
Poisson equation
Poisson equation
y Persamaan differensial parsialp
y Berasal dari turunan kedua persamaan laplacian
Persamaan
Persamaan differensial
differensial parsial
parsial
Persamaan
Persamaan differensial
differensial parsial
parsial
y Persamaan diferensial parsial adalah
l bih persamaan yang memuat satu atau lebih turunan parsial dengan dua atau lebih
variabel bebas Orde dari persamaan variabel bebas. Orde dari persamaan diferensial parsial merupakan tingkat tertinggi dari derivatif yang ada dalamgg y g persamaan diferensial. Derajat dari persamaan diferensial parsial
k k t t ti i d i
merupakan pangkat tertinggi dari
turunan tingkat tertinggi yang ada dalam persamaan diferensial
y persamaanp one-dimensional wave equation:q
◦ 2 / 2 = 2 ( 2 / 2)
y persamaan one-dimensional heat equationpe sa aa o e d e s o a eat equat o
◦ / = 2 ( 2 / 2)
y persamaan two-dimensional Laplacepersamaan two dimensional Laplace equation
◦ (( 2 / 2)+() ( 2 / 2)=0 )
y persamaan two-dimensional Poisson equationq
y persamaan two-dimensional wave equationpersamaan two dimensional wave equation ◦ ( 2 / t2) = 2(( 2 / 2)+( 2 / 2) ( 2 /
2)+( 2 / 2) )
y persamaan three-dimensional Laplace
equation
◦ ( 2 / 2)+( 2 / 2) + ( 2 / z2) = 0
y Dari persamaan diatas didapatkan
persamaan three dimensional Poisson: ◦ ( 2 / 2)+( 2 / 2) + ( 2 / z2) = f(x,y,z)
Poisson blending
Poisson blending
Poisson blending
Poisson blending
y Poisson blending merupakan teknikg p blending yang menggunakan
persamaan Poisson yang merupakan
p y g p
Metode
Metode Penelitian
Penelitian
Metode
Ekstraksi
Ekstraksi video
video
Ekstraksi
Ekstraksi video
video
y Proses ekstraksi menggunakangg software video editing.
y Ekstraksi dilakukan untuk mengubahEkstraksi dilakukan untuk mengubah video menjadi citra tunggal yang
jamak. ja a
Konversi
Konversi warna
warna
Konversi
Konversi warna
warna
y Konversi warna RGB ke grayscaleg y
Hasil
Hasil konversi
konversi warna
warna
Hasil
Persamaan
Persamaan poisson
poisson
Persamaan
Persamaan poisson
poisson
y ( 2 / 2)+( 2 / 2) = ( , )
y Poisson blending
2 = Discrete Poisson Equation
◦ 2 = Discrete Poisson Equation
◦ 2 = aplacian equation
( ) P li i
Matriks
Matriks Poisson
Poisson
Matriks
y Berdasarkan matriks poisson 2D p tersebut didapatkan matriks 3D poisson sebagai berikut:
Illustrasi
Illustrasi 3D
3D poisson
poisson
Illustrasi
konvolusi
konvolusi
konvolusi
konvolusi
y Persamaan konvolusi
y g( ) = kernel dalam penelitian ini
y g( ) kernel, dalam penelitian ini menggunakan kernel poisson
y α = variabel integrasi
y Konvolusi dilakukan pada masing-masing citra sumber dan citra target terhadap matriks poisson
Illustrasi
Illustrasi konvolusi
konvolusi
Illustrasi
Analisa
Analisa Dan
Dan Pembahasan
Pembahasan
Analisa
Analisa Dan
Dan Pembahasan
Pembahasan
y Percobaan 1
y Citra sumber
y Citra hasil
y Analisa
y Analisa
◦ Terjadi perbedaan antara frame 1, frame 2 dan frame 3.
F 2 l bih l dik k b d
◦ Frame 2 lebih gelap dikarenakan perbedaan matriks yang mengkonvolusi antara frame 1, frame 2 dan frame 3.
Percobaan
Percobaan 2
2
Percobaan
Percobaan 2
2
y Citra sumber Cit t t y Citra targety Citra hasil
y Analisa
Perbedaan kontras antara citra sumber
◦ Perbedaan kontras antara citra sumber dengan citra target mengakibatkan
pencampuran video menjadi menyatu pencampuran video menjadi menyatu.
Percobaan
Percobaan 5
5
Percobaan
Percobaan 5
5
y Citra sumber y Citra targety Citra hasil
y Analisa
◦ Penyatuan citra sumber dan citra target
terlihat halus, dikarenakan posisi objek dan i t it
Hasil
Hasil dalam
dalam Video
Video
Hasil
Kesimpulan
Kesimpulan dan
dan saran
saran
Kesimpulan
Kesimpulan dan
dan saran
saran
y Kesimpulan
D l b k id di l k
◦ Dalam menggabungkan video diperlukan
pengetahuan komposisi untuk mendapatkan kesan menyatu.
Perbedaan yang kontras antara objek dengan
◦ Perbedaan yang kontras antara objek dengan latar mempengaruhi hasil pencampuran video.
◦ Poisson blending pada latar video yang memiliki kontras menghasilkan penggabungan yang
kontras menghasilkan penggabungan yang halus.
S
y Saran
◦ Penggunaan poisson blending dapat
ditambahkan fitur yang lain untuk mendapatkan h il d i h l
Terima
Terima Kasih
Kasih
k i i l@ il k i i l@ il
kritipul@gmail.com kritipul@gmail.com
