Kasus dua kamera sejajar secara paralel bukanlah kasus umum dalam stereo vision, kamera paralel membatasi ruang daerah dimana benda-benda yang terlihat di kedua citra. Hal ini lebih umum untuk menempatkan kamera sehingga sumbu yang mengarahkan kamera ke dalam. Situasi ini disebut konvergensi kamera atau kamera sejajar. Dalam hal ini titik korespondensi pada umumnya tidak akan berada pada koordinat y yang sama.
Stereo geometry dengan dua citra yang diambil dari dua kamera non-paralel disebut epipolar geometry. Dalam hal ini akan memperkenalkan geometric property dikenal dalam computer vision sebagai epipolar constraint.
Ada dua cara untuk mengekstraksi struktur 3-D dari pasangan citra:
1. Classic method, yang dikenal sebagai calibrated route. Pertama-tama perlu untuk mengkalibrasi kamera (atau sudut pandang), berkenaan dengan sejumlah sistem koordinat, menghitung epipolar geometry dengan mengeluarkan matriks yang penting dari sistem, dan dari menghitung ini struktur Euclidean 3-D pada scene citra.
2. Uncalibrated system adalah sebuah kuantitas yang dikenal sebagai fundamental matrix dihitung dari citra korespondensi dan kemudian digunakan untuk menentukan proyektif struktur 3-D dari scene citra. 2.6.1 Epipolar Geometry
Mengingat sepasang stereo kamera setiap titik dalam ruang 3-D yang didefinisikan sebuah plane π , melewati P dan pusat proyeksi dari kedua kamera. Plane π disebut epipolar plane dan garis-garis lurus di mana π memotong image plane disebut conjugated epipolar lines. Ini adalah citra dalam satu kamera dari sebuah sinar melalui pusat optik dan citra titik di lain kamera. Citra dalam satu kamera kamera lain pusat proyeksi dikenal sebagai epipole. Dengan kata lain, epipole adalah titik perpotongan dari garis yang menghubungkan optik pusat, yaitu baseline, dengan image plane.
Gambar 2.15 Area epipolar
Dengan pengecualian dari epipole, hanya satu epipolar line melewati titik citra apapun. Semua epipolar line melewati satu kamera-kamera epipole. Epipolar constraint yang menyatakan bahwa titik berkorespondensi harus terletak pada conjugated epipolar lines. epipolar geometry adalah geometri proyektif intrinsik antara dua pandangan yang independen dari struktur scene, dan hanya tergantung pada parameter internal kamera dan posisi relatif.
Menentukan posisi lokasi titik objek tergantung pada citra yang cocok dengan lokasi titik objek dalam satu citra ke lokasi titik objek yang sama dalam citra lain. Pada awalnya mungkin terlihat bahwa korespondensi memerlukan pencarian melalui seluruh citra, tapi epipolar constraint mengurangi pencarian pada satu garis. Jadi titik dalam satu citra pl menghasilkan garis dalam pada titik korespondensi pr. Pencarian korespondensi dengan demikian mengurangi suatu wilayah pada garis, karena merupakan masalah 1-D.
Gambar 2.16 Epipolar line
Hasil di atas ditemukan, menggunakan 8-titik algoritma. Setelah titik korespondensi dari kiri dan kanan citra, program menghitung Fundamental Matrix FP. Kemudian menemukan parameter epipolar line, dari koordinat titik di sebelah kiri citra dan Fundamental Matrix. Dengan menarik garis di sebelah kanan seperti yang ditunjukkan citra. Karena benar-benar memilih 8 titik korespondensi, maka dihitung Fundamental Matrix, hanyalah perkiraan, dan dengan demikian mengalami kesalahan. Namun dibandingkan dengan kesederhanaan dan kecepatan, 8-titik algoritma masih merupakan salah satu yang algoritma terbaik yang digunakan untuk memperkirakan geometri epipolar. 2.6.2 Essential Matrix
Frame referensi kiri dan kanan kamera dihubungkan melalui parameter eksternal. Menentukan transformasi dalam ruang 3-D dengan vektor translasi T = (Or-Ol) dan sebuah matriks rotasi R. Diketahui sebuah titik P dalam ruang hubungan antara Pr dan Pl dan oleh karena itu
Hubungan antara titik dalam ruang 3-D dan proyeksi digambarkan oleh persamaan dari proyeksi perspektif persamaan:
Persamaan dari epipolar plane melewati P dapat ditulis sebagai perkalian cross dari vektor Pl, T dan (Pl-T) seperti di bawah ini :
Menggunakan hasil dari rumus ke (5)
Menulis produk cross sebagai kekurangan pangkat matriks :
Maka (5) akan menjadi :
Essential matrix langsung menghubungkan epipolar constraint dengan parameter eksternal dari sistem kamera. Titik essential matrix dalam satu kamera pada epipolar line di kamera kedua. Titik essential matrix dalam frame kamera melalui epipolar constraint:
Epl sebagai garis proyektif dalam right plane lr yang melewati pr dan epipole er.
Gambar 2.17 Epipolar Constrain 2.6.3 The Fundamental Matrix
Seluruh pembahasan yang digunakan dalam kamera koordinat referensi Frame tetapi sebenarnya mengukur citra dari koordinat pixel.
Gambar 2.18 Hubungan camera frame
Oleh karena itu agar dapat menggunakan essential matrix, perlu mengetahui transformasi dari koordinat kamera pixel, yaitu parameter internal. Keterbatasan ini dapat dihailangkan dengan menggunakan fundamental matrix.
Fundamental matrix sering digunakan dalam rekonstruksi objek yang diambil dengan dua kamera yang tidak dikalibrasi. Ini adalah pemetaan yang sangat kuat antara citra stereo. Ini mencakup baik dengan parameter internal maupun eksternal dari sistem dan memungkinkan untuk menjelaskan epipolar geometry dari titik yang sesuai.
Dengan asumsi Ml merupakan matriks parameter internal kamera kiri. Sebuah titik pada koordinat citra p^l ditulis dalam frame kamera sebagai:
Dengan mensubstitusikan persamaan ini pada persamaan (10) di atas, maka didapatkan:
dimana :
F di sini adalah fundamental matrix. Seperti persamaan (15), untuk fundamental matrix yang dimiliki
Persamaan (20) dapat dianggap sebagai persamaan dari projective epipolar line yang sesuai dengan titik pl.
Perbedaan essential matrix dan fundamental matrix adalah bahwa fundamental matrix didefinisikan dalam bentuk koordinat pixel dan essential matrix didefinisikan dalam istilah koordinat kamera. Oleh karena itu jika dapat memperkirakan fundamental matrix dari sejumlah titik pembanding dalam pixel koordinat, maka dapat merekonstruksi epipolar geometry tanpa informasi sama sekali tentang parameter internal atau eksternal.
2.6.4 Recovering Epipolar Geometry and Eight Point Algorithm
Banyak teknik yang ditemukan untuk epipolar pemulihan. Epipolar geometry dapat diturunkan dari titik yang sesuai pada citra dengan menggunakan 8-points algorithm. 8-points algorithm sering digunakan untuk menghitung fundamental matrix dari delapan pasang atau lebih titik yang koresponden.
Keuntungan dari 8-points algorithm adalah linear, maka dengan cepat dan mudah diimplementasikan. Jika 8 titik yang berkorespondensi diketahui, maka solusi dari serangkaian persamaan linear dapat digunakan.
Kerugian dari 8-points algorithm sangat rentan terhadap noise. Tetapi translation dan scaling (normalisasi) sebelum merumuskan persamaan linier meningkatkan hasil. Transformasi tidak meningkatkan kompleksitas dari algoritma.
Mengasumsikan bahwa n titik korespondensi telah dibentuk antara kiri dan kanan citra. Setiap korepondensi menyediakan persamaan linier homogen dalam bentuk:
Ada sedikitnya 8 korespondensi (n³8), sebuah sistem linear homogenya terbentuk. Jika pl = (x, y, 1) dan pr = (x ', y', 1) adalah dua titik yang sesuai di kiri dan kanan citra, dengan koordinasi yang homogen. Dari epipolar constraint, persamaan (18), untuk setiap titik i memiliki:
Dimana f1 melalui F9 adalah unsur fundamental matrix. Memperluas (21) untuk setiap salah satu titik maka akan memiliki 8 persamaan dalam bentuk:
Dapat disusun kembali sebagai AF = 0, di mana A adalah (n x 9) pengukuran persamaan matriks, dan F adalah fundamental matrix ditunjukkan dengan 9-vektor.
Untuk 8-points algorithm, memiliki (n = 8). Ini merupakan masalah aljabar linear standar karena jika sistem bersifat homogen, terdapat solusi unik hingga faktor skala yang tidak dikenal. Maka solusinya adalah eigenvector dengan minimum eigenvalue dari ATA. Jika kita memperluas A menggunakan Singular Value Decomposition (SVD), dengan metode ini maka dapat menulis A sebagai:
Solusi sistem SVD adalah kolom V terkait dengan setidaknya nilai tunggal A. Jika A adalah matrik n x n, maka vektor tak nol x di dalam Rn dinamakan eigenvector dari A jika Ax adalah kelipatan skalar dari x, yaitu Ax = λx
Untuk suatu skalar λ disebut eigenvalue dari A dan x dikatakan eigenvector yang bersesuaian dengan λ.
Untuk mencari eigenvalue matrik A yang berukuran n x n maka kita menuliskannya kembali Ax = λx sebagai Ax = λIx