Perpustakaan Universitas Gunadarma BARCODE SURAT KETERANGAN. Nomor: 536/PERPUS/UG/2021

Perpustakaan Universitas Gunadarma BARCODE

BUKTI UNGGAH DOKUMEN PENELITIAN PERPUSTAKAAN UNIVERSITAS GUNADARMA

Nomor Pengunggahan

SURAT KETERANGAN

Nomor: 536/PERPUS/UG/2021

Surat ini menerangkan bahwa:

Nama Penulis : ALI AKBAR

Nomor Penulis : 130304

Email Penulis : -ali_akbar@staff.gunadarma.ac.id Alamat Penulis : jl Karet Pasar Baru barat 1

Telah menyerahkan hasil penelitian/ penulisan untuk disimpan dan dimanfaatkan di Perpustakaan Universitas Gunadarma, dengan rincian sebagai berikut :

Nomor Induk : FILKOM/KA/PENELITIAN/536/2021

Judul Penelitian : Kajian Ilmiah Sistem Pengambilan Video Berbasis Konten Tanggal Penyerahan : 30 / 01 / 2021

Demikian surat ini dibuat untuk dipergunakan seperlunya dilingkungan Universitas Gunadarma dan Kopertis Wilayah III.

Kajian Ilmiah Sistem Pengambilan Video Berbasis Konten

1_{Ali Akbar}

1_{Universitas Gunadarma,}

1_{Jl Margonda Raya No.100 Pondok Cina Depok}

1_{ali_akbar@staff.gunadarma.ac.id}

Abstrak

CBVIR( content based video indexing and Retrieval) aplikasi dari pencocokan image akan bemasalah karena membutuhkan database yang sangat besar, karena pencarian berdasarkan konten berarti pencarian dilakukan dengan mengunakan konsep pencocokan berdasarkan video yang sebenarnya. Pencocokan ini biasanya berdasarkan warna , bentuk , dan tekstur.

Hal pertama yang harus dilakukan dalam melakukan pencarian video adalah segmentasi video. Segmentasi video mengambarkan image dari frame menjadi gambar yang bergerak kemudian merecord evolusi dari objek yang bergerak di dalam sub sequens frame image. Klasifikasi video segmentasi itu sendiri dimulai dari video program ,scene, shot dan frame. Pada penulisan ini penulis mencoba membuat perbandingan bagaimana system pengambilan video berbasis konten. Ditemukan ada beberapa keunggulan dan kelamahan proses pencarian video dengan metode yang berbeda terutama jika mengunakan proses pencarina video dengan mengunakan simatik video.

Keyword : Video, Pencarian, semantik

I Pendahululuan

Perkembangan teknologi informasi semakin pesat. Sementara semua sumber data video yang tersebar di internet begitu banyak. Pengolahan gambar video atau gambar bergerak semakin banyak. Banyaknya data yang berisikan informasi tentang video, semua sumber data yang berhubungan dengan video yang begitu besar menimbulkan masalah dengan proses pemgambilan video. Sebagian sistem pengambilan dan pencarian video itu sebagian besar mengunakan metode pencarian dengan mengunakan text dan judul video yang ditulis. Sebagian besar pencarian video yang digunakan pencarian berbasis tex memang meudahkan pencarian tetapi dengan adanya begitu banyak pengolahan video yang digunakan maka akan menimbulkan banyak kemiripan video yang memiliki konten atau isi video yang sama maka akibatnya ada beberapa judul yang menuju pada video yang sama atau sebaliknya banyak judul yang memiliki konten yang sama. Ini mengakibatkan banyak proses klaim yang dilakukan akibat kesamaan video. Untuk itu dibutuhkan metode pencarian video yang lebih baik agar video yang sama dapat mudah dikenali dan memudahkan dalam proses penentuan kepemilikan video.

Maka dari itu penulis membuat melakukan penelusuran ilmiah untuk membahas sebagian besar metode yang digunakan dalam melakukan proses pengenalan video dengan metode yang sudah di kembangkan dalam tulisan ini juga dibahas beberapa keunggulan metode pencarian video yang ada dan kelemahan masing-masing metode yang digunakan tersebut.

Terdapat beberapa algoritma yang digunakan dalam menentukan tingak kesamaan video satu dengan yang lain diantara lainnya adalah

A. Color-texture Classification

klasifikasi yang diusulkan oleh Palm[11] mendefinisikan tiga kelompok: paralel, sekuensial, dan integratif. pendekatan Secara parallel, warna dan tekstur ditangani secara terpisah; dalam pendekatan sekuensial, warna tersebut diolah untuk menghasilkan citra saluran tunggal yang kemudian dapat dianalisis dengan pendekatan tekstur konvensional. Upaya sistem integrative untuk memproses warna dan tekstur bersama-sama baik sebagai satu atau sebagai banyak saluran. Meskipun taksonomi ini memberikan manfaat kerangka konseptual.[3] Berdasarkan itu dibentukan lah taxonomi klasifikasi fungsi texture seperti gambar berikut

Gambar 1 taxonomy fungsi Colour Texture.[3]

B. Multi-modal Conten Based Browsing and searching Methods

Pada metode pencarian ini ada beberapa tahapan yang akan dilakukan dalam proses pengenalan video (1) Mengenali Area Minat; (2) Mengembangkan Pertanyaan Penelitian Awal; (3) Membangun Corpus Data; (4) Menetapkan Objek Studi; (5) Mengembangkan Kategori Awal; (6) Mengembangkan Template Analisis; (7) Menguji Template Analitik; (8) Menerapkan Template Analisis ke Data Corpus; (9) Membangun Tema Potensial; (10) implikasi dari analisis; dan (11) Diseminasi Temuan. Meskipun prosedur ini disajikan secara linier, prosedur ini terkadang tumpang tindih, dan harus dilihat sebagai proses rekursif yang menginformasikan prosedur sebelum dan sesudah proses disajikan. [7] dengan dilakukanya prosedur secara rekrusif maka diharapkan hasil pencarian dengan corpus yang ada mendekati tingkat keberhasilan yang tinggi

C. Character Identification (segmentasi)

Pada proses character identifikasi pada umumnya akan di lakukan proses segmentasi bagian dari video atau gambar yang akan dicari sehingga video menjadi beberapa segmen bingkai terkait [12]. Pembagian

segmantasi yang dilakukan pada umumnya bernama shot sesuai dengan urutan fvideo atau frame yang berhubungan dan mengambarkan keadaan yang sesuai dengan suatu tindakan. Tindakan ini, terus menerus dalam ruang dan waktu, direkam dengan kamera sederhana [13]. Objek video lokasi video dan gambar yang dihasilkan sering dianggap sebagai unit dasar video di CBVIR.[2]

Pada bagian tertentu, segmen video dapat dikaitkan dengan definisi lain. Dalam pembelajaran jarak jauh berbasis kuliah, misalnya, rangkaian video mengenai suatu topik atau subtopik dalam suatu kuliah biasanya dianggap sebagai segmen [14]. Untuk mengidentifikasi urutan ini, slide dapat digunakan sebagai pemisah.

D. Semantic Video

Model semantik terdiri dari ontologi referensi (RO) dan kerangka kerja anotasi video semantik. Ontologi tersebut dimaksudkan untuk mempertegas model pengetahuan konseptual di ranah parlemen yaitu pada gilirannya ditautkan ke domain video. Ontologi ini berperan sebagai peran kunci dalam kerangka anotasi karena menyediakan kosakata semantik yang akan digunakan untuk membuat anotasi sumber daya video dengan konsep tingkat tinggi semantik. Pertama, kami menjelaskan Proses pengembangan RO, lalu fitur video anotasi semantic[1]

Alat anotasi video semantik berbeda dalam hal tingkat anotasi. Berbagai tingkat anotasi diklasifikasikan menurut penggunaan fitur berikut [16]: metadata deskriptif, dukungan deskriptor tingkat rendah, dukungan deskriptor tingkat tinggi, dukungan fragmen spasial, dukungan fragmen temporal, dukungan data terkait, otomatisasi, dan RDF keluaran[1]

E. Pengenalan Objek

Pengambilan video berbasis konten yang efektif membutuhkan analisis video teknologi untuk mengindeks data video untuk pengambilan video, antarmuka pengguna yang memungkinkan pengguna untuk dengan mudah mencari data yang diperlukan, penyimpanan yang efisien untuk video berkapasitas besar dalam penyimpanan terbatas ruang menggunakan teknik seperti kompresi dan penyimpanan data video. Metode pengambilan gambar bergerak berbasis konten dapat diklasifikasikan menjadi beberapa jenis tergantung pada sudut pandang [16]. Secara khusus, teknik pengambilan berbasis konten dapat diklasifikasikan menurut informasi yang dapat dikelompokkan digunakan untuk pengambilan konten dalam gambar bergerak, termasuk informasi gambar, informasi karakter, dan informasi audio[10]

Gambar 2 Proses Pengenalan Objek Video[1]

III Pembahasan

Berdasarkan teori yang sudah disebutkan diatas maka kita bisa membuat tabel yang mengambarkan bagaimana cara mengenali video berdasarkan algoritma yang digunakan dan pendekatan serta fitur yang digunakan dalam mendeteksi dan mengenali video dalam jumlah database yang banyak tabel 1 menjelaskan algoritma yang digunakan dalam proses pengenalan video

Tabel 1 Algoritma yang digunakan dalam mengenali video

Algoritma Pendekatan

Fitur yang digunakan

Aplikasi Pengambilan

color-texture Classification mengelompokkan gambar menjadi beberapa wilayah

warna, fitur tekstur perceptual importance Multi-modal Conten Based

Browsing and searching Methods[7]

peer2peer retrieval systems [10]

fitur bentuk ekstraksi bingkai kunci

berbasis objek

Semantically Meaningful Summaries

penguraian urutan video untuk mengidentifikasi tampilan kamera yang relevan, dan melacak pergerakan bola

berbasis skrip, matriks co-occurrence

video olahraga

semantic video retrieval kategorisasi audio otomatis

audio Music, Pidato dan

lain- lain recognizing object in video

sequences

metode klasifikasi berurutan untuk blob

filter kalman diterapkan di atas gumpalan

berbasis objek gambar

automated scene matching pencocokan gambar wavelets, color

descriptors

Adegan 3D dalam film

content based face retrieval pencocokan gambar self-organizing maps (SOMs) and user feedback visual clustering

pengenalan wajah

Pada tekture feature ektrasi dan kemudian didasarkan metode diskripsi dari studi psikologi tentang

prsepsi manusia metode yang di gunakan berdasarkan 6 kriteria yaitu termasuk kekasaran, kontras, directionality, line-rupa, keteraturan dan kekasaran untuk menggambarkan berbagai sifat tekstur. Gray co-kejadian matriks (GLC) adalah salah satu metode yang paling dasar dan penting untuk ekstraksi fitur tekstur dan deskripsi

Berbasis Dekomposisi Wold dan Fitur Tekstur Gabor Jika tekstur dimodelkan sebagai sampel dari 2D

lapangan acak stasioner, Wold dekomposisi juga dapat digunakan untuk pengambilan berbasis kesamaan. Dalam Wold model random field spasial homogen diuraikan menjadi tiga komponen yang saling ortogonal, dimana sekitar mewakili periodisitas, arah, dan sebagian murni acak dari lapangan.

Fitur Warna Warna adalah salah satu fitur visual yang paling banyak digunakan dalam konteks

multimedia dan gambar / pengambilan video, pada khususnya. Untuk mendukung komunikasi melalui Internet, data harus kompres dengan baik dan cocok untuk lingkungan yang heterogen dengan berbagai platform dan perangkat pengguna melihat, menyebarkan besar tenaga mesin pengguna, dan melihat kondisi berubah. Sistem CBIR tidak sadar biasanya perbedaan asli, disandikan, dan dirasakan warna, misalnya, perbedaan antara data warna kolorimetri dan perangkat.

Deskriptor Warna Deskriptor warna gambar dan video dapat global dan lokal. Deskriptor global yang

menentukan isi keseluruhan warna gambar, tetapi dengan tidak ada informasi tentang distribusi spasial warna ini. Deskriptor lokal berhubungan dengan daerah gambar tertentu, dan dalam hubungannya dengan sifat geometris yang terakhir ini, menjelaskan juga pengaturan tata ruang dari warna. Secara khusus, MPEG-7 deskripsi warna yang terdiri dari sejumlah deskriptor histogram, deskriptor warna dominan, dan deskripsi tata letak warna (CLD)

Histogram warna Sebuah warna histogram h (gambar) = (hk (image) k = 1, ..., K) adalah vektor

K-dimensi sedemikian rupa sehingga masing-masing komponen hk (image) merupakan jumlah relatif piksel warna Ck dalam gambar, yaitu, fraksi piksel yang paling mirip dengan warna yang sesuai. Untuk membangun histogram warna, warna gambar harus ditransformasikan ke ruang warna yang tepat dan quantised menurut codebook tertentu ukuran K.

Correlogram Warna Sebuah correlogram warna gambar adalah tabel diindeks oleh pasangan warna, di

mana entri-k untuk (i, j) menentukan kemungkinan menemukan piksel warna pada jarak dari piksel warna dalam gambar. Fitur seperti gambar ternyata kuat dalam mentoleransi perubahan besar dalam penampilan adegan yang sama disebabkan oleh perubahan dalam melihat posisi, perubahan adegan latar belakang, oklusi parsial, kamera zoom yang menyebabkan perubahan radikal dalam bentuk, dll Fitur ini menyuling korelasi spasial warna, dan efektif dan murah untuk pengambilan gambar berbasis konten. Correlogram The kokoh mentolerir perubahan besar dalam penampilan dan bentuk yang disebabkan oleh perubahan posisi melihat, zoom kamera, dll Warna correlogram bukan merupakan metode partisi gambar atau metode perbaikan histogram. Tidak seperti sifat murni lokal, seperti posisi pixel, arah gradien, atau properti global yang murni, seperti distribusi warna, correlograms memperhitungkan warna korelasi spasial lokal serta distribusi global korelasi spasial.

Fitur High-level Semantik Semantik Gap mengacu pada perbedaan antara kekuatan deskriptif terbatas

tingkat rendah fitur indeks frame dan kekayaan semantik pengguna. Untuk mendukung query dengan konsep tingkat tinggi, sistem harus memberikan dukungan penuh dalam menjembatani ini 'kesenjangan semantik' antara numerik fitur bingkai indeks dan kekayaan semantik manusia.

Tabel 2 Keunggulan dan kelemahan teknik Pengambilan video yang dibahas

no technique (teknik) Description (diskripssi)

Advantage (Keunggulan) Disadvantage (kekurangan) 1 Object Ontologies to define high-level concepts [4][8] Semantik dapat diturunkan menggunakan fitur gambar tingkat rendah dan digunakan untuk kueri tingkat tinggi. Teknik yang berbeda seperti penamaan warna digunakan untuk

mendeskripsikan gambar

lebih mudah untuk mengklasifikasikan gambar berdasarkan karakteristiknya seperti warna, dll

Untuk database dengan gambar yang dikumpulkan secara khusus. Semantik sederhana yang diturunkan berdasarkan ontologi objek dapat berfungsi dengan baik, tetapi dengan koleksi gambar yang besar, alat yang lebih canggih diperlukan untuk mempelajari semantik)

2 Machine learning tools to associate low-level features with query concepts [5][6] menggunakan pengklasifikasi bayesian biner, konsep tingkat tinggi dari pemandangan alam ditangkap dari diklasifikasikan ke dalam tipe umum seperti di dalam / luar ruangan, dan gambar luar ruangan diklasifikasikan lebih jauh ke dalam kota / lanskap, dll.) hasil di sini didasarkan pada serangkaian ukuran masukan dan menggunakan teknik kecerdasan buatan, teknik tersebut dapat lebih tepat dan membantu mengurangi celah semantik

pembelajaran konvensional mengalami dua masalah. Diperlukan sejumlah besar sampel pelatihan berlabel dan rawan kesalahan untuk menyediakan data tersebut, set pelatihan diperbaiki selama tahap pembelajaran dan aplikasi

3 relevance feedback

(RF)

Sistem memberikan hasil awal melalui query-by-example, sketsa, dll. Pengguna menilai hasil di atas, apakah dan melakukan apa derajat, mereka relevan (contoh positif) / tidak relevan (contoh negatif) untuk query, algoritma pembelajaran mesin diterapkan untuk mempelajari)

RF adalah

Pemrosesan On-line

Sebagian besar Sistem Berbasis RF saat ini Hanya menggunakan Fitur bingkai indeks tingkat rendah untuk meningkatkan parameter kueri yang ideal dan tidak membahas konten sematic dari bingkai indeks)

4 making use of both

the visual content of index frames and the textual

information obtained from WWW

data yang terkait dengan frame indeks digunakan untuk

mendeskripsikannya. URL file bingkai indeks sering kali memiliki struktur hierarki yang jelas termasuk beberapa informasi tentang bingkai indeks seperti kategori bingkai indeks

Beberapa informasi tambahan di web tersedia untuk memfasilitasi pengambilan bingkai indeks berbasis sematic

presisi pengambilan buruk karena mereka tidak dapat memastikan apakah frame indeks yang diambil benar-benar berisi konsep kueri. Hasilnya adalah pengguna harus menelusuri seluruh daftar untuk menemukan video yang diinginkan. Ini adalah proses yang memakan waktu karena hasil yang ditampilkan selalu berisi banyak topik yang dicampur bersama

5 Generating sematic template (ST) to suport high-level video retreval Pengguna pertama-tama mendefinisikan template untuk konsep tertentu dengan konsep tertentu dengan menentukan objek dan batasan spasial dan temporal, bobot yang ditetapkan untuk setiap fitur dari setiap objek. Skenario kueri awal ini disediakan untuk sistem. melalui interaksi dengan pengguna, sistem akhirnya menyatu dengan sekumpulan kecil kueri contoh yang 'paling cocok'

(memaksimalkan penarikan kembali) konsep dalam pikiran 'pengguna' Teknik ini meningkatkan akurasi pengambilan dibandingkan dengan metode tradisional yang menggunakan histogram warna dan fitur tekstur. Ini adalah yang paling menjanjikan untuk pengambilan video

tidak digunakan secara luas

Pengukuran Kesamaan

Kesamaan pengukuran memainkan peran penting dalam pengambilan. Sebuah bingkai permintaan diberikan ke sistem yang mengambil video serupa dari database. Jarak metrik dapat disebut sebagai kesamaan ukuran, yang merupakan kunci komponen dalam Retrieval Konten Video Berbasis. Dalam pengambilan konvensional, jarak Euclidean antara database dan query dihitung dan digunakan untuk peringkat. Permintaan bingkai lebih mirip dengan frame basis data jika jarak lebih kecil. Jika x dan y adalah vektor fitur 2D bingkai indeks database dan bingkai permintaan masing-masing. Setelah tabel 3 merangkum metode pengukuran jarak populer.

IV Isu Pada Penelitian Mendesign Bahasa Query

Bahasa query didasarkan pada konsep "indikator semantik" sedangkan sintaks menangkap pola dasar dalam persepsi manusia kategori semantik. Dibandingkan dengan metode lain dalam mengurangi "kesenjangan semantik", bahasa query relatif kurang dipahami dan layak untuk mendapatkan perhatian lebih besar.

Sebagai ukuran database indeks bingkai meningkat dengan cepat, kecepatan relatif merupakan faktor penting untuk dipertimbangkan. Frame data indeks Multidimensional Offline diperlukan.

Standar DBMS dalam menyimpan file Video

Membuat video pengambilan sebagai plug-in modul dalam DBMS yang ada juga akan memberikan dengan integrasi alam dengan fitur yang berasal dari sumber lain. Sebuah sistem CBIR Terpadu akan memerlukan integrasi kesamaan berbasis konten, interaksi dengan pengguna, visualisasi database video, manajemen database untuk pengambilan video yang relevan, dll

Pengujian indeks standar dan model evaluasi kinerja

Sebuah indeks database standar dengan set query dan model kinerja yang sesuai ukuran sangat membutuhkan untuk evaluasi kinerja yang obyektif sistem CBVR.

Pengujian Framework indeks standar dan model evaluasi kinerja

Sebuah database bingkai indeks standar dengan set query dan model kinerja yang sesuai ukuran sangat membutuhkan untuk evaluasi kinerja yang obyektif sistem CBVR.

V Kesimpulan

Meskipun kemajuan penelitian akademis di pengambilan video, telah ada dampak yang relatif kecil dari konten berbasis penelitian pengambilan video pada aplikasi komersial dengan beberapa pengecualian seperti segmentasi video. Memilih fitur yang mencerminkan kepentingan manusia riil tetap menjadi isu terbuka. Salah satu pendekatan yang menjanjikan adalah dengan menggunakan Meta belajar untuk secara otomatis memilih atau menggabungkan fitur yang sesuai. Kemungkinan lain adalah untuk mengembangkan antarmuka pengguna interaktif berbasis visual menafsirkan data menggunakan ukuran yang dipilih untuk membantu proses seleksi. Percobaan yang luas membandingkan hasil fitur dengan kepentingan manusia yang sebenarnya dapat digunakan sebagai metode lain analisis. Karena interaksi pengguna sangat diperlukan dalam penentuan fitur, itu diinginkan untuk mengembangkan teori-teori baru, metode, dan alat-alat untuk memfasilitasi Keterlibatan pengguna.

Daftar Pustaka

[1] E. Sánchez-Nielsen et al. “A semantic parliamentary multimedia approach for retrieval of video clips with content understanding”. Multimedia Systems , Springer 2019

[2] N. Spolaôr, H.D. Lee, W.S.R. Takaki et al.” A systematic review on content-based video retrieval”. Engineering Applications of Artificial Intelligence 90 (2020) 103557

[3] Bianconi et al.”Theoretical and experimental comparison of different approaches for color texture classification ”. Journal of Electronic Imaging . 2011

[4] K Zhenzhong et al.”Integrating Multi-Level Deep Learning and Concept Ontology for Large-Scale Visual Recognition”. Pattern Recognition 2018.

[5] N Giang et al. “Machine Learning and Deep Learning frameworks and libraries for large-scale data mining: a survey”. Artificial Intelligence Review Springer 2019

[6] N Umara et al. “A machine learning-based FinTech cyber threat attribution framework using high-level indicators of compromise”. Future Generation Computer Systems 96 (2019 ) 227–242 Elsevier

analysis” . Visual Communication 2019

[8] Leslie F. Sikos. “Ontology-Based Structured Video Annotation for Content-Based Video Retrieval via Spatiotemporal Reasoning”. , Intelligent Systems Reference Library Springer 2018 [9] Awad George et al. “Benchmarking Video Activity Detection, Video Captioning and Matching,

Video Storytelling Linking and Video Search” TRECVID 2018

[10] Yoo, Gilsang et al. “Implementation of convergence P2P information retrieval system from captured video frames”. Special Issue on Convergence P2P Cloud Computing Springer 2017 [11] C. Palm, “Color texture classification by integrative co-occurrence matrices,” Pattern Recogn.

37, 965–976 (2004).

[12] Lelescu, D., Schonfeld, D., 2001. Video skimming and summarization based on principal component analysis. In: Al-Shaer, E.S., Pacifici, G. (Eds.), Management of Multimedia on the Internet. In: Lecture Notes in Computer Science, vol. 2216, Springer Berlin Heidelberg, Berlin, Germany, pp. 128–141.

[13] Gargi, U., Kasturi, R., Strayer, S.H., 2000. Performance characterization of videoshot-change detection methods. IEEE Trans. Circuits Syst. Video Technol. 10 (1), 1–13. Ghosal, K., N

[14] Yang, H., Meinel, C., 2014. Content based lecture video retrieval using speech and video text

information. IEEE Trans. Learn. Technol. 7 (2), 142–154

[15] Sikos, L.: RDF-powered semantic video annotation tools with concept mapping to Linked Data for next-generation video indexing: a comprehensive review. Multimedia Tools Appl. 76, 14437– 14460 (2017)

[16] Cedillo-Hernandez M, Garcia-Ugalde FJ, Cedillo-Hernandez A, Nakano-Miyatake M, Perez-Meana H (2014) Content based video Retrival system for Mexican culture heritage based on object matching and local-global descriptors. 2014 international conference on mechatronics, electronics and automotive engineering, pp 38-43