Biometrik untuk identifikasi individu

29 September 2021. Biometrik untuk identifikasi individu Dr. Anto Satriyo Nugroho Pusat Unggulan Iptek (PUI) Biometrik Pusat Teknologi Informasi & Komunikasi Organisasi Riset Pengkajian & Penerapan Teknologi.

INSTANSI  Pusat Teknologi Informasi dan Komunikasi (PTIK), Organisasi Riset Pengkajian & Penerapan Teknologi, Badan Riset Inovasi Nasional. JABATAN / PROFESI . Perekayasa Madya IV-c. PENGALAMAN   .      Riset Malaria di Nusa Tenggara Timur.   Email : anto.satriyo@bppt.go.id Web : http://asnugroho.net Blog : http://asnugroho.wordpress.com. Penelitian di bidang Biometrik, Pengolahan Citra & Pengenalan Pola Ketua Indonesian Association for Pattern Recognition Wakil Indonesia (Governing Board Member) dalam International Association of Pattern Recognition Komite Teknis 35-01 Badan Standardisasi Nasional Konsultan Penelitian Puslitbang Mabes Polri (2015) Tim Teknis e-KTP tahun 2012 Tim Ahli BPPT untuk Teknologi Informasi Komite Pemilihan Umum 2009 Dosen di Institut Teknologi Indonesia, Swiss German University, UNS Surakarta, Univ. Al Azhar Indonesia Profesor Tamu Chukyo University Japan (2003-2007 ) Tim Indonesia dalam International Mathematics Olympiad (IMO XXX) di Braunschweig, Jerman Barat (1989). PENDIDIKAN . Electrical & Computer Engineering, Nagoya Institute of Technology, Japan (S1: 1995, S2: 2000, S3: 2003).

Agenda • Pemanfaatan biometrik untuk deduplikasi data penduduk pada program KTP elektronik • Manfaat data KTP-el • Pengujian biometrik untuk reader KTP elektronik di PTIK OR-PPT • Pemadanan wajah memakai KTP-elektronik • Tantangan Masa Depan. 3.

Agenda • Pemanfaatan biometrik untuk deduplikasi data penduduk pada program KTP elektronik • Manfaat data KTP-el • Pengujian biometrik untuk reader KTP elektronik di PTIK OR-PPT • Pemadanan wajah memakai KTP-elektronik • Tantangan Masa Depan. 4.

What is Biometrics ? Verifikasi atau identifikasi otomatis identitas seseorang dengan memakai karakteristik fisiologis (sidik jari, iris, wajah dsb.) atau perilaku (suara, gerak tubuh dsb). Physiological characteristic. Behavioral characteristic Source: Kevin Boyer lecture “Intro to Iris Biometrics”.

Authentication Methods Comparison Method. Examples. Characteristics. What you have ?. User ID, account, ID card, badge, key. • can be shared • can be duplicated • can be stolen/lost. What you know ?. Password, PIN, personal knowledge. • can be shared • can be forgotten • can be guessed. Who you are ?(biometrics). fingerprint, iris, face, palm vein. • can not be shared • can not be forgotten • can not be stolen/lost.

Fingerprint Recognition Milestones.

Iris Recognition Milestones.

Face Recognition Milestones.

Lima project biometric terbesar di dunia No.. Project Name. Biometrics traits. Scale. 1. US IDENT (US Visit). 2 fingers u/ residivis & org yg melanggar peraturan imigrasi. 120M. 2. EU-VIS (Visa Inf. System). 10 finger flat. 70M. 3. FBI IAFIS. 10 finger, rolled FP. 4. UID. 10 fingers, 2 iris + face. 600M. 5. KTP-el (e-KTP). 10 fingers, 2 iris + face. 172M. 78M (target: 120M).

Deduplication Flow KECAMATAN 21 Juli 2012. Database. Scheduler. Message Queue. Middleware. Enroller K. Biometrics Identification. DATA CENTER Database. • Multimodal biometrics data : 10 fingerprints + 2 irides + face are compared with all biometrics data stored in the national database to ensure the uniqueness • Proprietary template.

Identifikasi di Data Center KTP-el Kemendagri • Data pribadi saya dapat ditemukan dalam 39 detik pada Database Nasional hanya dengan memakai sidik jari. • Data tersebut direkam 9 hari sebelumnya di Karanganyar, Jawa Tengah (21 Juli 2012) • Pencarian dilakukan tanggal 30 Juli 2012, Data Center Dukcapil Kemendagri.

Agenda • Pemanfaatan biometrik untuk deduplikasi data penduduk pada program KTP elektronik • Manfaat data KTP-el • Pengujian biometrik untuk reader KTP elektronik di PTIK OR-PPT • Pemadanan wajah memakai KTP-elektronik • Tantangan Masa Depan. 13.

Manfaat Program KTP Elektronik 1. Negara memiliki data penduduk yang akurat yang dapat dimanfaatkan untuk forensik, pemilu, BPJS, vaksinasi dan berbagai keperluan lain 2. Penduduk memiliki kartu identitas berbasis biometric (KTP Elektronik) untuk layanan publik.

Identifikasi individu memakai data biometrik KTP-el • Polri memiliki peralatan yang disebut MAMBIS (Mobile Automated MultiBiometric Identification System) • 1 Polres Kota/Kabupaten memiliki 2 perangkat MAMBIS untuk mengidentifikasi korban kecelakaan, pembunuhan.

Identifikasi Jenazah memakai Data KTP-el. Mambis (Mobile Automated Multi- Biometric Identification System).

Manfaat Program KTP Elektronik 1. Negara memiliki data penduduk yang akurat yang dapat dimanfaatkan untuk forensik, pemilu, BPJS, vaksinasi dan berbagai keperluan lain 2. Penduduk memiliki kartu identitas berbasis biometric (KTP Elektronik) untuk layanan publik.

KTP-el : perekaman, deduplikasi, penerbitan, reader.

Card Issuance • If the deduplication result is unique, the card is issued, otherwise classified as duplicated identity. • Only two fingerprints data are stored in the KTP-el chip : left index finger & right index finger (default) • The minutiae information (template) of the finger is stored in ISO/IEC 19794-2 format to maintain interoperability with templates generated by the other algorithm.

NIST Report of AFIS Performance (15 Maret 2021). https://www.nist.gov/itl/iad/image-group/minutiae-interoperability-exchange-minex-iii.

NIST Report of AFIS Performance (15 Maret 2021). https://www.nist.gov/itl/iad/image-group/minutiae-interoperability-exchange-minex-iii.

Fingerprint Minutiae & SNI ISO/IEC 19794-2.

Multi-Factor Authentication. Start. Mutual Authentication. Authenticated ?. N card is not valid. Y. What you have ?. Biometric verification : chip vs finger N match ?. Y Display the data. the person is not the claimed identity Who you are ?.

Agenda • Pemanfaatan biometrik untuk deduplikasi data penduduk pada program KTP elektronik • Manfaat data KTP-el • Pengujian biometrik untuk reader KTP elektronik di PTIK OR-PPT • Pemadanan wajah memakai KTP-elektronik • Tantangan Masa Depan. 24.

Pengujian Komponen Biometrik Reader KTP-el Reader KTP-el harus diuji untuk memastikan spesifikasinya memenuhi persyaratan yang tertulis dalam Peraturan Mendagri No.34 Tahun 2014. SNI ISO/IEC 19794-2.

Pengujian Komponen Biometrik Reader KTP-el Permendagri No.76 tahun 2020 • Standar SNI ISO/IEC 19794-2 yang kami hasilkan dalam kegiatan di BSN telah diadopsi dan dimuat pada Permendagri No.76 tahun 2020. Permendagri ini menggantikan versi sebelumnya, yaitu permendagri no.34 tahun 2014 • Standar ini merupakan adopsi identik dari ISO/IEC 19794-2 dan dipakai untuk mengatur penulisan data minutiae sidik jari pada KTP-elektronik.

Layanan Teknologi untuk Klien Industri. • Sejak 2014, telah menyelesaikan pengujian Device Under Test untuk 33 klien • Pengujian dilakukan berdasar metode yang telah didaftarkan Hak Cipta-nya: No.000200698 dan No. 000182285.

Current Status of KTP-el Reader • used by 162 institutions (2025 readers) • Baintelkam Polri (929) • Korlantas (250) • BRI (127) • BPR Karya Jatnika (100) • BPJS (68) • BNP2TKI (25). http://www.dukcapil.kemendagri.go.id/detail/hindari-ktp-el-palsu-kemendagri-dorong-lembaga-pengguna-pakai-card-reader.

Pemanfaatan Reader KTP-el di Polri. https://oto.detik.com/berita/d-5497697/daftar-lengkap-biaya-bikin-sim-baru-dan-biaya-perpanjangansim.

Pemanfaatan Reader KTP-el di Polri.

Verifikasi Voter Pilkades di Jembrana (29 Juli 2013).

Agenda • Pemanfaatan biometrik untuk deduplikasi data penduduk pada program KTP elektronik • Manfaat data KTP-el • Pengujian biometrik untuk reader KTP elektronik di PTIK OR-PPT • Pemadanan wajah memakai KTP-elektronik • Tantangan Masa Depan. 32.

Kegiatan di Lab. Biometrik tahun 2021 • Sejak tahun 2020 mengembangkan pemadanan wajah memakai Open Source (ResNet-34), dimanfaatkan untuk lembaga pemerintahan • Pada tahun 2021, memodifikasi pemadanan wajah agar bisa dipakai untuk otentikasi memakai KTP elektronik  untuk : otentikasi aplikasi SPBE, layanan publik yang memerlukan otentikasi dengan data di KTP elektronik • Tantangan : – kualitas foto pada chip KTP elektronik – belum ada mutual authentication terhadap KTP-el – live detection belum ada.

Pemadanan Wajah antara 2 citra dengan kualitas berbeda 56. 70. Pemadanan wajah penduduk & data KTP-el memakai “ResNet-34”. 434. 510. KTP-el. Level 1 : Inter Pupillary Distance = 16 pixel. Smartphone dengan NFC (Near-Field Communication). Wajah pegawai/individu Level 3 : Inter Pupillary Distance = 70 pixel.

Data wajah dalam chip KTP elektronik. •. • •. Data Center Dukcapil. Chip KTP elektronik. Format. JPG. raw image. File Size. 59 KB (berbeda tiap foto). 1.7 KB (berbeda tiap foto). Ukuran citra. 480x600. 56x70. IPD. 136 pixel. 16 pixel. IPD/Width. 0.28. 0.29. Data wajah yang tersimpan dalam chip KTP elektronik memiliki kualitas berbeda dengan data asli Data asli yang tersimpan di Data Center : kualitas bagus, Inter-Pupillary Distance 136 pixel (level 3, IPD>75 pixel) Data tersimpan dalam chip KTP elektronik: kualitas tidak bagus, Inter-Pupillary Distance 16 pixel (level 1, IPD<30), karena ada ketentuan Permendagri bahwa data yg disimpan dalam chip KTP elektronik tidak boleh lebih dari 3 KB. 16 piksel. 56 piksel. 70 piksel.

Arsitektur Sistem : Model Pemadanan. dim: 480x600. dim: 150x150. dim: 128. Histogram Oriented Gradients Histograms of Oriented Gradients for Human Detection Navneet Dalal and Bill Triggs Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05) Residual Network ResNET-34 Deep residual learning for image recognition K. He, X. Zhang, S. Ren, and J. Sun arXiv preprint arXiv:1512.03385,2015.

Deep Residual Network (ResNet) • ResNet (Residual Network) dikembangkan oleh Microsoft pada tahun 2015 • "Deep Residual Learning for Image Recognition“, He, Kaiming; Zhang, Xiangyu; Ren, Shaoqing; Sun, Jian (2015-12-10), arXiv:1512.03385.

Pretrained Model ResNet-34 • Mengambil model yang dikembangkan oleh Davis King (http://blog.dlib.net/2017/02/high-qualityface-recognition-with-deep.html) • Pretrained model dilatih untuk mengenali wajah. Evaluasi dengan dataset Labeled Faces in the Wild (LFW: http://vis-www.cs.umass.edu/lfw/) menghasilkan akurasi 99.38% • ResNet memiliki 29 layer dimodifikasi dari ResNet-34 dengan beberapa layer yang dihapus dan jumlah filter tiap layer direduksi 50%. • ResNet tersebut dilatih dengan kira-kira 3 juta citra wajah, setelah difilter diperoleh 7485 identitas. • Mulai dari inisialisasi network, model dilatih untuk membentuk non-overlapping ball tiap identitas dengan radius 0.6 0.6. A. 0.6. B. 0.6. C.

Performance Evaluation : Receiver Operating Characteristics. FRR : 10.08% ketika FAR : 0.01%.

Agenda • Pemanfaatan biometrik untuk deduplikasi data penduduk pada program KTP elektronik • Manfaat data KTP-el • Pengujian biometrik untuk reader KTP elektronik di PTIK OR-PPT • Pemadanan wajah memakai KTP-elektronik • Tantangan Masa Depan. 40.

Kegagalan pada sistem biometrik. The fish-bone model of fingerprint system illustrates the cause-effect relationships of system failures as identified by Jain, Ross, and Pankanti (2006) and Jain, Nandakumar, and Nagar (2008)..

Kegagalan pada sistem biometric (KTP-el Reader).

Tantangan masa depan : modifikasi informasi biometrik A fake fingerprint spoof created at Michigan State University that possesses the optical, electrical, and mechanical properties of a real finger, aimed to test fingerprint scanners in order to make challenge and improve their fingerprint spoofing detection ability (https://www.bayometric.com/spoofi ng-fingerprint-scanner-and-spoofdetection/).

Tantangan masa depan : modifikasi informasi biometrik. Clauvino da Silva memakai topeng plastik menyaru sebagai anaknya (https://www.youtube.com/watch?v=NHl5nzuPq28).

Penutup • Pemanfaatan biometrik semakin tinggi : fitur unlocking pada smartphone, pengenalan foto pada social media, attendance. • Permendagri No.76 tahun 2020 membuka peluang pemakaian wajah untuk verifikasi KTP-el (selama ini hanya boleh memakai sidik jari) • Lab. Biometrik telah mengkaji sistem verifikasi penduduk memakai KTP elektronik dan menyiapkan layanan pengujian pemakaian wajah memakai KTP elektronik bagi industri dalam negeri. • Tantangan • Pemadanan wajah memakai KTP elektronik mengalami kendala karena perbedaan kualitas citra wajah : level 1 vs level 3 • Mengatasi faktor ageing pada biometrics (face, fingerprint) • Mengetahui asli tidaknya informasi biometrics (liveness detection) • Mengetahui adanya perubahan pada informasi biometrik : fake face, spoofing attack.