RESEARCH IN ROBOTIC AND INTELLIGENCE SYSTEM

MOTIVATION FOR RESEARCH AND PUBLICATION

RESEARCH IN ROBOTIC AND INTELLIGENCE SYSTEM

Prof Wisnu Jatmiko et. al.

TELKOM UNIVERSITY Bandung - 2019

Prof. Dr. Eng. Wisnu Jatmiko

You can find me at staff.ui.ac.id/wisnuj

PROFIL PROF. DR. ENG. WISNU JATMIKO, S.T., M.KOM.

3

PROFIL SCOPUS

4

PROFIL GOOGLE SCHOLAR

5

PROFIL SINTA

6

7

88

KARYA BUKU

Research Activities

Intelligence

System Biomedical

System

Traffic Control System Autonomous Robot

Smart Cardio Device Ultrasonography (USG)

Embryos Quality Monitoring Gas Leak Detection

Communication Recovery Unmanned Aerial Vehicle

Tele-health Monitoring etc.

Automation for A Better Life

Intelligent System

TRAFFIC LIGHTS CONTROL SYSTEM

LALU LINTAS ^YANG

CERDAS ^DAN ADAPTIF

Arsitektur Sistem Pengaturan Lalu Lintas Adaptif

Input Data Engine Traffic Signal

Perhitungan

Kendaraan

Pada Setiap

Ruas Jalan

Simulasi

Pengaturan

Lampu Lalu Lintas

pada Peta

Sistem Pengaturan Lalu Lintas Adaptif

Daylight Condition

References:

Background Subtraction Using Gaussian Mixture Model Enhanced by Hole Filling Algorithm (GMMHF), Adi Nurhadiyatna, Wisnu Jatmiko, Benny Hardjono, Ari Wibisono, Ibnu Sina, and Petrus Mursanto, 2013 IEEE International Conference on Systems, Man, and Cybernetics

Sistem Pengaturan Lalu Lintas Adaptif

Night Condition

References:

Vehicle Counting and Speed Measurement Using Headlight Detection, I. Sina, A. Wibisono, A.

Nurhadiyatna, B. Hardjono,, W. Jatmiko, and P. Mursanto, 2013 IEEE International Conference on Systems, Man, and Cybernetics, ICACSIS 2013

Traffic big data prediction and visualization

Traffic Intelligence Analysis

Traffic big data prediction and visualization using Fast Incremental Model Trees-Drift Detection (FIMT-DD)

Ari Wibisono, Wisnu Jatmiko, Hanief Arief Wisesa, Benny Hardjono, Petrus Mursanto, Knowledge-Based Systems, Volume 93, 2016, Pages 33-46, ISSN 0950-7051

Self-organizing urban traffic control architecture with swarm-self organizing map in jakarta: signal control system and simulator

Jatmiko, W. Azurat, A.;, Wibowo, A., Marihot, H., Wicaksana, M., Takagawa, I., Sekiyama, K., Fukuda, T, International Journal on Smart Sensing & Intelligent Systems . Sep2010, Vol. 3 Issue 3, p443-465. 24p. 3

Traffic big data prediction and

visualization

Autonomous Robot

Robot Al-Fath Fasilkom UI

Implementasi Robot Pendeteksi Kebocoran

Gas

Communication Recovery

Pemulihan Jaringan

Informasi dan Komunikasi secara Adaptif

pada Daerah Bencana Alam

1

2 3

Gempa dan Gunung Meletus

Pemulihan ^Jaringan Informasi ^dan Komunikasi

This Picture under Creative Common Licensed reserved by Danny Choo

Unmanned Aerial Vehicle

Eksplorasi dan Pengumpulan Informasi

This Picture under Creative Common Licensed reserved by Danny Choo

Formasi

UAV

untuk Mengawasi

Wilayah yang Luas

Be a doctor for yourself

Biomedical System

Berdasarkan database PERKI (Perhimpunan Dokter Spesialis Kardiovaskular Indonesia)

source: www.inaheart.org(2011)

4 9

4

5 2

5

2

9 30 142

16 4

60 1

4

2

6 1

1 1 5

4

2

Another Problem to be Solved

Total populasi Indonesia : kardiologis = 1 :

665.730

±356 kardiologis

diseluruh Indonesia

Jantung adalah otot yang bekerja secara kontinu

memompa darah. Tiap detak jantung merupakan gerakan otot yang dipicu oleh sinyal listrik. Aktifitas listrik pada jantung dikenal sebagai

electrocardiogram, ECG atau EKG

Sistem Konduksi Listrik pada Jantung

Tiap detak jantung diawali oleh sinyal listrik yang berasal dari sinoatrial node atau SA node yang terletak pada atrium kanan

Sinoatrial Node

Saat atrium kanan telah

dipenuhi darah, sinyal listrik akan tersebar pada sel-sel di atrium kiri dan kanan jantung.

Sinyal ini menyebabkan atrium berkontraksi.

Kontraksi Atrium

Kontraksi atrium

menyebabkan darah

membuka katup (tricuspid dan mitral) dan mengalir ke

ventricle. Pada EKG kontraksi atrium ditandai oleh

gelombang P

Gelombang P

Saat sinyal listrik tiba di atrioventricular (AV) node, sinyal ini melambat untuk memberi kesempatan pada ventricel kiri dan kanan terisi penuh oleh darah. Interval ini pada EKG direpresentasikan sebagai segmen garis antara gelombang P dan Q

Segmen PQ

Selanjutnya sinyal listrik

bergerak ke bundle of His yang terletak pada ventricle. Dari sini sinyal terbagi ke cabang kanan dan kiri dari bundle (right/ left bundle branch) Pada EKG direpresentasikan sebagai gelombang Q

Gelombang Q

Sinyal listrik meninggalkan cabang kanan dan kiri dari

bundle melalui Purkinje fibers yang terhubung dengan sel-sel pada dinding ventricle dari

jantung. Sinyal tersebut

segera tersebar pada dinding ventricle

Gelombang Q (cont.)

Saat sinyal listrik tersebar

pada dinding ventricle, kedua ventricle akan berkontraksi, namun tidak pada saat yang sama. Ventricle kiri akan

berkontraksi sesaat sebelum ventricle kanan

Kontraksi Ventricle

Kontraksi dari ventricle kiri direpresentasikan sebagai gelombang R pada EKG

Gelombang R

Gelombang S menandai terjadinya kontraksi pada ventricle kanan

Gelombang S

Kontraksi ventricle kanan akan memompa darah ke paru-paru melalui pulmonary valve,

sedangkan kontraksi dari

ventricle kiri akan memompa darah ke seluruh tubuh

melalui aortic valve

Gelombang S (cont.)

Selanjutnya dinding ventricle akan kembali mengembang (relax) dan menunggu sinyal berikutnya. Pada EKG,

gelombang T menandai saat ventricle mengembang.

Gelombang T

http://www.nhlbi.nih.gov/health/health-topics/topics/hhw/electrical.html

Apa itu EKG?

Keseluruhan Sistem

http://www.isgtw.org/feature/don%E2%80%99t-stop-beat

Smart Phone

Tablet

or

GSM/GPRS WCDMA/3G

Mobile phone records and store ECG signal wirelessly via Bluetooth

Smart ECG device reads the ECG signal and display to the LCD

Monitoring ^mandiri

oleh pasien

The measured ECG is transferred securely from the mobile phone to the doctor by using mobile phone network

Monitoring ^{jarak jauh}

oleh dokter spesialis jantung

Integrasi ^dengan

Berbagai

Perangkat

Sistem Terintegrasi ponsel cerdas

berbasis Android Sistem Terintegrasi Perangkat keras

(Hardware)

Sistem Terintegrasi Perangkat keras (hardware)

dan PC (desktop)

Video

Eksperimen

E-Cardio Demo

How about our future generation?

Menuju Ibu dan Anak Indonesia yang Sehat

Lahir Cacat

Angka Kematian Ibu (AKI) 102/100.00 KH

Angka Kematian Bayi (AKB) 25/1000 KH

Survey Tahun 2010

Target 2015

United Nations Millennium Development Goals (MDGs)

Source : SDKI 2010

Angka Kematian Bayi (AKB) 15/1000 KH Angka Kematian

Ibu (AKI) 25/100.000 KH

Menurunkan angka lahir cacat

KEBUTUHAN MASYARAKAT INDONESIA

Pengembangan

teknologi nano untuk memperkecil ukuran alat USG (portable)

Dapat melakukan diagnosa awal

Memungkinkan dokter spesialis memantau

pasiennya secara jarak jauh

Teknologi yang dapat meningkatkan

penanganan medis terhadap pasien

SOLUSI KAMI

Sensor

Sistem Informasi

• Sistem pendeteksi dan pengukuran biometri janin otomatis

• Pendeteksian dini kelainan pada janin

Fokus Penelitian

Smart Device

TELE-HEALTH FOR ULTRASONOGRAPHY (USG)

Sistem Telehealth Terintegrasi

PROTOTYPE EKG - USG

COMPRESSION

39

ECG

compression

Analysis ECG Recording

ECG Transmission

1 Patient per day

= 12 (bit) x 1000 (Hz) x 12 (lead) x

3600(second) x 24(hour) = 1.5 Gigabyte

Big ECG Data

INTEGRATED TELE-HEALTH: PROGRESS

• Consortium:

biomedindo.org

40

TKT 9 TKT 8 TKT 7 TKT 6 TKT 5 TKT 4 TKT 3 TKT 2

TKT 1 ^Science _Article Prototype &

Copyright Product

International Journal

International

Conference Book

PROFILE KONSORSIUM

Solusi247

Samsung R&D Institute

Kemkominfo

Universitas Indonesia

WEBSITE KONSORSIUM :

BIOMEDINDO.ORG

SISTEM PENGENALAN BAYI DAN BALITA MENGGUNAKAN SIDIK JARI UNTUK

MENINGKATKAN PROSES VAKSINASI DI INDONESIA

RESEARCH METHOD

44

The system architecture for telebiometric system for infant and toddler fingerprint recognition

RESEARCH METHOD

45

Examples of the feature extraction results using exemplar fingerprint image

Sistem Pemantauan

Konsentrasi CO ₂

Smart Environment

(Focusing on Green House Gas Monitoring, CO2)

Proposed CO² Monitoring System

Smart Environment

(Focusing on Green House Gas Monitoring, CO2)

Proposed CO² Analysis System

• Big sensor-generated data streaming using Kafka and Impala for data storage in Wireless Sensor Network for CO2 monitoring, Wiska, R., Habibie, N., Wibisono, A., Nugroho, W.S., Mursanto, P., IWBIS 2016, art. no.

7872896, pp. 97-101.

• Sensor node for data sampling and correlation analysis of CO2

concentration with air humidity, temperature, and light intensity , Arshad, A., Habibie, N., Wibisono, A., Mursanto, P., Nugroho, W.S., Jatmiko, W.,, ICACSIS 2016, art. no. 7872793, pp. 111-116.

• Comparative study of lightweight secure multiroute communication system in low cost wireless sensor network for CO2 monitoring , Habibie, N., Wiska, R., Nugraha, A.M., -

Wibisono, A., Mursanto, P., Nugroho, W.S., Yazid, S., IWBIS 2016, pp. 145- 150.

References

Smart Environment

(Focusing on Green House Gas Monitoring, CO2)

• Tax Regulations – Building that emits higher concentration of CO2 will pay more tax compared to those who emits less.

• Climate Change Monitoring– In the long term, this system could be used to predict long-term climate conditions of a certain area.

• Adaptive Traffic – If the concentration of CO2 has exceeded a safe limit, the appropriate regulators could create a temporary regulation to prevent vehicles from entering the area.

• Citizen Wellbeing Monitoring–

Monitor the long-term effects of CO2 to the wellbeing of the local citizens to devise a mitigation strategy.

Proposed Usage Data Analysis

Big Data Framework (Hadoop Cluster)

Data Acquisition

Sensor node

Sink node

Sensor node

Sensor node Sensor node

Possible research as a complemented of current smart city implementation (1)

03/03/2019 51

Hasil implementasi sensor node

03/03/2019 52

Sensor node yang terkoneksi dengan Raspberry Pi

PENGEMBANGAN SWARM MOBILE ROBOT UNTUK PEMETAAN DAN PEMANTAUAN KONDISI TANAMAN DI AREA PERKEBUNAN DAN PERSAWAHAN

Latar Belakang

• Produk agrikultur menjadi komoditas utama Indonesia untuk ekspor

– Kelapa/Kelapa Sawit – Karet

– Kayu

Sepuluh kelompok hasil industri dengan nilai ekspor terbesar (sumber:

Kementerian Perindustrian RI, 2015)

Permasalahan dan Tantangan

• Tantangan pembangunan pertanian Indonesia 2015 – 2019 (Sumber : Rencana Strategis (RENSTRA) Pertanian 2015-2017 – Kementerian Pertanian - http://www.pertanian.go.id/file/RENSTRA_2015-2019.pdf ) :

• Perlu adanya peningkatan penggunaan teknologi tepat guna untuk agrikultur Indonesia

Perubahan Iklim Urbanisasi Persaingan Ekonomi Global

Metodologi Penelitian

Swarm Mobile Robot

Recursive State Estimation

Localization using Monte Carlo Localization

Simultaneous Localization and Mapping (SLAM)

Robot Path Planning Using Partially Observable Markov

Decision Process (POMDP)

Robot Navigation

Mapping Observation

Map Data - Field map - Plant coordinate - State of the plants - Environment data

Efficient Path Planning using POMDP

Execute Path (Patrol &

Monitoring)

Environment Monitoring Using Sensors Robot Navigation

Patrol & Maintenance

Action - Fertilizing - Pest Control - Sampling - Harvesting

•

Palm Oil Tree is Indonesia’s in agriculture[1] biggest export

•

Palm oil tree’s quality is sensitive to[2]

:• Weeds

• Nutrient level

•

Current condition : manual and traditional treatment

• Monitoring in huge area with manual labor is have low accuracy and

effectivity

• Solution : monitoring using mobile robots

•

Problem : development process using real robot is hard and too complex

Tree and Field Modeling

SLAM on Palm Oil Plant

SLAM on Apple Farm

End of Slides

Thank You...