INFERENSI BAYESIAN NETWORK UNTUK JARINGAN
REGULATORI GENETIK
TESIS
Karya tulis sebagai salah satu syarat
untuk memperoleh gelar Magister dari
Institut Teknologi Bandung
Oleh
TANTRI SARASWATI
NIM : 23507008
Program Studi Magister Informatika
INSTITUT TEKNOLOGI BANDUNG
2009
INFERENSI BAYESIAN NETWORK UNTUK JARINGAN
REGULATORI GENETIK
Oleh
TANTRI SARASWATI
NIM : 23507008
Program Studi Magister Informatika
Institut Teknologi Bandung
Telah disetujui dan disahkan sebagai laporan tesis
di Bandung, pada tanggal Maret 2009
Tim Pembimbing
Pembimbing I
Pembimbing II
Dra. Harlili, M.Sc
Henny Yusnita Zubir, B.S, M.T
ABSTRAK
INFERENSI BAYESIAN NETWORK UNTUK JARINGAN
REGULATORI GENETIK
Oleh
TANTRI SARASWATI
NIM : 23507008
Program Studi Magister Informatika
Pada Tesis ini diimplementasikan teknik inferensi Bayesian network untuk jaringan regulatori genetik. Jaringan regulatori genetik merupakan suatu jaringan yang menggambarkan relasi-relasi regulasi yang ada antar gen dalam suatu sel. Relasi regulasi dari suatu gen ke gen yang lain menunjukkan adanya pengaruh gen tersebut terhadap level ekspresi gen yang lain. Keseluruhan relasi regulasi yang ada dalam sel menentukan struktur dan fungsi sel.
Apabila terdapat suatu model jaringan regulatori genetik, kondisi sel dapat disimulasikan untuk mengetahui bagaimana pengaruh kondisi sel tertentu terhadap level ekspresi berbagai gen yang terlibat didalamnya. Melalui model jaringan regulatori genetik, dapat dipelajari pula bagaimana suatu sel membentuk fungsinya. Secara umum, pembangunan model jaringan regulatori genetik membantu meningkatkan pemahaman mengenai jaringan regulatori genetik dan dapat mendukung riset selanjutnya di bidang biologi molekuler.
Bayesian network merupakan salah satu metode yang banyak digunakan untuk melakukan pemodelan jaringan regulatori genetik. Kelebihan dari Bayesian network adalah metode ini dapat merepresentasikan model sebagai model grafis sehingga lebih mudah dipahami. Selain itu, pada saat ini, belum dimungkinkan diketahuinya level ekspresi setiap gen yang ada dalam sel pada saat observasi. Bayesian network dapat mengakomodasi ketidaklengkapan hasil observasi ini sehingga simulasi dapat tetap dilakukan. Pada jaringan regulatori genetik, terdapat pula faktor-faktor minor lain yang terlibat seperti suhu, kelembaban, dan adanya zat lain dalam sel. Bila faktor ini dilibatkan dalam pemodelan dan simulasi, model menjadi sangat rumit. Selain itu, informasi yang dibutuhkan untuk melakukan pemodelan dan simulasi juga sangat banyak. Dengan menggunakan Bayesian network, hal ini dapat diatasi pada saat simulasi dengan tidak menganggap faktor-faktor minor tersebut sebagai parameter inferensi.
Proses pemodelan dan simulasi pada jaringan regulatori genetik dapat diselesaikan dengan pendekatan sistem berbasis pengetahuan. Prediksi level ekspresi gen dari suatu kondisi sel dapat diperoleh melalui inferensi berdasarkan pengetahuan berupa jaringan regulatori genetik. Telah terdapat suatu model jaringan regulatori genetik yang dapat digunakan sebagai sumber pengetahuan untuk task inferensi. Model inilah yang digunakan untuk melakukan inferensi pada Tesis. Model ini terdiri dari struktur jaringan
regulatori genetik beserta nilai probabilitas kemungkinan level ekspresi gen berdasarkan relasi regulasi yang dimilikinya.
Dalam pekerjaan Tesis, setelah dilakukan tinjauan pustaka dan studi literatur, dilakukan analisis proses berdasarkan input dan output sistem untuk kemudian menentukan arsitektur umum sistem. Karena permasalahan diselesaikan dengan pendekatan sistem berbasis pengetahuan, dilakukan analisis untuk menentukan kelas masalah dan kelas pemecahan masalah. Berdasarkan analisis proses, diketahui bahwa model harus disimpan ke dalam basis data untuk efisiensi proses. Oleh karena itu, selanjutnya dilakukan analisis penyimpanan model ke basis data. Analisis dilanjutkan dengan analisis proses representasi pengetahuan yang ada dalam model ke dalam representasi Bayesian network. Setelah itu, dilakukan analisis teknik dan algoritma inferensi sesuai dengan karakteristik ranah permasalahan. Kemudian, dilakukan analisis kebutuhan dan perancangan perangkat lunak. Setelah proses analisis dan perancangan, dilakukan implementasi sistem dan pengujian untuk kemudian menarik kesimpulan.
Dari hasil analisis proses, didefinisikan dua kelas proses dalam sistem yaitu proses yang dilakukan secara offline dan online. Pada proses offline, dilakukan proses penyimpanan model ke basis data dan proses representasi pengetahuan. Proses representasi pengetahuan terdiri dari rekonstruksi Bayesian network dari model dan penyimpanan Bayesian network tersebut ke dalam file untuk menghindari akses berulang kali terhadap basis data. Proses online melakukan inferensi untuk memprediksi level ekspresi gen berdasarkan evidences kondisi sel masukan pengguna. Berdasarkan analisis proses, diperoleh arsitektur umum sistem yang terdiri dari lima komponen utama yaitu model, Bayesian network generator, basis pengetahuan, inference engine, dan user interface. Permasalahan prediksi level ekspresi gen menurut Hayes-Roth termasuk dalam kelas masalah prediction. Sedangkan, menurut Clancey, permasalahan ini dapat digolongkan dalam kelas masalah interpret, khususnya predict. Kelas pemecahan masalah untuk ranah permasalahan ini adalah classification.
Proses rekonstruksi Bayesian network dilakukan berdasarkan kemiripan karakteristik antara elemen-elemen Bayesian network dengan jaringan regulatori genetik. Gen pada jaringan regulatori genetik menjadi simpul pada Bayesian network. Sedangkan relasi regulasi berkorespondensi dengan relasi antar simpul pada Bayesian network. Nilai probabilitas level ekspresi gen berdasarkan relasi regulasinya berkorespondensi dengan conditional probability table untuk setiap simpul. Untuk mengakomodasi relasi siklik, rekonstruksi dilakukan dengan membentuk suatu Bayesian network besar yang dapat dilihat sebagai hasil unrolling dynamic Bayesian network untuk dua time slice. Dengan demikian, untuk sejumlah n gen dan m relasi regulasi, diperoleh 2n simpul dan paling sedikit 2m-n relasi dalam Bayesian network-nya.
Berdasarkan kompleksitas ranah permasalahan, teknik inferensi yang dipilih adalah teknik approximate inference. Sedangkan dari hasil analisis, diperoleh dua algoritma yang memberikan performansi paling baik yaitu likelihood weighting dan Markov Chain Monte Carlo. Namun, dari kedua algoritma ini belum dapat ditentukan algoritma mana yang memberikan performansi paling baik. Dari hasil pengujian, diketahui bahwa teknik exact inference memang tidak dapat digunakan untuk ranah permasalahan ini karena kebutuhan memori yang meningkat secara eksponensial seiring dengan pertambahan gen. Dari proses pengujian, diketahui pula bahwa algoritma likelihood weighting memberikan performansi yang lebih baik dibandingkan dengan algoritma Markov Chain Monte Carlo baik dari sisi kebutuhan waktu dan memori maupun kestabilan dan kedekatan distribusi probabilitas yang dihasilkan dengan distribusi probabilitas sebenarnya.
Kata Kunci: inferensi, Bayesian network, jaringan regulatori genetik, likelihood
ABSTRACT
BAYESIAN NETWORK INFERENCE FOR GENETIC
REGULATORY NETWORK
Author
TANTRI SARASWATI
Student ID : 23507008
Master Program of Informatics
This thesis implements Bayesian network inference technique for genetic regulatory network. Genetic regulatory network depicts regulation between genes inside a cell. A gene regulation shows gene influence to expression level of another gene. These regulations perform cell structure and function altogether.
Using a genetic regulatory network model, cell condition can be simulated to understand how a particular cell condition influences expression level of genes inside the cell. From the model, it also can be learned how a cell forms its function. Generally, development of a genetic regulatory network model will converge to an increasing understanding about genetic regulatory network. The model can also be used to support other molecular biology research.
Bayesian network is a promising method that is used to model genetic regulatory network. This method represents the model as a graphical model so that it is easier to understand. In addition, currently, it is impossible to measure expression level of every gene in a cell from observation. Bayesian network can accommodate this incompleteness of observation result to keep the simulation running. In genetic regulatory network, there are also many minor factors such as temperature, humidity, and the existence of particular substances. If these factors are involved in the modeling and simulation process, the resulting model will be very complex. Moreover, there will be large amount of information needed to do the modeling and simulation. Using Bayesian network, this problem can be solved by not considering those minor factors as inference’s parameter. The modeling and simulation of genetic regulatory network can be solved using knowledge based system approach. The prediction of gene expression level based on particular cell condition is obtained from knowledge about gene regulatory network. There exists a probabilistic model that contains knowledge about gene regulatory network. Therefore, this probabilistic model can be used as a knowledge base for inference task. In this thesis, knowledge that is used to predict gene expression level is obtained from the probabilistic model. The probabilistic model contains structure of gene regulatory network and the probability of gene expression level based on its regulation. In this thesis, after completing the literature study, process analysis based on system input and output is performed to define system general architecture. Since the problem is solved using knowledge based system approach, analysis dealing with the problem and
solution class is also performed. Based on the process analysis, it is understood that the probabilistic model has to be stored in a database for process efficiency. Therefore, analysis related with the storing process is performed further. The analysis process is continued with analyzing knowledge representation process from probabilistic model to construct a Bayesian network representation. Following is the analysis of inference technique and algorithm that is implemented based on domain characteristic. After software analysis and design process, the design is then implemented and tested to conclude overall system performance.
From the process analysis, two class of process is defined, offline and online process. In offline process, the probabilistic model is stored in database and genetic regulatory network knowledge is represented. Knowledge representation process consists of Bayesian network reconstruction from probabilistic model and creation of a file containing information about the network. This file is created to avoid frequent access to database. In online process, inference task is performed to predict gene expression level based on cell condition evidences inputted by user. From the analysis process, it is also acquired system general architecture that consists of five main components, probabilistic model, Bayesian network generator, knowledge base, inference engine, and user interface. The problem of predicting gene expression level, according to Hayes-Roth problem classification, is prediction problem. Whereas, according to Clancey problem classification, it belongs to interpret class, specifically predict class. Solution for this problem is included to classification class.
Bayesian network reconstruction process is performed based on characteristic similarity between Bayesian network elements and genetic regulatory network. Gene in genetic regulatory network is represented as node in Bayesian network. Relation between nodes in the Bayesian network represents gene regulation in genetic regulatory network. Probability of gene expression level based on gene regulation corresponds with conditional probability table in Bayesian network node. To accommodate cyclic relation, reconstruction is performed by creating a large Bayesian network that can be viewed as a result of unrolling a dynamic Bayesian network for two time slices. Therefore, for n genes and m gene regulations, the reconstructed Bayesian network will contains 2n nodes and at least 2m-n relations.
Based on domain complexity, approximate inference is chosen for the inference technique. From analysis process, two approximate inference algorithm is acquired, likelihood weighting and Markov Chain Monte Carlo. Based on the analysis, these two algorithms have better performance than other approximate inference algorithms. However, it can not be concluded which from the two algorithms that gives better performance for gene regulatory network domain particularly. From the testing process, it is proven that the hypothesis that exact inference technique can not be used for gene regulatory network domain is true. This technique has space complexity that is increasing exponentially with the increase of gene amount involved. The testing result also shows that the performance of likelihood weighting algorithm exceeds Markov Chain Monte Carlo either from the complexity or the stability and quality of probability distribution approximation compared with the actual probability distribution.
Keywords: inference, Bayesian network, gene regulatory network, likelihood weighting, Markov Chain Monte Carlo.
PEDOMAN PENGGUNAAN TESIS
Tesis S2 yang tidak dipublikasikan terdaftar dan tersedia di Perpustakaan Institut
Teknologi Bandung, dan terbuka untuk umum dengan ketentuan bahwa hak cipta
ada pada penulis dengan mengikuti aturan HaKI yang berlaku di Institut
Teknologi Bandung. Referensi kepustakaan diperkenankan dicatat, tetapi
pengutipan atau peringkasan hanya dapat dilakukan seizin pengarang dan harus
disertai dengan kebiasaan ilmiah untuk menyebutkan sumbernya.
Memperbanyak atau menerbitkan sebagian atau seluruh tesis haruslah seizin
Direktur Program Pascasarjana, Institut Teknologi Bandung.
Untuk Papa dan Mama yang sudah mengijinkan anak panah ini menentukan arahnya sendiri
KATA PENGANTAR
Syukur pada Tuhan Yang Maha Kuasa, Tesis dengan judul "Inferensi Bayesian Network untuk Jaringan Regulatori Genetik" ini dapat penulis selesaikan. Penulis menyampaikan terima kasih kepada:
1. Dra. Harlili, M.Sc dan Henny Yusnita Zubir, B.S, M.T selaku pembimbing, untuk kesediaan dan kesabaran dalam membagi ilmu, serta untuk kepercayaan yang selalu diberikan kepada penulis.
2. Masayu Leylia Khodra, S.T, M.T, Dr. Eng. Ayu Purwarianti, S.T, M.T, dan Dr. Nur Ulfa Maulidevi, S.T, M.Sc selaku penguji, atas saran-saran yang diberikan selama pelaksanaan Tesis ini, juga untuk dukungan, perhatian, dan kesempatan yang telah diberikan.
3. Dr. Eng. Farid Wazdi (Alm.) dan Dr. Oerip S. Imam Santoso, M.Sc, selaku dosen wali akademik, atas bimbingannya selama penulis menempuh pendidikan magister di program studi Magister Informatika.
4. Institut Teknologi Bandung, atas beasiswa yang telah diberikan selama penulis menempuh pendidikan magister di program studi Magister Informatika.
5. Segenap staf Program Studi Teknik Informatika : Pak Ade, mBak Nur, Pak Maman, Pak Wawan, dan Bu Suti, atas segala dukungan dan bantuannya.
6. Mama, Papa, mBak Astri, Eyang, Oom Piet, dan mBak Dar atas doa restu, kepercayaan, dan pengertiannya, juga untuk kasih sayang yang selalu diberikan kepada penulis.
7. Kun, yang selalu bisa membuat penulis tertawa dan mensyukuri hidup, seperti apapun keadaannya.
8. Rias, Arif, Mas Agung, Aryo, dan Bang Freddy atas segenap perhatian dan kasih sayang yang selalu diberikan.
9. Rekan-rekan mahasiswa Program Magister Informatika angkatan 2007, mBak Rosa, mBak Naim, mBak Mara, Nirma, Mas JF, Mas Lukman, Mas Husni, dan Ali untuk suasana belajar yang sangat menyenangkan .
Meskipun masih sangat jauh dari sempurna, penulis berharap tulisan ini dapat memberikan manfaat, terutama bagi pelaksanaan penelitian sejenis selanjutnya di masa-masa mendatang.
DAFTAR ISI
LEMBAR PENGESAHAN ... i
ABSTRAK ... ii
ABSTRACT ... iv
PEDOMAN PENGGUNAAN TESIS ... vi
KATA PENGANTAR... viii
DAFTAR ISI... ix
DAFTAR LAMPIRAN ... xiii
DAFTAR GAMBAR... xiv
DAFTAR TABEL ... xvi
DAFTAR PERSAMAAN... xvii
Bab I PENDAHULUAN ...I-1
1.1 Latar Belakang ...I-11.2 Rumusan Masalah ...I-3
1.3 Tujuan...I-4
1.4 Batasan Masalah...I-4
1.5 Metodologi ...I-4
1.6 Kontribusi...I-5
1.7 Sistematika Pembahasan ...I-5
Bab II TINJAUAN PUSTAKA ... II-1
2.1 Sistem Berbasis Pengetahuan ... II-12.2 Penalaran ... II-3
2.2.1 Pembelajaran ... II-4
2.2.2 Inferensi... II-4
2.3 Bayesian Network... II-5
2.3.2 Teorema Bayes... II-6
2.3.3 Relasi Independensi dan Conditional Independence... II-7
2.3.4 Konsep Bayesian Network ... II-8
2.3.5 Dynamic Bayesian Network ... II-9
2.4 Inferensi pada Bayesian Network ... II-10
2.4.1 Exact Inference pada Bayesian Network ... II-10
2.4.1.1 Inferensi dengan Enumerasi... II-10
2.4.1.2 Algoritma Variable Elimination ... II-11
2.4.1.3 Algoritma Clustering ... II-12
2.4.2 Approximate Inference pada Bayesian Network ... II-13
2.4.2.1 Metode Direct Sampling ... II-13
2.4.2.2 Rejection Sampling ... II-15
2.4.2.3 Likelihood Weighting ... II-15
2.4.2.4 Markov Chain Monte Carlo... II-16
2.5 Jaringan Regulatori Genetik ... II-18
2.5.1 Konsep Dasar ... II-18
2.5.2 Representasi ... II-19
2.6 Penelitian Terkait ... II-20
Bab III ANALISIS DAN PERANCANGAN ... III-1
3.1 Analisis Proses ... III-13.2 Arsitektur Sistem ... III-4
3.3 Kelas Masalah dan Pemecahan Masalah ... III-5
3.4 Penyimpanan Model ke Basis Data ... III-6
3.5 Representasi Pengetahuan ... III-10
3.5.1 Representasi dalam Bayesian Network ... III-10
3.5.2 Rekonstruksi Bayesian Network... III-12
3.5.2.2 Rekonstruksi Model ... III-13
3.5.3 Penyimpanan Pengetahuan... III-14
3.6 Teknik dan Algoritma Inferensi ... III-16
3.6.1 Karakteristik Ranah Permasalahan... III-16
3.6.2 Exact Inference... III-18
3.6.3 Approximate Inference ... III-19
3.6.4 Perbandingan... III-20
3.7 Analisis Kebutuhan Perangkat Lunak ... III-23
3.7.1 Deskripsi Umum Sistem ... III-23
3.7.2 Pemodelan Perangkat Lunak ... III-24
3.8 Perancangan Perangkat Lunak ... III-26
Bab IV IMPLEMENTASI DAN PENGUJIAN...IV-1
4.1 Implementasi ...IV-14.1.1 Lingkungan Implementasi...IV-1
4.1.2 Implementasi Kelas Perancangan...IV-3
4.1.3 Implementasi User Interface ...IV-3
4.2 Pengujian ...IV-4
4.2.1 Skenario Pengujian...IV-5
4.2.2 Hasil Pengujian ...IV-7
4.2.2.1 Load Test...IV-7
4.2.2.2 Pengujian Performansi Algoritma Approximate Inference ...IV-11
4.2.3 Analisis Hasil Pengujian ...IV-18
4.2.3.1 Load Test...IV-18
4.2.3.2 Pengujian Performansi Algoritma Approximate Inference ...IV-19
Bab V PENUTUP ... V-1
5.1 Kesimpulan... V-1DAFTAR REFERENSI ... xviii
DAFTAR PUSTAKA ... xx
LAMPIRAN...A
DAFTAR LAMPIRAN
Lampiran A Contoh File XML Bayesian Network... A-1
Lampiran B Hasil Pengujian ... B-1
DAFTAR GAMBAR
Gambar I-1 Jaringan Regulatori Genetik...I-1
Gambar II-1 Contoh Bayesian Network ... II-14
Gambar II-2 Contoh State Network pada MCMC... II-17
Gambar II-3 Contoh Jaringan Regulatori Genetik... II-19
Gambar III-1 Deskripsi Proses ... III-3
Gambar III-2 Arsitektur Sistem... III-4
Gambar III-3 Entity Relationship Diagram ... III-7
Gambar III-4 ERD dengan Penambahan Indeks Parent ... III-9
Gambar III-5 Skema Basis Data... III-9
Gambar III-6 Contoh Relasi Siklik... III-12
Gambar III-7 Hasil Unrolling... III-12
Gambar III-8 Diagram Use Case ... III-25
Gambar III-9 Diagram Aktivitas Use Case inferNetwork ... III-26
Gambar III-10 Diagram Kelas Tahap Analisis... III-26
Gambar III-11 Rancangan User Interface ... III-29
Gambar IV-1 User Interface Genetsim...IV-4
Gambar IV-2 Perbandingan Jumlah Simpul dan Jumlah Relasi...IV-7
Gambar IV-3 Kebutuhan Waktu Inferensi terhadap Jumlah Gen...IV-10
Gambar IV-4 Kebutuhan Waktu Inferensi terhadap Jumlah Relasi ...IV-10
Gambar IV-5 Kebutuhan Memori Inferensi terhadap Jumlah Gen ...IV-10
Gambar IV-6 Kebutuhan Memori Inferensi terhadap Jumlah Relasi ...IV-11
Gambar IV-7 Nilai KL Distance terhadap Pertambahan Jumlah Simpul...IV-12
Gambar IV-8 Nilai KL Distance terhadap Pertambahan Jumlah Relasi ...IV-12
Gambar IV-9 Nilai Symmetric KL Distance terhadap Pertambahan Jumlah Simpul .IV-13
Gambar IV-10 Nilai Symmetric KL Distance terhadap Pertambahan Jumlah Relasi.IV-13
Gambar IV-12 Kebutuhan Waktu terhadap Pertambahan Jumlah Evidences ...IV-14
Gambar IV-13 Nilai KL Distance terhadap Pertambahan Jumlah Evidences...IV-15
Gambar IV-14 Nilai Symmetric KL Distance terhadap Pertambahan Jumlah Evidences ...IV-15
Gambar IV-15 Kebutuhan Memori terhadap Pertambahan Jumlah Sampel ...IV-16
Gambar IV-16 Kebutuhan Waktu terhadap Pertambahan Jumlah Sampel...IV-17
Gambar IV-17 Nilai KL Distance terhadap Pertambahan Jumlah Sampel ...IV-17
Gambar IV-18 Nilai Symmetric KL Distance terhadap Pertambahan Jumlah Sampel...IV-17
DAFTAR TABEL
Tabel III-1 Conditional Probability Table ... III-8
Tabel III-2 Representasi Bayesian Network dalam Dokumen XML ... III-16
Tabel III-3 Kompleksitas Algoritma ... III-21
Tabel III-4 Deskripsi Package Aplikasi ... III-25
Tabel III-5 Deskripsi Kelas Aplikasi... III-25
Tabel III-6 Alokasi Package... III-28
Tabel III-7 Kelas Perancangan ... III-28
Tabel IV-1 Implementasi Kelas Perancangan ...IV-3
DAFTAR PERSAMAAN
Persamaan ( II-1) ... II-6
Persamaan ( II-2) ... II-6
Persamaan ( II-3) ... II-7
Persamaan ( II-4) ... II-7
Persamaan ( II-5) ... II-8
Persamaan ( II-6) ... II-14
Persamaan ( II-7) ... II-18
Persamaan ( III-1)... III-23
