Pemodelan Pengukuran Tingkat Kematangan Kerangka Kerja COBIT Menggunakan Ontology

(1)

Pemodelan Pengukuran Tingkat

Kematangan Kerangka Kerja COBIT

(2)

BATASAN MASALAH

• Hanya melakukan perhitungan kemiripan

antara dokumen perusahaan dengan

dokumen COBIT

• Dokumen yang digunakan, terbatas untuk

dokumen berbahasa Inggris.

• Asumsi :

dokumen yang digunakan

(3)

Alasan Menggunakan Ontology

•Ontology mendefinisikan konsep, relasi, dan perbedaan lainnya yang relevan untuk pemodelan domain permasalahan

• (Gruber, 2007; Nicola, et al., 2009; Amborowati, 2007)

• merepresentasikan Metadata

• (Cimiano, et al., 2010)

• Ontology bersifat flexibel

• (Hamlington, et al., 2010)

• Memiliki kemampuan inferencing

• (jiang,2009)

• Memungkinkan untuk berbagi

• pengetahuan dan penggunaan kembali

(4)

Langkah-langkah Penelitian

Membangun Ontology Metamodel • Menentukan area perbaikan metamodel COBIT • Memperbaiki metamodel COBIT • Membangun Ontology Metamodel • Ontology Metamodel COBIT • Ontology Metamodel Perusahaan Membangun Ontology Dokumen • Praproses Dokumen • Pemangkasan Kata • Pembentukan Herarki • Pembobotan Pencocokan Ontology • Pencocokan ontology Dokumen • Pencocokan ontology Metamodel

(5)

Metamodel COBIT

Goeken dan Alter 2008

• pengklasifikasian dan gambaran secara umum kerangka kerja COBIT dalam bentuk metamodel

• mengekstraksi dan menyajikan hubungan logis dan semantik yang mendasari framework COBIT

(6)

(Memperbaiki metamodel COBIT)

(7)

(Skema Ontology COBIT)

(8)

Tahapan Pembentukan ontologi dari dokumen

• Praproses

• Sinonim

• Hitung frekuesi kata

• Pemangkasan kata

• Membentuk hirarki

• Pembobotan

(9)

Pencocokan Ontology

Cosine similarity

• Metode pencocokan ontology berdasarkan

ruang vektor

–

Cosine =1



kedua vector adalah sama.

–

Cosine =0



kedua vector tidak sama

B

A

B

A









cos

 

_

 



     t k dk t k qk t k dk qk w w w w d q similarity 1 2 1 2 1 . ) , (

(10)

Tahapan Pencocokan menggunakan semantic cosine

similarity

• Mapping Ontology : untuk menghitung

kemiripan konsep yang sinonim

• Vektorisasi

–

Membangun ruang vektor dari kedua ontology

• Menghitung kemiripan antar dua konsep

berdasarkan wordnet menggunakan rumus

Wu-palmer

• Menghitung kemiripan dua ontology

(11)

Semantic Cosine Similarity

Rumus Semantic Cosine similarity

Rumus Wu-Palmer





_

 



         t k dk t k PL Wu qk t k dk PL Wu qk w c c sim w w c c sim w d q similarity 1 2 1 2 1 . ) 2 , 1 ( ) 2 , 1 ( ) , (

(12)

Tahapan Pencocokan Ontology dengan Graf Matching

(similarity Floding)

• Menghitung kemiripan antar node

• Menghitung kemiripan antar arc

(13)

Pencocokan Ontology dengan Graf Matching

(similarity Floding)

• Rumus

(14)

Uji Coba Skenario 1

• Dokumen Uji Coba

No Nama Dokumen Ukuran

(dalam kb)

1 AI1.ML.0 1

2 AI2.ML.2 1

3 AI1.CO 2

4 AI6.ML 3

5 The Tactical Plan 4

(15)

Hasil Perbandingan

AI1.ML.0 AI2.ML.2 AI1.CO AI6.ML Tactical Plan Company _Doc2 Recall 0.93 0.93 0.47 0.35 0.35 0.38 Precision 0.88 0.87 0.80 0.73 0.82 0.91 F-measure 0.90 0.89 0.40 0.29 0.31 0.39 0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00

(16)

Analisa

• Didalam text2onto seluruh kata hasil ekstraksi di jadikan konsep, sedangkan didalam sistem yang dibangun terdapat proses pemotongan kata-kata yang memiliki frekuensi lebih kecil atau sama dengan dibandingkan nilai ambang batas

(17)

Hasil Perbandingan Waktu Skenario 1

No Nama Dokumen Ukuran (dalam kb) Lama ekstraksi (dalam s) Sistem Text2onto 1 AI1.ML.1.txt 1 2 1.8 2 AI1.CO.txt 2 2.52 6.75 3 AI6.ML.txt 3 4.29 10.23

4 The Tactical Plan.txt 4

4.37 10.82 5 Company_Doc 5 2.90 15.71 0 5 10 15 20

AI1.ML.1.txt AI1.CO.txt AI6.ML.txt The Tactical Plan.txt

Company_Doc

Perbandingan waktu

(18)

Skenario 2

No Dokumen Pembanding No Dokumen sama No Dokumen Beda No Dokumen Mirip

1 AI1.ML.0 1 AI1.ML.0 1 B1 1 AI6.CO

2 AI1.ML.2 2 AI1.ML.2 2 B2 2 Document_comp2

3 AI1.ML.3 3 AI1.ML.3 3 B3 3 AI2.ML

4 _AI6.ML

5 The Tactical Plan

(19)

Hasil Uji Coba

Dokumen pembanding Dokumen Uji Sim

Dokumen Sama AI1.ML.0 AI1.ML.0 0.99 AI1.ML.2 AI1.ML.2 0.99 AI1.ML.3 AI1.ML.3 1 Dokumen Beda AI1.ML.0 B1 0 AI1.ML.2 B2 0 AI1.ML.3 B3 0 Dokumen Mirip AI1.ML.0 AI6.CO 0.18 AI1.ML.2 Document_comp2 0.11 AI1.ML.3 AI2.ML 0.57 AI1.ML.0 AI6.ML 0.15 AI1.ML.2 AI1.ML 0.37 AI1.ML.3 AI6.ML 0.4

(20)

Uji Coba Skenario 3

• Dokumen uji coba

No Dokumen Perusahaan

1 NOAA_Strategic_IT_Plans

2 Michigan Strategic_Plan_2010

3 Miami university IT Strategic Planning Tactical Plan

4 Kitsap County_IT strategic Plan

5 SLC_Strategic Master Plan2010

(21)

Hasil Uji Coba Skenario 3

No_Doc Kemiripan per Level Kematangan

Maturity Level Lv.0 Lv.1 Lv.2 Lv.3 Lv.4 Lv.5 1 0.665 0.4975 0.264 0.165 0.05 0.11 0.76 2 0.83 0.415 0.264 0.33 0.275 0.11 1.2 3 0.495 0.333 0.06 0.248 0 0.06 0.5 4 0.83 0.415 0.198 0.495 0.385 0.17 1.5 5 0.495 0.415 0.066 0.248 0.05 0.06 0.6 6 _0.495 0.415 0.06 0.2475 0.165 0.11 0.8 No_Doc

Kemiripan per Level Kematangan Maturity

Level Lv.0 Lv.1 Lv.2 Lv.3 Lv.4 Lv.5 1 0.54 0.27 0.17 0.36 0.22 0.13 1.09 2 0.65 0.22 0.14 0.41 0.40 0.26 1.56 3 0.26 0.21 0.14 0.30 0.17 0.07 0.82 4 0.64 0.25 0.33 0.36 0.24 0.11 1.17 5 0.22 0.14 0.27 0.25 0.12 0.07 0.77 6 0.3 0.23 0.19 0.32 0.17 0.11 0.95 MANUAL SISTEM

(22)

Uji Validitas SISTEM

(skenario 3)

• Alat uji statistic yang digunakan adalah uji

Homogeneity-of-Variance One-Way

Anova

–

Ho = hasil perhitungan antara manual dan sistem

adalah sama.

–

H1= hasil perhitungan antara manual dan sistem

adalah beda.

(23)

Hasil Uji Seluruh dokumen

• Homogeneity-of-Variance One-Way

Anova

–

f

_tabel

pada percobaan ini adalah 4.00

ANOVA

ML

Sum of

Squares df SquareMean F Sig. Between Groups .013 1 .013 .344 .560 Within Groups 2.613 70 .037 Total 2.625 71

(24)

Analisa

• hasil uji

one way ANOVA

yang telah dilakukan

mengindikasikan bahwa :

– nilai uji-F tidak signifikan berbeda pada kelompok uji, ini ditunjukkan oleh nilai F_hitung sebesar 0,344 lebih kecil

daripada F_tabel(4.00), diperkuat dengan nilai p_value lebih kecil daripada nilai kritik (1-α) yaitu 0.560.

• Artinya uji ini menunjukan bahwa hasil pengujian

terhadap seluruh dokumen dengan perhitungan

manual maupun sistem memiliki

kesamaan

• Hasil tersebut menunjukkan bahwa

H0 diterima, dan

(25)

Hasil Uji Coba Perdokumen

Ftabel=4.96 (1-α)=0.95 Dokumen 1 Fhitung=0.022 Pvalue=0.886 Dokumen 6 Fhitung=0.136 Pvalue=0.720 Dokumen 2 Fhitung=0.012 Pvalue=0.916 Dokumen 3 Fhitung=0.112 Pvalue=0.745 Dokumen 5 Fhitung=0.259 Pvalue=0.622 Dokumen 4 Fhitung=0.592 Pvalue=0.459

(26)

Analisa

• hasil uji

one way ANOVA

yang telah dilakukan

mengindikasikan bahwa:

– nilai uji-F tidak signifikan berbeda pada kelompok uji, ini ditunjukkan oleh nilai F_hitung sebesar 0,022 pada dokumen 1, 0.012 pada dokumen 2, 0.112 pada dokumen 3, 0.592 pada dokumen 4, 0.259 pada

dokumen 5, 0.136 pada dokumen 6, lebih kecil daripada

F_tabel(4.96), diperkuat dengan nilai p_value lebih kecil daripada nilai kritik (1-α).

• Artinya uji ini menunjukan bahwa hasil pengujian terhadap masing-masing dokumen dengan perhitungan manual

maupun sistem memiliki kesamaan

• Hasil tersebut menunjukkan bahwa

H0 diterima,

dan

(27)

Hasil Uji Coba Skenario 4

(sistem)

Nomor Dokumen

Maturity Level Control Objective Metamodel Waktu (detik) 1 1.13 0.58 0.81 181 2 1.56 0.84 0.88 245.92 3 0.82 0.65 0.81 126.35 4 1.17 0.75 0.85 257 5 0.77 0.58 0.79 162.05 6 0.95 _0.52 _0.8 _152.72

Waktu rata-rata yang diperlukan untuk pemeriksaan

dokumen secara manual adalah rata-rata 1 jam atau 360 detik

(28)

Kesimpulan

• Sistem ini telah mampu membangun skema ontology dokumen COBIT maupun ontology dokumen perusahaan.

• Konsep-konsep yang terbentuk dari sistem ini memiliki presisi yang cukup tinggi pada saat dibandingkan dengan text2onto, tetapi memiliki recall yang rendah

– hal ini disebabkan pada text2onto seluruh konsep diambil seluruhnya tanpa ada proses pruning dan text2onto telah mampu menghasilkan suatu frase kalimat.

• Berdasarkan waktu proses ekstraksi dokumen, sistem lebih cepat dibandingkan dengan text2onto.

• Sistem telah mampu menghasilkan nilai yang tepat sama dengan 1 untuk dokumen yang sama dengan dokumen COBIT, nilai 0 untuk dokumen yang berbeda dengan dokumen COBIT, dan nilai antara 0 dan 1 untuk dokumen yang mirip dengan dokumen COBIT

(29)

Kesimpulan

• Berdasarkan hasil uji berbedaan

One-Way

Anova

dengan dua cara pengujian menunjukkan hasil antara

perhitungan sistem dan manual adalah sama.

– Hal ini menunjukkan Ontology Metamodel COBIT telah mampu memberikan nilai kematangan proses TI dengan tepat

• Berdasarkan perbandingan nilai tingkat kematangan

proses TI, perhitungan secara sistem lebih tinggi

dibandingkan secara manual.

• Sistem mampu menyelesaikan permasalahan lebih

(30)

Saran

• Perusahaan yang telah menerapkan kerangka kerja COBIT

diharapkan untuk menata dokumen sesuai dengan acuan yang terdapat didalam COBIT, sehingga memudahkan sistem dalam melakukan perhitungan tingkat kematangan proses TI.

• Perlu dilakukan pengkajian lebih dalam terkait metode pencocokan ontology untuk menghitung kemiripan dua

dokumen, terutama untuk mengatasi perbedaan besar dan kecilnya dokumen.

• Perlu dilakukan perbaikan pada proses ekstraksi dokumen sehingga sistem mampu menghasilkan frase kalimat yang sesuai.