Penerapan
Risk Management Framework
untuk
Pelaksanaan Proyek Alih Daya Sistem Informasi di BPK RI
Andika Arif Sukrawan
1, Wing Wahyu Winarno
2Abstract — Badan Pemeriksa Keuangan Republik Indonesia (BPK) as one of the government agencies or the public sector since 2002 until the present project has been realized in the form of outsourcing of information systems application software. Some examples of the failure of IT projects including IT outsourcing has demonstrated the importance of the role of risk management. One framework that can be used by organizations in implementing risk management approach is to use the Project Management Body of Knowledge (PMBOK). Stages of risk management contained in the PMBOK and IT outsourcing is discussed in depth in this study. The results of the application of risk management suggests that the absence of risk management plans and risk factor analysis of user needs, the risk of a protracted workmanship, and the risk of vendor staff qualifications are a high risk probability and impact. Development of risk response and risk monitoring and control is an important step after high risks identified. The results of the application is expected to be a guideline for the implementation of BPK in IT outsourcing, so that the benefits of IT outsourcing to precisely target.
Intisari — Badan Pemeriksa Keuangan Republik Indonesia (BPK) sebagai salah satu instansi pemerintah atau sektor publik sejak tahun 2002 sampai dengan saat ini telah merealisasikan proyek alih daya TI yang berupa aplikasi software sistem informasi. Beberapa contoh kegagalan proyek TI termasuk alih daya TI telah menunjukkan pentingnya peran dari manajemen risiko. Salah satu framework yang dapat dipakai oleh organisasi dalam menerapkan manajemen risiko adalah dengan menggunakan pendekatan Project Management Body of Knowledge (PMBOK). Tahapan manajemen risiko yang terdapat dalam PMBOK dan alih daya TI dibahas secara mendalam dalam penelitian ini. Hasil dari penerapan manajemen risiko menunjukkan bahwa belum adanya perencanaan manajemen risiko serta faktor risiko analisis kebutuhan user, risiko waktu pengerjaan yang berlarut-larut, dan risiko kualifikasi staf vendor merupakan risiko yang cukup tinggi kemungkinan dan dampaknya. Pengembangan respon risiko serta pemantauan dan pengendalian risiko merupakan tahapan yang penting setelah risiko-risiko tinggi teridentifikasi. Hasil dari penerapan diharapkan dapat menjadi pedoman bagi BPK dan instansi sektor publik yang lain di Indonesia dalam pelaksanaan alih dayaTI, sehingga manfaat dari alih dayaTIdapat tepat sasaran.
Kata kunci—Alih daya, teknologi informasi, manajemen risiko, sektor publik, PMBOK.
I. PENDAHULUAN
I. PENDAHULUAN
Badan Pemeriksa Keuangan Republik Indonesia (BPK) sebagai salah satu instansi pemerintah dan lembaga tinggi negara telah merealisasikan proyek alih daya TI sejak tahun 2002 sampai dengan saat ini yang berupa aplikasi software sistem informasi (SI). Mengingat semakin bertambahnya kebutuhan sistem informasi pada masa mendatang, BPK memerlukan suatu pengelolaan risiko agar pelaksanaan proyek alih daya SI dapat selaras dengan tujuan yang telah ditetapkan.
Manajemen risiko memiliki peran yang vital tidak hanya untuk sektor privat melainkan juga untuk sektor publik seperti instansi BPK. Hasil sebuah penelitian yang dilakukan oleh Standish Group Internasional pada tahun 2010 menunjukkan bahwa 21% proyek TI mengalami kegagalan dan tidak dapat digunakan, 42% proyek terlantar, over budget, direka-ulang, atau dimodifikasi, dan hanya 37% proyek yang bisa diselesaikan tepat waktu dan sesuai budget.
TABEL I
SURVEI PROYEK TI, SUMBER: STANDISH GROUP INTERNATIONAL
Hasil survei pada Tabel I tersebut telah menunjukkan pentingnya peran dari manajemen risiko. Salah satu solusi yang dapat dipakai dalam penerapan manajemen risiko adalah dengan menerapkan suatu framework, dalam hal ini dengan pendekatan Risk Management Framework.
Berdasarkan uraian tersebut dapat dirumuskan permasalahan penelitian yaitu bagaimana penerapan manajemen risiko pelaksanaan proyek alih daya sistem informasi di BPK dengan menggunakan pendekatan Risk Management Framework. Sedangkan tujuan dari penelitian ini adalah menyusun penerapan manajemen risiko pelaksanaan proyek alih daya SI di BPK, untuk membantu pengambilan keputusan pada saat BPK akan merencanakan ataupun melaksanakan proyek alih daya SI.
II. ALIH DAYA TEKNOLOGI INFORMASI
Alih daya TI adalah penggunaan/pembelian produk atau jasa TI dari vendor di luar perusahaan. Manfaat utama dari sistem alih daya ini adalah pengurangan biaya tetap dan biaya operasional, perusahaan bisa lebih fokus pada bisnis utamanya serta perbaikan proses bisnis internal [1]
1
Mahasiswa, BPK RI, Jl. Gatot Subroto Kav. 31 Jakarta Pusat (e-mail: andika.sukrawan@bpk.go.id)
2
Risiko adalah suatu kejadian atau kondis jika terjadi memiliki efek setidaknya pada s [2]
Pada saat keputusan alih daya dibuat, ba memungkinkan terjadinya kegagalan alih risiko operasional, risiko strategis, dan risiko kemampuan [3]. Survei risiko yang dilakuk menghasilkan beberapa risiko alih daya Tabel II.
TABEL II SURVEI RISIKO ALIH DAYA
Project Management Body of Know memiliki 9 knowledge areas salah satunya a Management, sebagaimana terlihat pada G manajemen risiko proyek adalah untu kemungkinan dan dampak dari peristi mengurangi kemungkinan dan dampak dar dalam proyek tersebut.
Gbr. 1. Project Risk Management dalam
Manajemen risiko proyek tersebut me proses. Perencanaan manajemen risiko m mendefinisikan bagaimana melakukan keg risiko untuk sebuah proyek. Identifikasi proses untuk menentukan risiko ma mempengaruhi proyek. Analisis r memprioritaskan risiko untuk dianalisis tindakan dengan menilai dan menggabun
disi yang tidak pasti, a satu tujuan proyek
, banyak faktor yang a adalah Project Risk Gbr. 1. Tujuan dari ntuk meningkatkan istiwa positif, dan dari kejadian negatif
am PMBOK
kuantitatif menganalisis pen diidentifikasi, pada proyek seca respon risiko untuk merencan untuk menambah peluang dan m pelaksanaan dan tujuan proyek. risiko melaksanakan rencana risiko yang teridentifikasi, men mengevaluasi efektivitas proses
III.METO Langkah-langkah penelitian Mengingat penelitian dilakukan maka ruang lingkup penelitia risiko alih daya SI di BPK de BPK sebagai user dari SI yan risiko yang disusun mengacu Framework dari Project Mana (PMBOK).
Gbr. 2. Langkah-la
IV.HASIL DAN
A. Overview Proyek Alih Daya S Faktor keterbatasan sumber TI BPK menjadi penghamba pembuatan aplikasi atau pemeriksaan dan non pemeriks mengambil keputusan untuk me beberapa sistem informasi terseb Pemilihan vendor yang ak sistem informasi alih daya menggunakan proses pengada dengan peraturan perundangan akan mulai mengerjakan pembu kontrak disepakati kedua belah pengerjaan sistem informasi te bulan termasuk maintenance -maka sistem informasi yang menjadi hak milik BPK termasu
pengaruh risiko yang telah ecara keseluruhan. Perencanaan anakan respon terhadap risiko n mengurangi ancaman terhadap . Pemantauan dan pengendalian a tanggapan risiko, pelacakan engidentifikasi risiko baru, dan es risiko seluruh proyek.
TODOLOGI
n dipaparkan dalam Gbr. 2. an di Biro TI BPK Pusat saja, tian ini mencakup manajemen dengan sudut pandang Biro TI ang dialihdayakan. Manajemen acu kepada Risk Management anagement Body of Knowledge
langkah penelitian
PEMBAHASAN
a SI di BPK
er daya manusia (SDM) di Biro bat dalam pencapaian target software sistem informasi riksaan, sehingga Biro TI BPK mengalihdayakan salah satu atau sebut.
B. Perencanaan Manajemen Risiko
Berdasarkan hasil pengumpulan data yan Biro TI BPK belum pernah melaku manajemen risiko proyek alih daya SI. Dar dengan senior development di Biro TI BPK risiko belum dinyatakan dalam aturan tertuli TI BPK, selama ini proses alih daya SI be operasional dan prosedur (SOP) yang samp belum diperbarui. Kebijakan, pengetahuan risiko alih daya SI sebagai aset organ didokumentasikan oleh Biro TI BPK
Dalam hal risiko, Biro TI BPK belum jenis-jenis risiko secara tertulis, dan hanya bersama bahwa risiko alih daya SI itu perencanaan dan analisis risiko untuk a) Atu jawab; b) Pengalokasian dana; c) Jangka laporan kegiatan telah disusun dalam k dengan vendor. Data dan dokumen dari data aset organisasi, dan ruang lingkup proye masukan untuk proses analisis perencanaan
Identifikasi Risiko
Berdasarkan rencana manajemen risik lingkup proyek alih daya yang sudah disus dapat melakukan identifikasi risiko. Dalam di proyek alih daya SI di Biro TI BPK, da document review dalam hal ini mengguna risiko alih daya SI [4]. Faktor-faktor risiko dalam penelitian tersebut cukup spesifik seluruh aspek dalam proyek alih daya SI, umum, risiko vendor, danrisiko user/client. Selain risiko-risiko tersebut, dari h responden mengusulkan penambahan faktor
a. Waktu pengerjaan yang berlarut-dimasukkan ke dalam kelompok risiko b. Pekerjaan vendor tidak sesuai denga
aturan yang berlaku
Risiko ini dimasukkan ke dalam kelom c. Kurangnya analisis kebutuhan user atau
Risiko ini dimasukkan ke dalam user/client.
Langkah selanjutnya adalah membua dengan teknik diagram dalam bentuk Structure (RBS) seperti dalam Gbr. 3.
Analisis Risiko Kualitatif dan Kuantitatif
Berdasarkan dokumen lingkup proye manajemen risiko pada saat tahap perenc risiko, ditambah dengan register risiko berup identifikasi risiko, dapat dilakukan analisi dan kuantitatif. Dalam proses analisis risiko probabilitas dan dampak dari suatu melakukan analisis risiko, kategori risiko ya
yang telah diperoleh, kukan perencanaan ari hasil wawancara PK diketahui bahwa tulis di database Biro berdasarkan standar mpai dengan saat ini atabase Biro TI BPK, oyek dapat menjadi an risiko alih daya SI.
siko dan dokumen susun, Biro TI BPK m identifikasi risiko dapat menggunakan tor- faktor lain yaitu:
-larut Risiko ini rupa RBS pada tahap lisis risiko kualitatif ko ini, menggunakan u risiko. Sebelum yang didapat pada
saat pengumpulan data dikonv seperti, (1) Sangat Rendah (SR (C); (4) Tinggi (T); (5) Sangat T
Gbr. 3. RBS Proyek A
Analisis risiko kemudian d pengeplotan nilai ke dalam mat dalam hal ini “Risk Map Metho dan dampak terdapat empat tin Rendah (Modest), Cukup Tingg Kategori tersebut dapat dilihat p
Gbr. 4. Matriks Proba
Kemudian berdasarkan hasil kuesioner dengan responden lim TI dengan bobot yang sama, dilakukan dengan melakukan dampak pada proyek alih daya dilakukan dengan menggunakan Severity Index dihitung menggun
Klasifikasi dari skala peni dampak adalah sebagai berikut: (1) Sangat rendah : < 12 (2) Rendah : 12.5 (3) Cukup : 37.5 (4) Tinggi : 62.5 (5) Sangat tinggi : 87.5 Hasil pengukuran probabilit proyek alih daya SI di BPK dap Tabel IV.
nversikan dalam bentuk angka SR); (2) Rendah (R); (3) Cukup
t Tinggi (ST).
k Alih daya SI di BPK
dilakukan dengan melakukan atriks probabilitas dan dampak thod”. Kategori dari probabilitas tingkatan yaitu Rendah, Cukup ggi (Moderate), dan Tinggi. [5] t pada Gbr. 4.
babilitas dan Dampak
sil brainstorming dan pengisian lima orang staf dari pihak Biro a, maka analisis risiko dapat n pengukuran probabilitas dan aya SI di BPK. Analisis risiko kan metode Severity Index (SI), gunakan rumus sebagai berikut:
(1)
enilaian pada probabilitas dan
TABEL III
PENILAIAN PROBABILITAS RISIKO
Hasil dari penilaian probabilitas menunjukkan bahwa risiko tertinggi a kurangnya analisis kebutuhan user/client den dan risiko terendah ada pada faktor motivas berkurang dengan SI sebesar 25%.
TABEL IV PENILAIAN DAMPAK RISIKO
Sedangkan hasil dari penilaian dampak ri Tabel 4 menunjukkan dampak terbesar pa vendor dan kurangnya analisis kebutuhan sebesar 95% dan dampak terkecil pada fac di Biro TI berkurang dengan SI sebesar 30%
Hasil dari kedua pengukuran tersebut da identifikasi risiko yang kemudian menjadi register risiko seperti dalam Tabel V.
IKO
s risiko tersebut ada pada faktor dengan SI sebesar 95% vasi SDM di Biro TI
risiko seperti dalam pada kualifikasi staf han user dengan SI actor motivasi SDM 0%.
dapat menjadi tabel di sebuah perbaikan
TAB IDENTIFIK
Analisis risiko selanjutnya Mapping Method” atau “Hea tingkat probabilitas terjadinya r risiko kejadian yang sudah teri Risk Map untuk risiko umum, r masing-masing dapat dilihat pa Tabel VIII.
TABE
RISK MAP KATEGO BEL V IKASI RISIKO
a dengan menggunakan “Risk eat Map” untuk menunjukkan a risiko dan dampak dari semua identifikasi sebelumnya. Hasil , risiko vendor, dan risiko client pada Tabel VI, Tabel VII, dan
EL VI
TABEL VII RISK MAP KATEGORI RISIKO VEND
TABEL VIII
RISK MAP KATEGORI RISIKO CLIE
Berdasarkan risk mapping per jenis risi dilihat risk mapping keseluruhan proyek ali pada Tabel IX.
TABEL IX
Risk Map Keseluruhan Proyek Alih Daya
NDOR
IENT
risiko tersebut dapat alih daya SI di BPK
ya SI di BPK
Berdasarkan register risiko bentuk probabilitas dan dampak Map dan Heat Map tersebut, vendor dan client masing-masin dari rendah sampai dengan tingg dampak dan risiko.
Pengembangan Tanggapan Ri
Berdasarkan rencana manajem risk map keseluruhan proyek a disusun, maka pengembangan risiko yang telah teridentifika melihat apakah itu termasuk ris akan mempengaruhi strategi ap Hasil wawancara menunjuk teridentifikasi merupakan risiko terjadi dapat menghambat prose TI BPK.
Setelah mengetahui bahw teridentifikasi merupakan katego dilakukan antara lain dengan transfer, ataupun mengurangi ( strategi manakah yang akan dip pertimbangan dari hasil “Risk tahap sebelumnya dan angka sk Factor Rating). Seperti pada Ta risiko kejadian akan diberikan a tingkatan dalam menangani risik
TAB PENENTUAN S
Penentuan skala SPR pada T dan disiapkan, digunakan untu akan diterapkan pada setiap ris matrik yang ada pada Tabel XI dan sederhana untuk menentu kombinasi probabilitas dan damp
TABE NILAI SPR SETIAP KOMBINAS
o yang sudah diperbaiki dalam ak yang dilengkapi dengan Risk ut, dapat terlihat risiko umum, asing menempati kategori mulai ggi dari kombinasi dari tiap-tiap
Risiko
jemen risiko, register risiko, dan k alih daya SI BPK yang telah n tanggapan terhadap kejadian ikasi dapat dilakukan, dengan risiko positif atau negatif yang apa yang nanti akan digunakan. jukkan bahwa risiko yang iko-risiko negatif yang apabila ses kegiatan alih daya SI di Biro
ahwa kategori risiko yang egori negatif maka strategi yang gan menghindari (Avoidance), i (Mitigate). Untuk menentukan ipilih maka dapat menggunakan sk Map” atau “Heat Map” pada skala SPR (Severity Probability abel X, pada skala SPR, setiap angka SPR untuk menunjukkan siko yang terjadi [6].
BEL X SKALA SPR [6]
Tabel X yang sudah ditentukan ntuk menentukan strategi yang risiko tertentu. Kombinasi dari memberikan cara yang mudah ntukan skala risiko dari setiap
mpak.
BEL XI
Berdasarkan identifikasi risiko yang s dalam Tabel V sebelumnya, maka dapat d yang akan digunakan BPK untuk meng teridentifikasi sebelumnya dengan menggu seperti pada Tabel XII.
TABEL XII TIPE STRATEGI TERHADAP RISIKO
Berdasarkan tipe strategi terhadap risik dapat menyiapkan rencana untuk manajem tampak pada Tabel XIII.
TABEL XIII STRATEGI PENGELOLAAN RISIKO
sudah dirumuskan t ditentukan strategi ngelola risiko yang gunakan skala SPR,
IKO
isiko, Biro TI BPK jemen risiko seperti
KO
Pemantauan dan pengendalian
Setelah proyek alih daya SI d dikerjakan, dilakukan pengend laporan kinerja yang terkait den dan laporan kemajuan proyek biaya, sumber daya dan lain-l perubahan dapat didokumentasik
Pemantauan dan pengendalian BPK penting dilakukan kare karakteristik tertentu yang be khususnya peraturan mengenai yaitu Peraturan Presiden Republ
Pemantauan dan pengendalia tanggapan risiko yang sudah menjadi input untuk memperba pada proyek alih daya SI selan keadaan yang terjadi.
Validasi manajemen risiko
Analisis data menggunakan dari responden yaitu para penga Biro TI BPK untuk validasi mo didapatkan data hasil sebagai be
1) Berdasarkan pengalaman, sistem informasi dengan cara oleh tiga hal yaitu kualifik waktu, analisis kebutuhan u ketiga hal tersebut sudah ma strateginya “avoidance”, manajemen risiko yang disus elemen, kejadian dan relasi y
2) Dengan adanya manajemen dapat melengkapi SOP dan risiko yang akan muncul khu dapat dihindari, responden risiko dapat menjawab pertan
3) Responden menyatakan bah berkurang tidak ada hubunga lebih pada apa yang diharap belum dapat dipenuhi oleh o Grade Jabatan Fungsional (J 4) Secara garis besar para
manajemen risiko alih da tanggapan bahwa manajeme diimplementasikan dan akan TI dalam pengembangan sist
lian risiko
I di Biro TI BPK dieksekusi atau endalian dengan cara melihat dengan risiko yang akan timbul k yang meliputi kinerja waktu, lain. Apabila ada persetujuan sikan.
lian risiko proyek alih daya SI di arena alih daya SI memiliki belum diatur dalam peraturan, nai pengadaan barang dan jasa ublik Indonesia Nomor 54 Tahun ng/jasa pemerintah. Berdasarkan TI BPK mengatur secara lebih dokumen kontrak atau service ena sifat TI yang mempunyai dingkan dengan barang atau jasa
lian risiko serta pengembangan ah disusun sebelumnya dapat barui rencana manajemen risiko lanjutnya sesuai kebutuhan dan
n data yang telah dikumpulkan gambil kebijakan alih daya SI di model. Dari pengumpulan data, berikut:
n, kesuksesan pengembangan ara alih daya sangat dipengaruhi ifikasi staf vendor, tidak tepat user tidak komprehensif. Dari masuk dalam pedoman dan tipe , responden sepakat bahwa susun sudah mengandung semua
i yang sesuai di Biro TI BPK.
en risiko yang diusulkan maka n tata cara pengadaan, sehingga hususnya yang tipe “avoidance” en sepakat bahwa manajemen rtanyaan model.
ahwa motivasi SDM di Biro TI ngannya dengan alih daya namun rapkan terkait dengan hak SDM h organisasi, misalnya mengenai
JFPK).
ra responden sepakat dengan daya SI dengan memberikan men risiko sangat bagus untuk kan menjadi referensi buat Biro
Rekomendasi Hasil Penelitian
Hasil penelitian ini telah menggambarkan pentingnya suatu manajemen risiko dalam suatu proyek alih daya sistem informasi. Dengan demikian, Biro TI BPK diharapkan dapat menerapkan pengelolaan risiko dalam proyek-proyek alih daya sistem informasi selanjutnya agar dapat mengurangi potensi kegagalan proyek. Penerapan manajemen risiko dapat dilaksanakan dengan memperbarui pedoman pelaksanaan alih daya sistem informasi yang selama ini berpedoman pada SOP. Penelitian ini mengusulkan sebuah rekomendasi berupa penambahan mengenai penerapan manajemen risiko pada saat kajian rencana alih daya sistem informasi di BPK.
Secara garis besar, alur rencana pengadaan aplikasi secara alih daya di BPK masih sama dengan yang terdapat dalam SOP. Dalam usulan seperti dalam Gbr. 5 tersebut hanya ada penambahan faktor manajemen risiko pada saat melakukan kajian pengadaan aplikasi secara alih daya.
Sesuai dengan SOP, satuan kerja setingkat Eselon II menyampaikan nota dinas yang dilengkapi dengan rencana pengadaan aplikasi komputer kepada Kepala Biro TI.
Gbr. 5. Usulan Alur Rencana Pengadaan SI Secara Alih Daya
Kepala Biro TI melakukan kajian bersama jajarannya untuk menjamin keterpaduan dan tidak terjadinya overlapping dengan yang dikembangkan di pusat. Pada tahap ini, berdasarkan hasil penelitian, perlu ditambahkan suatu kajian berupa manajemen risiko atas rencana pelaksanaan alih daya sistem informasi. Selain untuk menjamin keterpaduan dan
tidak terjadinya overlapping dengan aplikasi yang dibuat secara inhouse, kajian pengelolaan risiko tersebut dapat menghasilkan suatu informasi yang berisi data-data dan suatu ukuran kelayakan proyek alih daya yang akan dijalankan berdasarkan risiko-risiko yang sudah diketahui maupun yang akan muncul pada saat pelaksanaan. Selama kajian tersebut menghasilkan kesimpulan bahwa risiko-risiko dapat diterima maka proyek alih daya layak untuk dilaksanakan, sebaliknya jika tidak dapat menerima risiko, maka proyek alih daya tidak layak untuk dilaksanakan.
Seperti dalam SOP, dalam jangka waktu selambat-lambatnya lima hari kerja sejak diterimanya nota dinas dari satuan kerja setingkat Eselon II tersebut, Biro TI menyampaikan hasil kajian yang telah dilakukan, termasuk kajian manajemen risiko. Jawaban negatif atas nota dinas tersebut harus disertai dengan alasan, permasalahan, dan solusi yang mungkin bisa diterapkan. Jawaban positif atas nota dinas tersebut harus disertai dengan pembentukan tim pendamping dari pusat untuk menjamin aplikasi tersebut dapat terintegrasi dengan aplikasi yang sudah dikembangkan atau yang sudah digunakan secara luas di BPK.
Hasil dari penelitian ini diharapkan dapat memberikan saran dan masukan untuk proses bisnis yang baru yaitu pada tahap kajian terhadap usulan alih daya SI di Biro TI BPK, sehingga dapat membatu secara lebih akurat dalam pengambilan keputusan apakah perlu atau tidaknya mengalihdayakan suatu SI yang diusulkan.
V. KESIMPULAN DAN SARAN
Berdasarkan hasil pengumpulan data yang diperoleh, BPK belum pernah melakukan perencanaan manajemen risiko proyek alih daya SI secara terdokumentasi.
Dengan identifikasi risiko yang telah dilakukan, diperoleh data bahwa risiko yang paling tinggi dalam proyek alih daya SI di BPK adalah a) Waktu pengerjaan yang berlarut-larut; b) Kualifikasi staf vendor; c) Kurangnya analisis kebutuhan user/client.
Pengembangan respon risiko yang tinggi dilakukan dengan cara membuat rincian kerja dan aktivitas yang jelas dan terperinci serta dipakainya work breakdown structure (WBS) atau rencana kerja, sehingga manajer proyek dapat memantau tingkat sumber daya yang dialokasikan untuk tiap modul sistem yang dikerjakan dan melihat presentase penyelesaian masing-masing modul sistem; Menentukan kualifikasi vendor dengan cermat misalnya faktor pengalaman, SDM yang memadai dan lain-lain, selain itu faktor komitmen pimpinan dalam penyeleksian vendor juga penting; Selalu melakukan komunikasi antara pihak pemakai sistem dan penyedia jasa, dimana pihak pemakai sistem adalah yang seharusnya paling aktif peran sertanya karena pemakai sistem yang akan dapat melihat apakah kebutuhan-kebutuhan yang diperlukan telah tercakup dalam sistem dan telah layak dipakai dalam mendukung pekerjaan.
REFERENSI
[1] Munawar. “Outsourcing di Dunia Teknologi Informasi”. Jurnal Fakultas Ilmu Komputer. 2005.
[2] Budzier, Alexander. “ICT Project Risk as Pollution Belief A Comparative Essay in Cultural Theory”, University of Oxford. 2010. [3] Krisnanda, M. “Pembuatan Model Keputusan Outsourcing
Teknologi Informasi”, Institut Teknologi Bandung, Bandung. 2008.
[4] Gonzales. et al. “Information Systems Outsourcing Reasons and Risks: A New Assessment”, University of Alicante, Spain. 2009. [5] Ontario. “Enterprise Risk Management Application Guide”.
