Pengembangan Aplikasi Assessment Program Uang

(1)

Pengembangan Aplikasi

Assessment

_{Programer Berdasarkan Standar Kompetensi}

Kerja Nasional Indonesia (SKKNI) Berbasis

Web Menggunakan Metode Scrumban

David Alfa Sunarna

Jurusan Informatika Fakultas MIPA Universitas Sebelas Maret

Sarngadi Palgunadi

Rini Anggrainingsih

ABSTRAK

Standar Kompetensi Kerja Nasional Indonesia (SKKNI) sektor Teknologi Informasi Bidang Keahlian Programer Komputer tahun 2012 digunakan sebagai acuan kompetensi di bidang keahlian programer komputer yang diakui secara nasional. Untuk mendapatkan pengakuan/sertifikasi harus dilakukan tes. Sehingga dibutuhkan bank soal yang mengacu pada SKKNI sektor Teknologi Informasi Bidang Keahlian Programer Komputer. Agar tes bisa dilakukan dimana saja dan kapan saja dibutuhkan implementasi bank soal secara online. Penggunakan bank soal secara online memungkinkan pemetaan dan pengelolaan soal berdasarkan masing-masing kompetensi lebih terstrukur daripada bank soal offline dan tidak memakan waktu/tempat saat melakukan ujian. Penelitian ini berfokus untuk membuat bank soal berstandar SKKNI sektor Teknologi Informasi Bidang Keahlian Programer Komputer untuk dikembangkan menjadi aplikasi assessment/penilaian programmer. Tiap-tiap soal dipetakan menurut standar kompetensi terkait yang terdiri dari Kompetensi Umum, Kompetensi Inti, dan Kompetensi Khusus. Pengujian butir soal dilakukan dengan menggunakan analisa item tes dengan komposisi 2 paket soal yang masing masing berisi 50 soal. Soal tersebut diacak dari bank soal yang telah dibuat menggunakan random number generator dari software database MySQL. Hasil yang diperoleh pada penelitian ini adalah aplikasi assessment programmer berdasarkan SKKNI berbasis web yang dibuat dengan metode Scrumban. Sementara dari pengujian soal didapatkan 40 soal dari paket 1 dan paket 2 valid dengan nilai kritis r = 0,2353. Paket 1 memiliki reliabilitas rendah dengan nilai KR-20=0,36. Sementara paket 2 memiliki reliabilitas sedang dengan nilai KR-20=0,548. Jika soal terlampau sulit/mudah (P<0,1 atau P>0,9) maka akan menghasilkan daya pembeda yang buruk (D<0), faktor distraktor yang buruk (<5%), validitas yang rendah, dan mempengaruhi reliabilitas paket soal secara keseluruhan.

Kata Kunci: skkni, srumban, analisa item tes

1. PENDAHULUAN

Bab III Peraturan Menteri Tenaga Kerja dan Transmigrasi Nomor 5 Tahun 2012 menjelaskan bahwa pemberlakukan SKKNI secara wajib dapat dilakukan di bidang profesi atau pekerjaan yang memiliki posisi strategis dalam meningkatkan daya saing nasional[1]_{. Proses sertifikasi}

dilakukan melalui tes dengan proses pelatihan oleh suatu lembaga sertifikasi. Peserta tes harus datang ke lokasi sertifikasi untuk melaksanakan tes. Sementara itu hasil ujian tidak bisa dilihat pada saat itu juga dikarenakan pengembangan ujian masih dilakukan secara offline. Pengembangan ujian secara offline akan membuat indexing/pemetaan soal sulit dikarenakan banyaknya standar kompetensi dalam SKKNI. Hal-hal seperti ini bisa diatasi dengan melaksanakan sistem ujian online.

Untuk dapat melaksanakan ujian online yang mengacu pada SKKNI dibutuhkan managemen bank soal secara online. Bank soal online akan memudahkan proses input soal, pemetaan soal, dan pengelolaan soal (edit dan hapus). Dalam penelitian dilakukan pengembangan bank soal yang mengikuti SKKNI Sektor Teknologi Informasi Bidang Keahlian Programer Komputer pada tahun 2012. Bank soal tersebut berupa pilihan ganda dan dibuat berdasarkan kriteria unjuk kerja dari setiap elemen kompetensi yang ada didalam unit kompetensi SKKNI.

Untuk mengetahui apakah masing-masing butir soal yang dibuat mengikuti SKKNI mempunyai kualitas yang baik, maka dapat dilakukan analisis terhadap lima hal, yaitu: validitas, reliabilitas, tingkat kesukaran, daya beda dan efektivitas fungsi distraktor. Instrumen yang valid berarti instrumen mampu mengukur tentang apa yang seharusnya diukur, dalam hal ini mengukur apakah instrument yang dibuat sesuai dengan standar kompetensi yang diujikan. Instrumen yang memenuhi persyaratan reliabilitas (handal), berarti instrumen menghasilkan ukuran yang konsisten walaupun instrument tersebut digunakan berkali-kali[2]_{. Maka}

dari itu uji validitas digunakan untuk mengukur apakah soal yang diujikan sesuai dengan kompetensi yang tertera di dalam SKKNI bidang keahlian programer. Sementara uji reliabilitas digunakan untuk menguji kehandalan bank soal jika digunakan berkali-kali dalam tes.

Karena akan dibangun sistem ujian dan pengembangan bank soal secara online maka dibutuhkan suatu perangkat lunak (software) yang dapat mengimplementasikannya menjadi suatu tes yang terstandarisasi. Software ini akan menguji sampai sejauh mana kemampuan seorang programer terhadap standar SKKNI. Digunakan metode pengembangan software agile yang dinamakan Scrumban dalam pengembangan sistem ini. Dalam 10 tahun terakhir, metode agile berkembang mulai dari tidak dikenal sampai pada puncaknya saat ini[3]_{. Metode Scrumban sendiri}

merupakan penggabungan dari Scrum dan Kanban.

(2)

2. DASAR TEORI

2.1 SKKNI

Menurut Lampiran Keputusan Menteri Tenaga Kerja dan Transmigrasi Nomor 615 Tahun 2012 (Kemenakertrans Nomor 615 Tahun 2012) halaman 2, Standar Kompetensi Kerja Nasional Indonesia (SKKNI) adalah rumusan kemampuan kerja yang mencakup aspek pengetahuan, keterampilan dan atau keahlian serta sikap kerja yang relevan dengan pelaksanaan tugas dan syarat jabatan. SKKNI dibuat atas diberlakukannya perjanjian ASEAN Free Trade Area (AFTA)[5]_.

SKKNI sektor Teknologi Informasi Bidang Keahlian Programer Komputer tahun 2012 terdiri dari Kompetensi Umum, Kompetensi Inti, dan Kompetensi Khusus. Setiap Kompetensi dibagi kedalam Unit Kompetensi kemudian dijabarkan dalam Elemen Kompetensi. Elemen Kompetensi merupakan bagian kecil dari unit kompetensi yang mengidentifikasikan aktivitas yang harus dikerjakan untuk mencapai unit kompetensi tersebut. Setiap Elemen Kompetensi dijabarkan lagi menjadi Kriteria Unjuk Kerja yang merupakan bentuk pernyataan yang menggambarkan kegiatan yang harus dikerjakan untuk memperagakan hasil kerja/karya pada setiap elemen kompetensi.

Kompetensi Umum berisi management skill, team work, personal communication, communication skill, business skill, dan etika. Kompetensi Umum terdiri dari 13 Unit Kompetensi dan 43 Elemen Kompetensi. Kompetensi Inti berisi keahlian analisa algoritma dan pemrograman secara umum, terdiri dari 12 Unit Kompetensi dan 45 Elemen Kompetensi. Kompetensi Khusus berisi keahlian basis data, pemrograman web, multimedia, pemrograman assembly, dan program testing. Kompetensi Khusus terdiri dari 28 Unit Kompetensi dan 135 Elemen Kompetensi.

2.2 Analisa Item Tes

Analisis item tes adalah pengujian seluruh item tes yang didasarkan pada item empirik (data yang diperoleh dari hasil pengenaan tes yang sesungguhnya), agar diperoleh bukti mengenai kualitas item-item tes[6]_.

Kualitas tes hasil belajar ditentukan oleh kualitas dari item-itemnya. Untuk mengetahui apakah masing-masing butir tes itu mempunyai kualitas yang baik, maka dapat dilakukan analisis terhadap lima hal, yaitu: validitas, reliabilitas, tingkat kesukaran, daya beda dan efektivitas fungsi distraktor.Validitas

1. Validitas

Suatu tes dapat dikatakan valid yaitu apabila tes tersebut dapat mengukur apa yang hendak dan seharusnya diukur[7]_{. Salah satu}

teknik korelasi yang terkenal untuk menghitung validitas item adalah menggunakan teknik korelasi point biserial (rpbi), dengan rumus:

𝑟𝑝𝑏𝑖=

𝑀𝑝 − 𝑀𝑡 𝑆𝐷𝑡 √

𝑝

𝑞 (2.1) Keterangan:

rpbi = Koefisien korelasi point biserial

Mp = Relata skor dari subjekf yang menjawab betul

bagi item yang dicari validitasnya Mt = Relata skor total

SDt = Standar deviasi dari skor total

p = Proporsi test yang menjawab betul terhadap item yang sedang diuji validitasnya

q = Proporsi siswa yang menjawab salah

2. Reliabilitas

Reliabilitas tes adalah suatu tes yang memberikan hasil yang relative sama kapanpun tes itu diujikan kepada sejumlah testee yang sama[7]_{. Cara yang tepat untuk menentukan reliabilitas tes hasil}

belajar bentuk pilihan ganda secara langsung terhadap butir-butir tes hasil belajar adalah pendekatan single test-single trial yang berbentuk formula Kuder-Richardson dengan salah satu rumusnya yaitu KR-20.

𝑘𝑟20= [_{𝑛 − 1] [1 −}𝑛 ∑ 𝑝𝑖𝑞𝑖_𝑆𝑡2 ] (2.2)

Keterangan:

r11 = Koefisien reliabilitas tes

M = Mean atau rerata skor total n = Banyaknya butir item I = Bilangan konstan St2 _{= Varian total}

pi = Proporsi testee yang menjawab benar

qi = Proporsi testee yang menjawab salah

Kategori koefisien reliabilitas adalah sebagai berikut:

 0,80 < r11 < 1,00 reliabilitas sangat tinggi

 0,60 < r11 < 0,80 reliabilitas tinggi

 0,40 < r11 < 0,60 reliabilitas sedang

 0,20 < r11 < 0,40 reliabilitas rendah.

 -1,00 < r11 < 0,20 reliabilitas sangat rendah (tidak reliable).

3. Tingkat Kesukaran

Tingkat kesukaran adalah seberapa besar tingkat kesukaran suatu butir soal yang ditunjukkan dengan persentase siswa yang menjawab benar terhadap butir soal tersebut[7]_{. Angka indeks}

kesukaran (P) dapat diperoleh dengan membagi jumlah testee yang menjawab benar (Np) dengan jumlah peserta tes (N).

𝑃 =𝑁_{𝑁 (2.3)}𝑝 Besarnya indeks kesukaran antara 0,00 sampai dengan 1,00 artinya, soal dengan indeks kesukaran 0,00 menunjukkan bahwa soal itu terlalu sukar, sebaliknya indeks 1,00 menunjukkan bahwa soalnya terlalu mudah.

4. Daya Pembeda

Suatu item tes memiliki daya pembeda yaitu apabila item tes itu dapat dijawab benar oleh siswa kelompok atas (pandai) dan tidak dapat dijawab benar oleh siswa kelompok bawah (bodoh) [7]_{. Daya}

pembeda item dapat diketahui dengan melihat besar kecilnya angka indeks diskriminasi item. Angka indeks diskriminasi item adalah sebuah angka atau bilangan yang menunjukkan besarnya daya pembeda yang dimiliki oleh sebutir item.

Indeks diskriminasi item, umumnya diberi lambang D (discriminatory power). Seperti halnya indeks kesukaran, indeks diskriminasi (daya pembeda) ini berkisar antara 0,00 sampai 1,00. Hanya bedanya, indeks kesukaran tidak mengenal tanda negatif (-), tetapi pada indeks diskriminasi ada tanda negatif. Tanda negative pada indeks diskriminasi digunakan jika suatu soal "terbalik" menunjukkan kualitas testee. Artinya anak pandai disebut bodoh dan anak bodoh disebut pandai.

𝐷 =𝐵_𝐽𝐴

𝐴 =

𝐵𝐵

𝐽𝐵 = 𝑃𝐴− 𝑃𝐵 (2.4)

Keterangan

D = Discriminatory Power (Angka indeks diskriminasi item)

BA = Banyaknya testee kelompok atas yang menjawab

benar

BB = Banyaknya testee kelompok bawah yang

menjawab benar

JA = Banyaknya testee kelompok atas

(3)

PA = Proporsi testee kelompok atas yang menjawab

benar

PB = Proporsi testee kelompok bawah yang menjawab

benar

5. Efektifitas Fungsi Distraktor

Tujuan utama pemasangan distraktor pada setiap butir item itu adalah, agar dari sekian banyak testee yang mengikuti tes hasil belajar ada yang tertarik atau terangsang untuk memilihnya, sebab mereka menyangka bahwa distraktor yang mereka pilih itu merupakan jawaban betul[7]_{. Makin banyak testee yang terkecoh,}

maka distractor tersebut dapat menjalankan fungsinya dengan baik. Cara untuk menentukan, apakah suatu distraktor telah dapat menjalankan fungsinya dengan baik atau belum, maka dapat dianalisis menggunakan rumus:

𝐷𝑖𝑠𝑡𝑟𝑎𝑘𝑡𝑜𝑟 =𝐵𝑎𝑛𝑦𝑎𝑘𝑛𝑦𝑎 𝑡𝑒𝑠𝑡𝑒𝑒 𝑦𝑎𝑛𝑔 𝑚𝑒𝑚𝑖𝑙𝑖ℎ 𝑜𝑝𝑡𝑖𝑜𝑛_{𝐽𝑢𝑚𝑙𝑎ℎ 𝑝𝑒𝑠𝑒𝑟𝑡𝑎 𝑡𝑒𝑠 (𝑡𝑒𝑠𝑡𝑒𝑒)} 𝑋100% (2.5) Apabila distraktor tersebut sekurang-kurangnya sudah dipilih oleh 5% dari seluruh testee, maka distraktor itu telah berfungsi dengan baik. Sebaliknya apabila distraktor tersebut dipilih kurang dari 5% dari seluruh testee, maka distraktor itu belum berfungsi dengan baik.

2.3

Scrumban

Metode scrumban sendiri merupakan penggabungan dari metode Scrum dan Kanban. Scrum menyediakan kerangka kerja untuk proses pembangunan software yang iterative dan incremental, sedangkan Kanban memastikan visibilitas tinggi dari workflow dan identifikasi secepat mungkin kemacetan proses, sehingga memungkinkan proses pengembangan software terjadi secara kontinyu.

Scrum menyediakan kerangka kerja untuk proses pembangunan software yang iterative dan incremental, sedangkan Kanban memastikan visibilitas tinggi dari workflow dan identifikasi secepat mungkin kemacetan proses, sehingga memungkinkan proses pengembangan software terjadi secara kontinyu[4]_{. Scrumban mengkombinasikan yang}

terbaik dari keduanya dengan memasukkan setiap proses dari sprint ke dalam papan kanban. Menambahkan Work In Progress (WIP) dan visualisasi ke scrum akan meningkatkan efektifitas dan menutupi kelemahan scrum.

Satu hal yang paling mendasar dari Scrumban adalah hilangnya iterasi pada sprint, digantikan dengan proses yang sifatnya kontinyu. Jadi tidak harus menunggu satu requirement selesai untuk memulai pengembangan selanjutnya. Daily meeting hanya dilakukan seperlunya sesuai dengan kebutuhan tim untuk memastukan bahwa pekerjaan dilakukan secara kontinyu. Pembatasan WIP dilakukan per kolom dan akan membuat setiap proses di kolom menjadi lebih nyaman dan dilakukan secara maksimal.

Scrumban bisa diimplementasikan didalam team yang kecil pada kasus studi pembangunan perangkat lunak yang dilakukan oleh tiga testee dari Universitas Ljubljana. Proyek yang kecil memungkinkan tim mengembangan user story dari awal sampai akhir[4]. Kolom “_{Analysis &}

Design”, “Development”, “Testing”, dan “Documentation” disatukan menjadi satu kolom bernama “Development” dan diberi WIP sebanyak tiga. Setiap kartu pekerjaan yang ditolak dalam kolom “Acceptance” karena tidak sesuai dengan user story akan dihapus atau kembali ke kolom “Next” dan diberlakukan sebagai silver bullet yang mempunyai prioritas lebih tinggi dari kartu yang lainnya. Kolom “Deploy” dihilangkan karena proyek tidak mempunyai kostumer yang sesungguhnya atau eksperimental. Kemudian user story / kartu yang sudah disetujui Product Owner akan dipindahkan ke kolom “Done”. Papan Kanban yang akan digunakan pada penelitian ini ditunjukkan dalam Tabel 1.

Tabel 1. Papan Scrumban yang digunakan

Product Backlog

Sprint Backlog

Next Development Acceptance Done

3. METODOLOGI

3.1 Pengumpulan soal

Pengumpulan data dilakukan untuk dijadikan knowledge base di dalam sistem. Pengumpulan data dilakukan dengan membuat pemetaan Kompetensi Inti, Kompetensi Umum, dan Kompetensi Khusus dalam SKKNI sektor Teknologi Informasi Bidang Keahlian Programer. Kemudian selanjutnya dilakukan pencarian soal-soal yang sesuai dengan standar kompetensi yang dengan konsultasi Instruktur Pembimbing. Soal tersebut didapatkan dari soal-soal Olimpiade Sains Nasional bidang computer, internet, instruktur informatika UNS, serta buku-buku yang ada di Perpustakan UNS maupun Perpustakaan FMIPA UNS. Kemudian akan diperoleh data jenis kompetensi SKKNI dan soal yang akan diujikan.

3.2 Pengujian Paket Soal

Pengujian soal dilakukan menggunakan analisa item tes. Dilakukan menggunakan dua paket soal. Masing -masing paket berisi 50 soal yang diajak menggunakan aplikasi yang telah dibuat. Untuk mengacak soal, perangkat lunak ini menggunakan fungsi random dari software database MySQL yang disebut RAND(). Dengan komposisi 10 soal dari Kompetensi Umum, 20 soal dari Kompetensi Inti, 4 soal dari Kompetensi Khusus (Basis Data), 4 soal dari Kompetensi Khusus (Pemrograman Web), 4 soal dari Kompetensi Khusus (Multimedia), 4 soal dari Kompetensi Khusus (Assembly), 4 soal dari Kompetensi Khusus (Program Testing).

3.3 Requirement Gathering (User Story)

Pada tahapan ini, dilakukan requirement gathering yaitu mengumpulkan kebutuhan-kebutuhan dari product owner. Kegiatan ini dilakukan dengan metode wawancara. Setelah kebutuhan product owner dikumpulkan, kemudian dilakukan analisa proses bisnis terhadap hasil-hasil requirement gathering. Kegiatan ini menghasilkan user story yang sudah diprioritaskan berdasarkan cerita dari product owner.

3.4 Pembuatan

Product Backlog

dan

Sprint Backlog

Pembuatan product backlog dilakukan berdasarkan user story dari product owner. Pada product backlog terdapat fungsi-fungsi atau requirement. Setiap story diprioritaskan oleh product owner dan visualisasikan berupa card. Kemudian product backlog tersebut akan dipecah lagi menjadi sprint backlog dan kemudian baru bisa dimasukkan ke dalam kolom “Next” pada papan kanban hanya oleh product owner. Kolom “Next” diisi dengan stories yang terbatas dan diprioritaskan. Jika kolom “Next” sudah mencapai WIP maka card akan dikembalikan ke sprint backlog.

3.5 Analisa, Desain, dan Implementasi

(4)

dilakukan menggunakan bahasa HTML dan PHP. Pengujian sistem dilakukan dengan metode black box testing, terutama untuk fungsi-fungsi yang bersifat critical.

3.6 Acceptance

Sprint backlog yang sudah melalui tahap documentation kemudian akan masuk ke kolom “acceptance” dimana product owner akan memeriksa apakah implementasi stories sudah sesuai dan memenuhi semua requirement. Kemudian bisa dimasukkan ke dalam kolom “Done”. Jika tidak memenuhi maka card bisa dikembalikan ke dalam kolom “Next” dan diberlakukan sebagai silver bullet (mendapat prioritas tinggi).

4. PEMBAHASAN

4.1 Pengumpulan Soal

Seperti yang telah dijelaskan diatas bahwa SKKNI terdiri dari Kompetensi kemudian dijabarkan lagi menjadi Unit Kompetensi dan terakhir dijabarkan lagi menjadi Elemen Kompetensi dan Kriteria Unjuk Kerja. Pembuatan dilakukan dengan mencocokkan setiap Elemen Kompetensi yang disebutkan dengan soal-soal yang bersumber dari: 1. Instruktur Informatika Fakultas MIPA Universitas Sebelas Maret. 2. Olimpiade Sains Komputer (OSK) tahun 2012 -2013.

3. Buku-buku bank soal sertifikasi programmer. Contoh: Sun Certified Programmer for the Java Platform, Standard Edition 5.0.

4. Buku-buku yang berhubungan dengan teknologi informasi. Contoh: Software Engineering/Sixth Edition (Sommerville).

5. Testee jurusan D4 Kesehatan, Keselamatan, dan Keamanan Kerja terkait kompetensi inti K3.

6. Soal Ujian Nasional SMK Jurusan Multimedia. 7. Internet.

Contoh dari penjabaran unit kompetensi Membuat Algoritma Pemrograman yang terdapat pada Kompetensi Inti ditunjukkan pada Gambar 1.

Gambar 1. Unit Kompetensi

Untuk melewati Unit Kompetensi tersebut dibutuhkan pengetahuan tentang varian dan invarian, alur logika pemrograman, array, operasi file, prosedur dan fungsi, dan library pemrograman yang dijelaskan pada Elemen Kompetensi. Programer diharuskan mengerti tipe data, variabel, dan konstanta untuk dapat memenuhi syarat dari Elemen Kompetensi menjelaskan varian dan invarian yang dijelaskan dalam Kriteria Unjuk Kerja. Berikut adalah contoh soal Elemen Kompetensi menggunakan prosedur dan array.

function abc(a:integer) : integer; begin

abc :=a*3-(a mod 7); {a}

end;

function ghi(x:integer;b:integer):integer; begin

if (b=1) then ghi := x

else

ghi := (x* ghi(x,b-1)) mod 100; end;

function def(a:integer; b:integer) : integer; begin

if (b mod 2 = 1) and (b>500) then def := ghi(a,b) mod 100 {b}

Else

def:=def(a, abc(b)) ; end;

Berapakah hasil dari pemanggilan fungsi def(7,100) ? a. 1

b. 7 c. 43 d. 49

e. Jawaban A,B,C,D salah

(OSN 2013 No. 50)

Notasi algoritma pada bagian algoritmika menggunakan pseudopascal yang pada intinya seperti pascal tetapi tidak serinci pascal karena diutamakan pada konsep logika di dalam algoritma[8]_{. Untuk bisa}

mengerjakan soal tersebut seorang programer harus bisa mengerti konsep penggunaan kembali, prosedur, dan fungsi seperti yang dijelaskan dalam Kriteria Unjuk Kerja. Keseluruhan soal yang terkumpul ditunjukkan pada Tabel 2.

Tabel 2. Jumlah Soal yang terkumpul Nama Kompetensi Jumlah

Kompetensi Umum Kompetensi Inti

Kompetensi Khusus (Basis Data) Kompetensi Khusus (Pemrograman Web) Kompetensi Khusus (Multimedia) Kompetensi Khusus (Assembly) Kompetensi Khusus (Program Testing)

66 Soal 141 Soal 113 Soal 166 Soal 9 Soal 5 Soal 4 Soal

Jumlah Keseluruhan 508 Soal

4.2 Pengujian Paket Soal

(5)

dengan komposisi yang disebutkan. Dilakukan dua kali pengujian, pengujian pertama testee diambil dari campuran testee S1 Informatika, testee D3 Teknik Informatika, dan lulusan S1/D3 di bidang komputer. Pada pengujian yang kedua, testee diambil dari testee D3 Teknik Informatika Universitas Sebelas Maret. Tabel 3 menunjukkan hasil analisa item tes paket 1 pengujian pertama.

Tabel 3. Analisa Item Tes Paket 1 Pengujian Pertama Analisa

Validitas 20 soal valid

Nilai kritis r = 0,2353 (df=48; α=0,05; penelitian satu

arah)

Reliabilitas KR-20 = 0,36 (rendah)

Analisa item tes paket 1 pengujian kedua ditunjukkan pada Tabel 4.

Tabel 4. Analisa Item Tes Paket 1 Pengujian Kedua Analisa

arah)

Reliabilitas KR-20 = 0,353 (rendah)

Digunakan nilai kritis r = 0,2353 dengan derajat bebas 48 dan signifikasi (α) sebesar 5% atau 0,05. Dari dua kali pengujian dihasilkan hasil yang tidak jauh berbeda. Terdapat 20 dan 19 soal yang dinyatakan valid/bisa mengukur apa yang seharusnya diukur. Reliabilitas berada pada angka 0,36 dan 0,353 (KR-20) dan masih tergolong rendah. Hal ini disebabkan karena paket 1 berisi banyak perhitungan algoritma sehingga menyebabkan testee kesulitan menjawab. Jika dibandingkan dengan paket 2 maka paket 1 memiliki lebih banyak perhitungan algoritma

dibandingkan dengan teori. Analisa item tes paket 2 pengujian pertama ditunjukkan pada Tabel 5.

Tabel 5. Analisa Item Tes Paket 2 Pengujian Pertama Analisa

arah)

Reliabilitas KR-20 = 0,548 (sedang)

Analisa item tes paket 2 pengujian kedua ditunjukkan pada Tabel 6.

Tabel 6. Analisa Item Tes Paket 2 Pengujian Kedua Analisa

Nilai kritis r = 0,2353(df=48; α=0,05; penelitian satu

arah)

Reliabilitas KR-20 = 0,551 (sedang)

Pada pengujian paket soal yang kedua juga menghasilkan hasil yang tidak jauh berbeda. Terdapat 20 dan 23 soal yang dinyatakan valid/bisa mengukur apa yang seharusnya diukur. Reliabilitas berada pada angka 0,548 (KR-20) dan tergolong memiliki tingkat reliabilitas sedang. Tingkat kesukaran juga bervariasi pada masing masing soal. Dan masih sama, soal yang berisi teori rata-rata memiliki tingkat kesukaran rendah sementara soal yang berisi perhitungan/algoritma selalu memiliki tingkat kesukaran yang tinggi.

(6)

jika terlalu mudah semua testee akan menjawab pertanyaan yang sama dan jika terlalu sulit semua testee akan mengacak jawaban sehingga distraktor menjadi terlalu besar. Kemudian keseluruhan hal tersebut akan berimbas pada validitas soal dan reliabilitas soal keseluruhan.

4.3 Requirement Gathering (User Story)

Karena penelitian ini berfokus pada pengembangan bank soal maka kebanyakan user story berkaitan dengan proses managemen soal seperti penambahan soal, pengelompokan soal berdasarkan standar kompetensi, pengacakan soal untuk ujian, dan analisa soal. Aplikasi ini memungkinkan admin dan instruktur untuk melakukan pengelolaan soal sehingga bank soal bisa selalu bertambah dan diperbaharui. Semakin banyak soal yang terkumpul maka akan semakin bagus karena akan membuat soal ujian akan semakin bervariasi dan tidak monoton.

4.4 Pembuatan

Product Backlog

dan

Sprint Backlog

Product backlog dibuat dari user story. Dimana user story yang didapat dari product owner dianalisis kemudian dibuat requirement sistem yang sesuai dengan cerita dari product owner seperti yang ditunjukan dalam Tabel 7. Prioritas ditentukan berdasarkan tingkat urgensi dari requirement terhadap aplikasi assessment programer.

Tabel 7. User Story dan Product Backlog

User Story Product Backlog Prioritas 1.Pemetaan soal berdasarkan

Jenis Kompetensi, Unit Kompetensi, dan Elemen Kompetensi

Admin dan instruktur dapat mengelola soal berdasarkan standar Kompetensi, dan Elemen Kompetensi

Admin dan instruktur dapat membuat soal berdasarkan standar kompetensi

Tinggi

3.Sementara sistem dibuat dalam lingkup universitas (Admin, Instruktur, Testee)

Admin dapat mengelola akun testee dan

Admin, instruktur, dan testee bisa mengedit profil mereka

Rendah

4.Pengelolaan ujian untuk testee

Admin dan instruktur dapat mengelola ujian

Sedang

Testee bisa mengikuti ujian

Sedang

Admin, instruktur, dan testee bisa melihat nilai

Rendah

5.Random number generator digunakan untuk membuat paket soal saat ujian

Admin dan instruktur dapat mengacak soal ujian berdasarkan komposisi

Sedang

Kemudian product backlog yang ada ditransformasikan menjadi sprint backlog. Sprint backlog kemudian dipecah lagi menjadi card di yang berada dalam kolom next dalam papan Kanban yang ditunjukkan dalam Tabel 8. WIP pada kolom Development dan Acceptance diatur sebanyak tiga buah card maksimal.

Tabel 8. Sprint Backlog dan Next (Card)

Sprint Backlog Next (Card) 1.Admin dapat mengelola akun

testee dan instruktur

1.1 Halaman Admin 1.2 Halaman Instruktur 1.3 Halaman Testee

1.4 Mengelola akun testee (admin page)

1.5 Mengelola akun Instruktur (admin Page)

2.Admin dan instruktur dapat menambah soal berdasarkan standar kompetensi

2.1 Menambah soal dengan keterangan gambar dan mengelompokkannya

berdasarkan Jenis Kompetensi -> Unit Kompetensi -> Elemen Kompetensi

3.Admin dan instruktur dapat mengelola soal berdasarkan standar kompetensi

3.1 Melihat soal dan detailnya berdasarkan Jenis Kompetensi -> Unit Kompetensi -> Elemen

5.1 Mengatur komposisi soal dari segi Jenis Kompetensi dan merandom soal berdasarkan komposisi yang telah dibuat dari database

5.2 Menampilkan soal ujian 6.Testee bisa mengikuti ujian 6.1 Mengikuti ujian berdasarkan

kelas dan waktu yang ditentukan 6.2 Mengikuti remidi

6.3 Mencetak sertifikat 7.Admin, instruktur, dan testee

bisa melihat nilai

7.1 Melihat nilai testee (admin page & halaman instruktur) 7.2 Melihat nilai (testee) 8.Admin bisa mencari testee dan

instruktur

8.1 Pencarian akun testee dan instruktur berdasarkan nama 9.Admin, instruktur, dan testee

bisa mengedit profil mereka

9.1 Mengganti info profil 9.2 Mengganti pasword 9.3 Mengganti avatar

4.5 Analisa, Desain dan Implementasi Sistem

(7)

Gambar 2. Context Diagram Aplikasi Assessment Programer

Soal yang telah dibuat dan bisa ditambahkan ke dalam database lewat interface yang ditunjukkan oleh Gambar 2. Penambahan soal harus menyertakan kompetensi yang terkait dan keterangan gambar (jika ada).

Gambar 3. Tambah Soal

Soal yang masuk ke dalam database dan akan terindeks sesua dengan standar kompetensinya seperti yang ditunjukkan dalam Gambar 3. Interface ini digunakan untuk melihat soal yang sudah masuk ke dalam database dan terdapat pilihat edit/hapus masing-masing soalnya.

Gambar 4. Mengelola Soal

Sistem dibuat dengan bahasa pemrograman PHP dan menggunakan software database MySql. Tahap pengujian dilakukan dengan menggunakan blackbox testing terutama untuk fungsi-fungsi yang bersifat critical.dan memiliki prioritas tinggi di dalam product backlog.

Daily meeting pada proses pengembangan software dilakukan seperlunya sesuai dengan kebutuhan tim untuk memastukan bahwa pencarian soal dan pengembangannya dilakukan secara kontinyu. Rancangan database Aplikasi Assesment Programer ditunjukkan pada Gambar 5.

(8)

4.6 Acceptance

Card yang sudah melalui tahap development (analysis, desain, implementation) kemudian diperiksa oleh product owner. Product owner memeriksa apakah implementasi stories sudah sesuai dan memenuhi semua requirement. Terdapat satu card yang ditolak oleh product owner seperti yang dijelaskan dalam Tabel 9.

Card Status Alasan Perbaikan

7.2 Melihat nilai ujian yang diikuti (testee)

Ditolak 1. Tidak bisa

melihat detail jawaban 2. Tidak ada

remidi jika tidak lulus ujian

3. Tidak ada sertifikat jika dinyatakan lulus

1. Dibuat halaman baru untuk melihat detail jawaban soal testee

2. Dibuat card baru dengan fungsi

mengelola remidi

3. Dibuat card baru dengan fungsi

mencetak sertifikat

5. KESIMPULAN DAN SARAN

Kesimpulan dari penelitian ini adalah:

1. Penelitian ini telah menghasilkan 508 soal yang dibuat berdasarkan acuan SKKNI Sektor Teknologi Informasi Bidang Keahlian Programer Komputer dan Program Aplikasi Assesment Programer yang dibuat dengan metode Scrumban untuk menampung, memetakan, dan mengujikan soal-soal tersebut.

2. Penelitian ini telah menganalisa 100 butir soal dengan analisa item tes. KR-20 pada paket 1 bernilai 0,36 dan 0,353 (reliabilitas rendah) dan KR-20 pada paket 2 bernilai 0,548 dan 0,551 (reliabilitas sedang). Sementara itu 20 (uji pertama) dan 19 (uji kedua) soal dinyatakan valid pada paket 1. 20 (uji pertama) dan 23 (uji kedua) soal dinyatakan valid pada paket 2.

3. Simplified Scrumban bisa diaplikasikan dalam pengembangan software dengan lingkup dan tim yang kecil.

4. Pembuatan soal tidak boleh terlampau sulit maupun terlampau mudah karena akan menghasilkan daya pembeda yang rendah dan distraktor atau pilihan ganda menjadi tidak efektif.

Saran untuk pengembangan penelitian selanjutnya adalah: 1. Dilakukan analisa item terhadap semua soal.

2. Dilakukan pembobotan masing-masing soal berdasarkan analisa item tes yang dilakukan. Soal dikategorikan berdasarkan tingkat kesulitan (mudah, sedang, sulit) dan alokasi waktu pengerjaan soal (time estimation).

3. Bekerja sama dengan lembaga sertifikasi di bidang informatika.

6. DAFTAR PUSTAKA

[1] Republik Indonesia. 2012. Peraturan Menteri Tenaga Kerja dan Transmigrasi Republik Indonesia Nomor 5 Tahun 2012 Tentang Sistem Standarisasi Kompetensi Kerja Nasional. Jakarta: Sekretariat Kementrian Tenaga Kerja dan Transmigrasi.

[2] Sanusi, Sri R. 2010. Beberapa Uji Validitas dan Reliabilitas pada Instrumen Penelitian. Sumatera Utara: Departemen Biostatistika dan Kependudukan Fakultas Kesehatan Universitas Sumatera Utara.

[3] Dhawan, Sanjeev, dan Divendu Kumar Mishra. 2012. A Pragmatic Study of Tools Used in Agile Software Development. International Journal of Emerging Technologies in Computational and Applied Sciences (IJETCAS), 74-77. [4] Mahnic, Viljan. 2014. Improving Software Development

through Combination of Scrum and Kanban. Recent Advances in Computer Engineering, Communications and Information Technology, 281-288.

[5] Republik Indonesia. 2012. Keputusan Menteri Tenaga Kerja dan Transmigrasi No. 615 Tahun 2012 tentang Penetapan Rancangan Standar Kompetensi Kerja Nasional Indonesia Sektor Teknologi Informasi Bidang Keahlian Programmer Komputer Menjadi Standar Kompetensi Kerja Nasional Indonesia. Jakarta: Sekretariat Kementrian Tenaga Kerja dan Transmigrasi.

[6] Azwar, Saifuddin. 2000. Tes Prestasi (Fungsi Pengembangan Pengukuran Prestasi Belajar). Yogyakarta: Pustaka Pelajar offset.

[7] Sugiyono, 2010. Metode Penelitian Pendidikan (Pendekatan Kuantitatif, Kualitatif, dan R&D). Bandung: Alfabeta. [8] TOKI, 2013. Olimpiade Sains Tingkat Kabupaten/Kota Bidang

Pengembangan Aplikasi Assessment Program Uang