Untuk mengetahui performa metode yang diajukan di dalam penelitian ini, maka pengujian dilakukan dengan cara membandingkan pengetahuan yang dimiliki oleh seorang ahli dengan keluaran yang dihasilkan oleh kakas bantu. Ahli bertindak sebagai penguji pertama, kakas bantu bertindak sebagai penguji kedua.
Sedangkan analisis terhadap hasil pengujian dilakukan dengan menggunakan indeks Kappa (Cohen, 1960). Indeks Kappa menunjukkan proporsi kesepakatan antara dua penguji, dalam hal ini yaitu ahli sebagai penguji pertama dan kakas bantu sebagai penguji kedua. Indeks Kappa digunakan untuk menganalisis hasil pengujian karena tidak adanya data set dalam penelitian ini. Disamping itu, subyektivitas dari seorang ahli rekayasa kebutuhan sebagai penguji pertama adalah pertimbangan lain mengapa indeks Kappa digunakan untuk menganalisis hasil pengujian.
κ = P(A) – P(E) / 1 - P(E) …...(4.1)
κ = indeks Kappa
P(A) = proporsi berapa kali para penguji diamati setuju P(E) = proporsi berapa kali para penguji diharapkan setuju
Tabel 4.1 Interpretasi Nilai Indeks Kappa (Landis & Koch, 1977) Nilai Indeks Kappa Proporsi Kesepakatan
Dalam penelitian ini telah dilakukan 65 pengujian dengan menggunakan 65 buah kalimat pernyataan kebutuhan (Hussain, 2007). Untuk lebih detailnya
dapat dilihat di Lampiran A. Ruang lingkup untuk pengujian ini terbatas pada 25 domain permasalahan. Terjadi 1 kali misclassification dalam mendeteksi ambiguitas, dimana kalimat yang tidak ambigu menurut ahli dideteksi sebagai kalimat yang ambigu oleh kakas bantu yang telah dihasilkan pada tahap implementasi (Kalimat nomor 13 pada Lampiran A).
Berikut ditampilkan 4 pengujian beserta analisis terhadap hasilnya.
Snapshot 65 pengujian dapat dilihat di Lampiran B.
1. Kalimat: ”As the main incoming channel for cases is frequently the telephone, the system must have sub-second response times and be intuitive to use.”.
Gambar 4.1 Pengujian 1
Kalimat ”As the main incoming channel for cases is frequently the telephone, the system must have sub-second response times and be intuitive to use.” dideteksi
sebagai kalimat yang bersifat ambigu oleh kakas bantu karena kalimat tersebut mengandung pola frequently/RB yang bersifat ambigu.
2. Kalimat: ”A case may involve a single or multiple requests requiring approval, and security may be needed to restrict who can make these decisions, depending on the organisation building the application using this framework.”.
Gambar 4.2 Pengujian 2
Kalimat ”A case may involve a single or multiple requests requiring approval, and security may be needed to restrict who can make these decisions, depending on the organisation building the application using this framework.” dideteksi sebagai kalimat yang bersifat ambigu oleh kakas bantu karena kalimat tersebut mengandung pola multiple/JJ + NNS yang bersifat ambigu.
3. Kalimat: ”A Flexible Manufacturing System (FMS) is a computerized factory production entity, composed of numerically controlled machines, an automatic inventory system for storing raw, temporary in-process, and finished pieces, and an automatic guided vehicle system (AGV) for moving pieces, which can operate on different types of pieces.”.
Gambar 4.3 Pengujian 3
Kalimat tersebut dideteksi sebagai kalimat yang ambigu oleh kakas bantu, namun ahli menilainya sebagai kalimat yang tidak ambigu. Terjadi misclassification.
4. Kalimat: ”If an idle machine is found, the piece is transported there; otherwise, the piece is moved to the temporary store Store_tmp.”.
Gambar 4.4 Pengujian 4
Kalimat tersebut dideteksi sebagai kalimat yang tidak ambigu oleh kakas bantu karena semua aturan berhasil dilewati.
Tabel 4.2 Jawaban Ahli dan Kakas Bantu
Kakas Bantu
Ambigu Tidak Ambigu
Ahli Ambigu 42 0
Tidak Ambigu 1 22
Setiap pernyataan kebutuhan diuji oleh ahli dan sebuah kakas bantu. Ahli maupun kakas bantu memiliki dua kemungkinan jawaban: ambigu atau tidak ambigu. Berdasarkan tabel 4.2 di atas terlihat bahwa 42 buah pernyataan kebutuhan dinyatakan ambigu oleh ahli maupun kakas bantu dan 22 buah
pernyataan kebutuhan dinyatakan tidak ambigu. Berdasarkan data tersebut maka P(A) = (42 + 22) / 65 = 0.9846. Kemudian untuk menghitung P(E) dilakukan dengan cara sebagai berikut:
1. Ahli menjawab ambigu sebanyak 42 kali dan tidak ambigu sebanyak 23 kali, maka prosentase ahli menjawab ambigu = 64.61 %
2. Kakas bantu menjawab ambigu sebanyak 43 kali dan tidak ambigu sebanyak 22 kali, maka prosentase kakas bantu menjawab ambigu = 66.15
%
3. Probabilitas para penguji menjawab ambigu adalah 0.6461 * 0.6615 = 0.4273
4. Probabilitas para penguji menjawab tidak ambigu adalah 0.3539 * 0.3385
= 0.1197
5. P(E) = 0.4273 + 0.1197 = 0.547
Setelah itu nilai κ (indeks Kappa) dapat ditentukan dengan mudah:
κ = ( 0.9846 – 0.547) / (1-0.547) = 0.9660. Hal ini menandakan bahwa pada ruang lingkup 25 domain permasalahan tersebut, metode yang diajukan didalam penelitian ini memiliki performa yang lebih baik.
Jika tanpa menggunakan WordNet, performa metode tidak sebaik performa metode dengan menggunakan WordNet. Berikut ditampilkan analisis secara lengkap:
Tabel 4.3 Jawaban Ahli dan Kakas Bantu Tanpa WordNet Kakas Bantu A). Indeks Kappa dihitung dengan cara mencari nilai P(A) terlebih dahulu. P(A) =
(31 + 22) / 65 = 0.8153. Kemudian untuk menghitung P(E) dilakukan dengan cara sebagai berikut:
(a) Ahli menjawab ambigu sebanyak 43 kali dan tidak ambigu sebanyak 22 kali, maka prosentase ahli menjawab ambigu = 66.15 %
(b) Kakas bantu menjawab ambigu sebanyak 31 kali dan tidak ambigu sebanyak 34 kali, maka prosentase kakas bantu menjawab ambigu = 47.69%
(c) Probabilitas para penguji menjawab ambigu adalah 0.6615 * 0.4769 = 0.3154
(d) Probabilitas para penguji menjawab tidak ambigu adalah 0.3385 * 0.5231
= 0.1770
(e) P(E) = 0.3154 + 0.1770 = 0.4924
Setelah itu nilai κ (indeks Kappa) dapat ditentukan dengan mudah:
κ = ( 0.8153 – 0.4924) / (1-0.4924) = 0.3229 / 0.5076 = 0.6361
Untuk mengetahui apakah metode yang diajukan didalam penelitian ini mampu menganalisis ambiguitas diluar ruang lingkup 25 domain permasalahan (Hussain, 2007), maka dilakukan pengujian dengan menggunakan 26 buah kalimat yang berada diluar ruang lingkup 25 domain permasalahan tersebut (Lampiran C). Berikut ditampilkan analisis secara lengkap:
Tabel 4.4 Jawaban Ahli dan Kakas Bantu
Kakas Bantu
Ambigu Tidak Ambigu
Ahli Ambigu 15 0
Tidak Ambigu 1 10
Berdasarkan tabel 4.4 di atas terlihat bahwa terjadi 1 kali misclassification dalam mendeteksi ambiguitas, dimana kalimat yang tidak ambigu menurut ahli, dideteksi sebagai kalimat yang ambigu oleh kakas bantu. Indeks Kappa dihitung dengan cara mencari nilai P(A) terlebih dahulu. P(A) = (15 + 10) / 26 = 0.9615.
Kemudian untuk menghitung P(E) dilakukan dengan cara sebagai berikut:
1. Ahli menjawab ambigu sebanyak 15 kali dan tidak ambigu sebanyak 11 kali, maka prosentase ahli menjawab ambigu = 57.69 %
2. Kakas bantu menjawab ambigu sebanyak 16 kali dan tidak ambigu sebanyak 10 kali, maka prosentase kakas bantu menjawab ambigu = 61.53
%
3. Probabilitas para penguji menjawab ambigu adalah 0.5769 * 0.6153 = 0.3549
4. Probabilitas para penguji menjawab tidak ambigu adalah 0.4231 * 0.3847
= 0.1627
5. P(E) = 0.3549 + 0.1627 = 0.5176
Setelah itu nilai κ (indeks Kappa) dapat ditentukan dengan mudah:
κ = ( 0.9615 – 0.5176) / (1-0.5176) = 0.4439 / 0.4824 = 0.9202. Hal ini menandakan bahwa diluar ruang lingkup 25 domain permasalahan yang digunakan pada penelitian sebelumnya, metode yang diajukan didalam penelitian ini memiliki performa yang lebih baik. Disamping itu, fakta tersebut juga membuktikan bahwa daftar kata-kata yang tidak diinginkan memiliki ruang lingkup yang lebih luas daripada penelitian sebelumnya.
BAB V KESIMPULAN
Adapun kesimpulan dari penelitian ini yaitu:
1. Pengujian yang dilakukan pada ruang lingkup 25 domain permasalahan menghasilkan indeks Kappa sebesar 0.9660. Hal ini menandakan bahwa pada ruang lingkup 25 domain permasalahan tersebut, metode yang diajukan didalam penelitian ini memiliki performa yang lebih baik.
2. Pengujian yang dilakukan diluar ruang lingkup 25 domain permasalahan menghasilkan indeks Kappa sebesar 0.9202. Hal ini menandakan bahwa diluar ruang lingkup 25 domain permasalahan tersebut, metode yang diajukan didalam penelitian ini memiliki performa yang lebih baik.
Disamping itu, fakta tersebut juga membuktikan bahwa daftar kata-kata yang tidak diinginkan memiliki ruang lingkup yang lebih luas daripada penelitian sebelumnya.
3. Telah dihasilkan sebuah kakas bantu untuk menganalisis ambiguitas kebutuhan perangkat lunak berdasarkan acuan SMART Requirements.