1 BAB I PENDAHULUAN
1.1 Gambaran Umum Objek Penelitian 1.1.1 E-Rater dan Criterion
Criterion merupakan alat pembelajaran yang menggunakan scoring engine E-rater dan saat ini telah dikembangkan oleh ETS. E-Rater pertama kali dikembangkan oleh Burstein dengan menggunakan kombinasi teknik statistika dan Natural Language Processing (NLP) untuk mengekstrak fitur linguistik dari essay yang akan dinilai. Untuk membangun model, E-Rater dilatih dengan 270 essay yang sudah dinilai manusia. Hasilnya sangat baik, dengan menunjukkan kemiripan dengan penilaian manusia mencapai 87%-94% (Valenti et al., 2003). Minimum software requirements-nya adalah Microsoft Windows (2000/XP/Vista), Machintosh OS 9.2 atau yang terbaru, Microsoft Internet Explorer 6.0-7.0, Firefox 2.0-3.0 atau Safari, Javascript dan koneksi internet dengan kecepatan 100Mbps atau lebih cepat dari itu. Pembelian software hanya diizinkan untuk institusi, harga bervariasi tergantung pada jumlah siswa per sesi dan per tahun. Selain itu, ada enam lokakarya pelatihan, yang masing-masing berharga $300. Semua pengguna kriteria baru diharuskan untuk membeli setidaknya satu sesi latihan. Informasi lebih lanjut tersedia dari [email protected] atau [email protected].
1.1.2 R Software
R adalah salah satu dari program gratis (open source) pengolahan data statistik dan grafis. R pertama kali diciptakan oleh dua statistikawan asal Selandia Baru yang bernama Ross Ihaka dan Robert Gentleman (nama R berasal dari huruf pertama nama depan kedua orang ini). R diluncurkan pertama kali pada tahun 1997. R menyediakan berbagai statistik seperti linear and nonlinear modelling, classical statistical tests, time-series analysis, classification, clustering dan teknik grafis. R memiliki package-package statistikal yang dapat didownload secara gratis website R. (http://www.r‐project.org/ diakses pada 20 Oktober 2014).
2 1.1.3 Universitas Telkom
Universitas Telkom (disingkat Tel-U)- merupakan penggabungan dari beberapa institusi yang berada dibawah badan penyelenggara Yayasan Pendidikan Telkom (YPT) yaitu IT Telkom, IM Telkom, Poltek Telkom dan STISI Telkom. Tel-U mengkhususkan program studinya pada bidang “Information and Communications Technologies, Management and Creative Industries” sebagai jawaban atas tuntutan perkembangan industri TIK yang begitu pesat. Tel-U mencanangkan di tahun 2017 nanti akan menjadi perguruan tinggi berkelas internasional yang unggul di bidang Infokom dan menjadi agen perubahan dalam membentuk insan cerdas dan kompetitif (www.telkomuniversity.ac.id diakses pada 15 September 2014).
1.1.4 Program Studi Manajemen Bisnis Telekomunikasi dan Informatika (MBTI)
Program studi Manajemen Bisnis Telekomunikasi dan Informatika (MBTI) Universitas Telkom adalah salah satu program studi S1 dari Fakultas Ekonomi dan Bisnis yang merupakan perguruan tinggi yang dikelola oleh Yayasan Pendidikan Telkom (YPT). Menurut website Universitas Telkom, program studi Manajemen Bisnis Telekomunikasi dan Informatika (MBTI) memiliki tujuan sebagai berikut yaitu: “Menghasilkan penelitian yang fokus pada pengembangan ilmu pengetahuan serta peningkatan kesejahteraan masyarakat”. MBTI juga memiliki program kelas Internasional yang memiliki mahasiswa asing dan kerjasama dengan universitas maupun industri luar negeri dalam pelaksanaan kurikulumnya (www.telkomuniversity.ac.id diakses pada 15 September 2014).
1.2 Latar Belakang Penelitian
Perkembangan teknologi internet dan komputer mengalami kemajuan yang sangat pesat baik di Indonesia maupun di dunia. Usaha konvensional secara perlahan mulai mengalami pergeseran, karena dianggap kurang efektif dibandingkan bisnis modern yang memanfaatkan teknologi internet dan komputer. Hal ini telah menyentuh berbagai aspek kehidupan bahkan termasuk pendidikan. Salah satu fenomena pemanfaatan teknologi internet dan komputer di dunia pendidikan adalah kemunculan E-Learning atau electronic learning. Pada prinsipnya, e-learning adalah
3
pembelajaran yang menggunakan jasa elektronika sebagai alat bantunya. (http://ekonomi.kompasiana.com diakses pada 01 Desember 2014).
MOOC (Massive Open Online Course) merupakan salah satu contoh metode pembelajaran e-learning yang mengandalkan konten digital sebagai media pembelajarannya. Istilah MOOC pertama kali digagas oleh Bryn Alexander dan Dave Cormier dalam sebuah course terbuka yang diselenggarakan oleh George Siemens dan Stephen Downes. MOOC merupakan salah satu perwujudan dari teori belajar connective, bahwa suatu pengetahuan dibangun oleh jejaring yang relevan, sehingga MOOC dapat terselenggara jika memiliki kunci utama yaitu jejaring. MOOC adalah solusi terbaik untuk pengembangkan kemampuan diri yang terhalang oleh jarak dan waktu, ataupun biaya karena biasanya MOOC bersifat gratis namun tidak sedikit portal MOOC yang mengharuskan pendaftaran dan membayar iuran (http://www.seamolec.org diakses pada 01 Desember 2014). E-Learning merupakan bagian dari e-business karena pembelajaran menjadi salah satu proses bisnis utama dari suatu organisasi. Misalnya, perusahaan yang menyediakan e-learning bagi pembelajaran karyawan pada intranetnya seperti contoh Cisco Systems yang membuka kelas online. Cisco dalam satu tahun dapat menghasilkan 16 Dollar untuk setiap 1 Dollar yang dihabiskan pada program e-learning (Kelly dan Nanjiani, 2004). Dalam konsep e-learning, aktifitas pembelajaran, pemberian tugas serta ujian dapat dilakukan secara online. Hal ini memberikan keuntungan bagi pengajar dan siswa karena sistem evaluasi dengan bantuan komputer dapat memberikan penilaian lebih cepat dan akurat terutama untuk penilaian essay (Putri Ratna et al., 2006). Menurut wawancara dengan Ratri Wahyuningtyas (2014), essay dapat mendorong mahasiswa untuk berpikir logis dan kreatif, merangsang pola pikir dan merangsang kemampuan problem solving. Kemampuan analisis mahasiswa juga dapat diukur melalui pengerjaan essay.
Menurut wawancara dengan Irni Yunita (2015), grammar dan struktur kalimat merupakan dua hal yang sering menjadi kendala bagi staff pengajar Universitas Telkom khususnya sub-prodi MBTI Internasional dalam memeriksa paper atau tugas berbentuk essay karena menggunakan bahasa inggris. Dalam upayanya menjadi sebuah World Class University, bahasa inggris merupakan suatu skill yang wajib
4
dimiliki oleh setiap mahasiswa dan staff pengajar Universitas Telkom khususnya sub-prodi MBTI Internasional karena di dalamnya terdapat 20% mahasiswa yang berasal dari luar Indonesia. Tidak hanya tugas, percakapan serta perkuliahan pun wajib menggunakan bahasa inggris. Jumlah pengajar di MBTI Internasional pun terbatas, hanya terdapat sekitar 14 staff pengajar.
Penilaian essay secara tradisional bergantung pada manusia sebagai penilai (human raters). Penilaian manusia memiliki keterbatasan kognitif sehingga dapat menimbulkan bias di akhir penilaian dan juga membutuhkan waktu yang banyak dalam memeriksanya. Tabel berikut ini akan menjelaskan beberapa error dan bias yang sering terjadi pada penilaian dengan manusia (human raters). Tabel di bawah ini akan mendeskripsikan beberapa kesalahan umum dari penilaian manusia (human raters).
Tabel 1.1
Deskripsi Beberapa Bias dan Kesalahan dari Penilaian Manusia (Human
Raters)
Indikator Pengertian
Kemurahan Hati (Severity)
Fenomena dimana penilai membuat penilaian pada dimensi yang sama namun beberapa penilai cenderung konsisten memberikan penilaian yang tinggi (kelonggaran) sedangkan penilai yang lain cenderung konsisten memberikan skor yang rendah sehingga terjadi bias.
Penyusutan Skala Terjadi ketika penilai tidak menggunakan kategori dalam skala penilaian.
Inkonsistensi
Terjadi ketika penilai memberikan penilaian secara tak menentu karena pemahaman yang berbeda dan interpretasi dari rubrik.
Halo Effect
Terjadi ketika kesan penilai terhadap suatu pelajar atau mahasiswa yang dinilainya.
5 (sambungan)
Rater Drift Kriteria penilaian yang dibuat oleh kelompok atau individu penilai tidak konsisten dari waktu ke waktu.
Perbedaan Persepsi Perbedaan persepsi antara penilai dengan murid/mahasiswa Sumber: Zhang, 2013
Penilaian essay secara otomatis (automated essay scoring) memiliki potensi untuk memberikan solusi terhadap kelemahan human raters. Kekuatan utama dari automated essay scoring terdapat pada segi efisiensinya yaitu (Williamson et al., 1999) :
1. Granularity, yaitu dapat mengevaluasi essay dengan spesifikasi rinci 2. Objectivity, yaitu dapat mengevaluasi essay tanpa dipengaruhi oleh emosi
dan persepsi
3. Consistency, yaitu dapat berlaku persis seperti kriteria penilaian manusia 4. Reproducibility, yaitu dapat menerima persis skor yang sama dari waktu
ke waktu
5. Tractability, yaitu dapat menjelaskan dasar dan penalaran dari automated essay scoring itu sendiri
Dari segi logistical strenghts, automated essay scoring dapat melakukan quick re-scoring sehingga dapat mengurangi biaya dalam perekrutan sumber daya manusia (khususnya dalam penilaian skala besar) dan ketepatan waktu dalam mengumpulkan laporan hasil penilaian. Automated essay scoring juga dapat menilai beberapa aspek diantaranya grammar, mekanika penulisan, plagiarisme (beberapa sistem) serta penggunaan kata (Zhang, 2013).
Menurut wawancara dengan Ratri Wahyuningtyas (2014), penilaian essay di Universitas Telkom masih bersifat tradisional (manual) dan hal ini harus dikembangkan apabila akan menerapkan sistem penilaian essay secara otomatis. Pengembangan sistem merupakan suatu investasi yang mengandung resiko. Untuk mengetahui resiko yang terdapat dalam pengembangan sistem diperlukan feasibility study atau studi kelayakan yang merupakan tahapan analisis dari SDLC atau system development life cycle (Davis dan Yen, 2000:91). Semakin tinggi nilai faktor kelayakan, maka semakin besar pula untuk suatu sistem dapat mencapai kesuksesan.
6
Untuk itu para pelaku di dalam organisasi perlu untuk melakukan analisa terhadap kelayakan dari sistem informasi yang dikembangkan, sehingga nantinya sistem informasi dapat berguna dan bermanfaat bagi suatu organisasi (Syaifullah dan Widianto, 2014).
Saat ini, terdapat beberapa sistem penilaian essay otomatis yang sudah dikembangkan di luar negeri serta beberapa diantaranya berbentuk software berbayar diantaranya Project Essay Grader (PEG), Intelligent Essay Assessor (IEA), Conceptual Rater (C-Rater), E-rater dan Criterion, dan Bayesian Essay Test Scoring System (BETSY). Masing-masing sistem memiliki metode pendekatan yang berbeda, seperti contoh sistem E-Rater pada Criterion yang menggunakan Natural Language Processing (Valenti et al., 2003). Selain itu terdapat pula software open source yang bisa dikembangkan menjadi sistem penilaian essay otomatis yaitu R-Software (http://www.r‐project.org/ diakses pada 20 Oktober 2014). Di dalam penelitian ini, peneliti mencoba membandingkan kelayakan Criterion (software berbayar) dan R Software (open source) sebagai solusi alternatif penilaian essay dalam bahasa inggris secara otomatis.
Berdasarkan latar belakang masalah tersebut, maka peneliti mengajukan judul “STUDI KELAYAKAN SISTEM PENILAIAN ESSAY DALAM BAHASA INGGRIS SECARA OTOMATIS (Studi Kasus Pada Universitas Telkom Bandung Program Studi MBTI, Sub-Prodi MBTI International)”.
1.3 Perumusan Masalah
Berdasarkan latar belakang masalah penelitian di atas maka perumusan masalah terhadap penelitian ini adalah :
1. Bagaimana studi kelayakan dari Criterion dan R Software sebagai sistem penilaian essay dalam bahasa inggris secara otomatis?
2. Apakah Criterion dan R Software sesuai untuk diterapkan sebagai solusi sistem penilaian essay dalam bahasa inggris secara otomatis di Universitas Telkom khususnya pada Program Studi MBTI, Sub-Prodi MBTI Internasional?
7 1.4 Tujuan Penelitian
Berdasarkan identifikasi masalah di atas, tujuan dari penelitian ini dapat dijabarkan sebagai berikut, yaitu :
1. Untuk menganalisis kelayakan dari Criterion dan R Software sebagai alternatif sistem penilaian essay dalam bahasa inggris secara otomatis. 2. Untuk mengetahui kesesuaian Criterion dan R Software untuk diterapkan
sebagai alternatif sistem penilaian essay dalam bahasa inggris secara otomatis di Universitas Telkom khususnya pada Program Studi MBTI, Sub-Prodi MBTI Internasional
1.5 Kegunaan Penelitian 1.5.1 Aspek Akademis
Penelitian ini diharapkan dapat menambah wawasan tentang ilmu studi kelayakan dan dapat digunakan sebagai bahan acuan untuk penelitian sejenis. 1.5.2 Aspek Praktis
Penelitian ini diharapkan dapat dijadikan alternatif dalam pengembangan sistem penilaian essay dalam bahasa inggris secara otomatis khususnya di Universitas Telkom Program Studi MBTI, Sub-Prodi MBTI Internasional 1.6 Sistematika Penulisan Tugas Akhir
Penulisan penelitian terdiri dari lima bab yang memiliki keterkaitan hubungan antara satu sama lainnya. Sistematika penyajian penelitian ini adalah sebagai berikut: BAB I : PENDAHULUAN
Bab ini menguraikan gambaran umum objek penelitian, latar belakang penelitian, perumusan masalah, tujuan penelitian, kegunaan penelitian dan sistematika penulisan.
BAB II : TINJAUAN PUSTAKA DAN LINGKUP PENELITIAN
Bab ini berisi tentang landasan teori yang berkaitan dengan penelitian, hasil penelitian terdahulu yang relevan dengan penelitian, kerangka pemikiran dan hipotesis.
8 BAB III : METODE PENELITIAN
Bab ini berisi tentang metodologi penelitian yang digunakan meliputi jenis penelitian, operasional variabel, jenis data dan teknik pengumpulan data, serta teknik analisis data.
BAB IV: HASIL DAN PEMBAHASAN
Bab ini mendeskripsikan hasil dari penelitian dan pembahasan terhadap hasil dari penelitian.
BAB V : PENUTUP
Bab ini berisi kesimpulan dari hasil penelitian dan saran-saran yang dapat digunakan sebagai bahan pertimbangan atau rekomendasi tindakan yang perlu dilakukan oleh perusahaan atau kemajuan lebih lanjut.
