RANGKUMAN ULASAN ASSIGNMENT RSCH 9012:
RESEARCH METHODOLOGY
1. Topik “Elemen Proposal Penelitian”
a) Bagaimana teknik pengumpulan data melalui Google Form?
b) Hampir 50% data dari responden adalah outlier. Ini menandakan bahwa penyusunan kalimat-kalimat dalam kuesioner perlu dicari pendekatan yang terbaik, atau apakah responden merasa terpaksa atau dipaksa? Sebaiknya outlier dari keseluruhan pengumpulan data adalah 5% (artinya taraf keyakinan terbaik kita (confidence level) ada di 95%).
c) Ketika outlier responden melebihi 10%, maka pengumpulan data harus diulang dengan merombak item yang missing atau membuangnya. Sebaiknya kemunculan outlier perlu divalidasi dengan uji lain seperti Dixon Q test atau Grubbs test sebab kelemahan Uji-Z adalah subyektif pembatasan nilai di atas 2.
d) Perhatikan jumlah pertanyaan (item) yang disebar kepada responden.
e) Pembedaan antar kelompok (kategori) baik sekali dijalankan terhadap sekian data yang bervariasi. Namun analisis yang tepat untuk ini adalah Two-Way ANOVA (kecuali jumlah kategori hanya 2, dapat digunakan Uji-t). Jadi KR4 (case 2) anda, harus diuji dengan ANOVA (two-tails). Lihatlah perbedaannya.
f) Yang paling menarik adalah adanya introduksi yang baik dalam pendahuluan tetapi tidak didukung dengan referensi yang harusnya dicantumkan.
2. Topik “Warding Plagiarism”
a) Hipotesis harus dirumuskan secara eksplisit. b) Tampilkan semua uji yang dilakukan.
c) Teknik pengumpulan data (lihat masalah umum di atas).
d) Jelaskan metode analisis yang digunakan: menggunakan one-way ANOVA atau two-way ANOVA?
e) Jika yang dibandingkan hanya ada 2 (mahasiswa dan dosen), cukup gunakan Uji-t. Tetapi bagaimana variasi internal untuk setiap kategori (Mahasiswa dan Dosen)? Ini dapat dilakukan dengan uji one-way ANOVA.
f) Bagaimana respon dengan latar belakang pendidikan? g) Cara pelaporan hasil analisis data belum maksimal.
3. Topik “Research Problem Formulation”
a) Pengkategorian berdasarkan jenis kelamin dan umur, harus dicek atau divalidasi dengan two-way ANOVA. Untuk 2 kategori saja, bisa diuji dengan Uji-t.
b) Penyusunan pertanyaan (item) harus dengan kalimat yang lugas dan jelas. Tidak perlu ada ulangan pertanyaan dalam item, misalnya “Anda setuju?”
c) Telah disebutkan elemen-elemen untuk memformulasikan "Research Problems", namun fokus pertanyaan dalam kuesioner harus mengarah kepada bagaimana responden memahami cara memformulasikan masalah dalam sebuah riset. d) Hal-hal kekurangan lain dapat dilihat dalam ulasan umum.
4. Topik “Conference Paper”
Semua uji yang telah diperkenalkan telah diuji, ini sangat baik untuk latihan menganalisa data. Namun ada beberapa catatan:
a) Teknik penyusunan item perlu pengetahuan yang dalam (latihan dan improvisasi) karena elemen pengumpulan data merupakan porsi terberat dalam sebuah riset. Item seperti no. 11 memang akan menimbulkan berbagai penafsiran, justru itu, soal sebelum diedar harus diteliti secara berulang-ulang supaya tidak menimbulkan kesalahfahaman. b) Sebuah analisis jika dilakukan dengan teknik ANOVA harus didahului dengan
perumusan hipotesis. Di sinilah letak kelemahan terbesar analisis Anda. Lalu rumusan itu juga harus dikaitkan dengan obyektif (problem statement), atau berkorelasi dengan topik yang dipilih.
c) Dari 5 pengkategorian data (profil responden), namun tidak terlihat jelas analisisnya jika dikaitkan dengan kriteria Pra Penulisan, Saat Penulisan dan Paska Penulisan. Maksudnya bagaimana respon setiap kategori terhadap 3 kriteria itu? Nah, semua kategori ini mestinya dianalisa dengan uji two-way ANOVA, kecuali dalam satu kategori ada 2 kategori, maka cukup dengan Uji-t (pemvalidasi one-way ANOVA). d) Hal-hal kekurangan lainnya seperti cara pelaporan, dapat dilihat dalam ulasan umum.
5. Topik “Proposing Thesis Title”
a) Kelemahan mencolok adalah rupanya anda belum memahami sepenuhnya perumusan hipotesis H0 dan Ha. Coba cek lagi untuk uji hipotesis pertama dan kedua Anda.
b) Item 1 dalam kuesioner memang aneh “artikel” lainnya judul thesis, jadi harus dicek sekali lagi semua kalimat yang disusun supaya tidak aneh sendiri. Selain itu, masih ada kekurangan syarat yaitu apa saja syarat-syarat judul thesis yang baik. Ini bisa digoogling, dan anda perlu tambah itemnya.
c) Sekali lagi rumusan hipotesis sesuai dengan topik anda adalah akan diuji, karenanya harus dirumuskan dulu sebelum uji ANOVA dilakukan.
d) Berapa persen data yang outlier atau item yang tidak valid? Hal-hal yang tidak valid atau adanya outlier adalah sebenarnya tidak boleh dianalisis dengan ANOVA.
6. Topik “Elemen Proposal Penelitian”
a) Apa itu “konsep gamification”? Jadi ini agak menyimpang dari topik yang dikehendaki. Harusnya dapat topik “Publication Ethics” atau “Fundamental Research”?
b) Karena topik dan apa yang dibahas berbeda, maka dari apa yang telah dikumpulkan dan dianalisis seharusnya bisa menghasilkan sebuah paper (makalah).
c) Uji hipotesis dua variabel (misalnya jenis kelamin) dapat divalidasikan dengan Uji-t. Apakah hasilnya sama?
d) Coba diuji lagi apakah “kelompok pekerjaan” menghasilkan tidak ada perbedaan antara dosen dan karyawan dalam memahami konsep gamification?
e) Cara menyimpulkan dari rumusan hipotesis adalah salah. Mengapa H0 ditolak (Fhit >
Ftab), tetapi dinyatakan atau disimpulkan “tidak ada perbedaan”? Coba difahami lagi
kuliahnya.
f) Ini pembelajaran yang baik, kekurangan lainnya, dapat dilihat dalam ulasan umum.
7. Topik “Tinjauan Literatur”
a) Cara edaran kuesioner ke responden seperti apa?
b) Satu soal jangan terlalu panjang, bisa menimbulkan salah faham atau kebosanan.
c) Ada unsur item (pertanyaan) yang masih kurang antara lain apakah pembaca menemui gap antara yang dibaca dengan apa yang ada di kepalanya (hipotesis awal)?
d) Dalam ANOVA, masih tidak ada ditemui rumusan/pernyataan hipotesis tetapi tiba-tiba sudah ada kesimpulan. Coba dicek!
e) Cara pelaporan analisis yang belum maksimal. Mestinya juga dijelaskan mengapa terjadi outliers dan kepastian “outlier” mesti diuji/divalidasi dengan teknik lain.
f) Apa laporan kesimpulan akhir anda dari topik yang dipilih di atas?
8. Topik “Data Collection”
a) Definisi dan jenis pengumpulan data telah dideskripsikan dengan baik. Kekurangannya adalah tiada referensi diakhir pelaporan atau yang ditunjukkan dalam introduksi pengumpulan data tersebut.
b) Ada yang tercecer dari item yang disusun, seharusnya ditanyakan kepada responden, apakah mereka semua mengerti tentang hal yang paling dasar yaitu data?
c) Agak masalah juga, data outliernya banyak, karenanya, harus juga gunakan model pendeteksi lain sebagai pemvalidasi/pembanding. Berapa persen item yang tidak valid dan berapa persen data yang outlier?
d) Data outlier juga dapat disebabkan oleh penyusunan item dengan kalimat terlalu panjang sehingga dapat menimbulkan kesalahfahaman. Jadi pertanyaan (item) harus disusun (5-10 perkataan), lugas, explisit dan tentunya mudah difahami maksudnya. Lihat masalah teman lain di atas, invalid item atau outlier lebih dari 10%, pengumpulan data harus diulang.
e) Sekali lagi, dalam analisis data dengan ANOVA, rumusan hipotesisnya harus eksplisit. f) Bagaimana hasil analisisnya selain perbedaan tingkat pendidikan? Dengan kata lain, ada
beberapa analisis lain dilakukan tapi tidak dilaporkan (jadi ini sebuah kelemahan dalam teknik pelaporan).
a) Jabaran topiknya luas karena itu perlu dibatasi, apakah itu persiapan presentasi untuk conference, kolokium, rapat pimpinan, atau mempertahankan proposal di hadapan panel. Semua ini teknisnya berbeda.
b) Item atau pertanyaan dengan kalimat yang terlalu panjang dan 1/3 datanya outlier, jadi itemnya harus diperbaiki lagi. Apakah uji validitas tanpa data outlier? Berapa persen item yang tidak valid?
c) Rumusan hipotesis yang dinyatakan dalam ANOVA, pernyataannya belum operasional, artinya terdapat perbedaan dalam hal apa?
d) Harusnya ada kesimpulan di setiap analisis (bukan hanya ANOVA tetapi uji lain). Laporkanlah apa yang anda lakukan.
e) Jadi berdasarkan analisis yang telah anda lakukan apakah variabel manajemen atau
organisasi presentasi, tampilan presentasi, dan konten presentasi berpengaruh
terhadap kualitas hasil presentasi? Bisa dapatkan persamaan regresinya?
10. Topik “Research Objective”
a) Apakah uji validitas dilakukan setelah data outlier dibuang? Berapa persen data atau item yang direvisi?
b) Analisis yang tidak dilakukan berdasarkan file Excel adalah uji reliabilitas, uji validitas tidak lengkap, hipotesis dalam ANOVA tidak dirumuskan, dan masih banyak lagi. c) Walaupun valid, masih terdapat penyusunan item-item yang masih belum fokus ke arah
“research objective”. Ini tantangan yang paling besar dan proses pembelajaran.
d) Jadi apa kesimpulannya dari semua analisis yang dilakukan, misalnya dilihat dari segi pekerjaan: mahasiswa, dosen dan lainnya. Tiga kategori ini bisa diuji dengan two-way ANOVA.
e) Selain beberapa kekurangan dalam analisis, kelemahan terbesar adalah cara pelaporan hasil analisis, perlu rangkuman hasil sesuai hipotesis yang dirumuskan.
f) Hal-hal kekurangan lain dapat dilihat dalam ulasan umum atau untuk pertanyaan topik lainnya.
11. Topik “Ratna Sari”
a) Judul atau topik penelitian yang dikerjakan ini apa? Apakah “Research Methods”? b) Apa saja faktor-faktor yang perlu diperhatikan dalam komponen Research Methods?
Maksudnya Research Methods (misalnya dalam proposal atau paper conference), isinya apa saja?
c) Artinya dalam Research Methods ini, “paling tidak” ada komponen desain penelitian, cara pengukuran atau pengumpulan data, data processing, dan hasil pengolahan data. Pertanyaan bisa disusun sampai 25 item.
d) Semua uji validitas telah dilakukan. Apakah semua data mentah valid? Berapa persen data yang outlier? Lalu outlier ini diapakan?
e) Lalu rumusan hipotesis dalam ANOVA seperti apa? Lalu, persamaan regresi Y = 0,2391X1 + 0,0288X2 - 2,6324, ini artinya apa? Apa itu, X1, X2 dan Y?
f) Kelemahan terbesar adalah cara pelaporan hasil analisis. Ini pengalaman pembelajaran yang baik, dan kukurangan lainnya dapat dilihat dari semua ulasan di atas.
a) Penyusunan item dalam topik ini sangat menantang. Beberapa item masih belum fokus ke arah konten “Qualitative Research”. Oleh karenanya rumuskan dulu beberapa variabel dalam QR yang akan diteliti. Misalnya variabel “riset yang valid dan sahih” kurang tepat masuk dalam QR ini, mengapa? Jadi memang perlu pendalaman materi QR itu sendiri.
b) Dalam analisis ANOVA, pernyataan kalimat hipotesis tidak dirumuskan. Kesimpulan analisispun salah. Bagaimana Fhit Ftabel, H0 direject? Jadi kesimpulan umumnya seperti
apa, terutama hubungan X1, X2 dan Y?
c) Terlalu banyak yang harus dibenahi. Coba refer beberapa ulasan untuk teman anda di atas. Ini bisa dipakai sebagai pembanding.
13. Topik “Explanatory Research”
a) Adalah baik pengetahuan responden akan Explanatory research ini dieksploitasi.
b) Saya tidak melihat daftar kuesionernya yang diedar kepada responden. Jika seperti dalam file ‘report final’ maka kategori B dimana penyusunan item menggunakan kata awal “apakah” tidak sesuai dengan skala likert. Artinya teknik penyusunan kuesioner (item) perlu diimprove lagi.
c) Setiap keputusan ANOVA harus disimpulkan dan diinterpretasi.
d) Ketiga kategori (a, b dan c), sebenarnya dapat diuji sekaligus menggunakan two-way ANOVA. Cobalah bandingkan hasilnya.
e) Ini tahap pembelajaran, adalah tepat explanatory research didalami dulu materinya baru dicari variabel-variabel yang mungkin untuk diteliti. Jadi ini sebuah tantangan.
14. Topik “Quantitative Research”
a) Cara pengedaran angket seperti apa?
b) Kurang penjelasan hasil analisis dalam cara pelaporan. Kelompok A, B dan C itu mewakili apa? Jika melihat 2 perbedaan saja, cukup diselesaikan dengan Uji-t.
c) Dalam keputusan ANOVA, berbeda dalam hal apa jika H0 ditolak? Hipotesis dan
pernyataannya harus dirumuskan secara eksplisit.
d) Teknik penyusunan item perlu fokus dan dipertajam lagi. Karenanya pendalaman materi
Quantitative Research adalah sangat penting untuk menemukan variabel yang dominan.
e) Sayang sekali, uji validitas dan reliabilitas tidak dilampirkan. Berapa persen data invalid dan outlier? Dari 15 item itu, mana data yang dibuang?
15. Topik “Research Design”
a) Semua uji telah dilakukan. Namun kelemahan pertama adalah cara pelaporan hasil analisis.
b) Penyusunan item (pertanyaan), masih dengan kalimat panjang-panjang karena itu ada beberapa uji klasik hasilnya tidak positif. Berapa persen data yang outlier?
c) Apa kira-kira elemen-elemen dasar dalam research design? Di sinilah langkah pemahaman pertama sebelum angket disusun.
d) Analisis ANOVA hanya satu (jenjang pendidikan)? Ini artinya pengelompokan atau pengkategorian belum dilakukan.
e) Topik ini memang sangat menantang untuk proses pembelajaran. Kesimpulan akhir harusnya menuju bagaimana pemahaman responden terhadap konten research design.
16. Topik “RAGNAROK ONLINE”
a) Topik yang dilaporkan “FAKTOR PENENTU KEPUASAN ONLINE GAME
MMORPG "RAGNAROK" adalah tidak sejalan dengan tugas yang diberikan. Mirip
dengan YDP, mungkin ada kesalahfahaman.
b) Dengan judul ini sebuah conference paper berindeks harus dapat dihasilkan. c) Objektifnya, apa yang ingin diharapkan dari responden tentang Ragnarok Online? d) Rancangan penyusunan item dalam kuesioner hampir terstruktur walau masih ada
beberapa kalimat yang panjang. Berapa persen datanya outlier? Tentu semua data valid dan reliabel karena data outlier tidak disertakan.
e) Data responden bagus (41 item dan 168 responden) dan semua uji klasik dan ANOVA dijalankan tetapi cara pelaporan yang masih lemah.
f) Dari 9 kategori yang dibuat, mengapa hanya SAT dan LOY yang diuji? Mestinya dari 9 kategori itu kita dapat kesimpulan secara umum atau menyeluruh, mana kategori yang difahami atau diterima oleh responen?
Urutan Pengumpulan Tugas.
1. Bambang Dwi Wijanarko (2040002493)
2. Surjandy (2040002543)
3. Iwan Binanto (2040002335)
4. Firman Anindra (2040002291)
5. Erick Fernando (2040002316)
6. Yulius Denny Prabowo (2040002612)
7. Suryadiputra Liawatimena (2040002631)
8. Dina Fitria Murad (2040002505)
9. Sugiarto Hartono (2040002644)
10. Efy Yosrita (2040002594) 11. Ratna Sari (2040002625)
12. Andreas Raharto Condrobimo (2040002511)
13. Evawaty Tanuar (2040002556)
14. Darma Rusjdi (2040002606)
15. Devyano Luhukay (2040002562)
