Tersedia online diwww.sciencedirect.com
Sains Langsung
Ilmu Komputer Procedia 216 (2023) 442–452
Konferensi Internasional ke-7 tentang Ilmu Komputer dan Kecerdasan Komputasi 2022
Tingkat kepuasan pengguna terhadap rekomendasi youtube saat ini sistem
Erdvin
A, Farhan Muhammad Ardiansyah
A, Hendika Solim
A, Alexander AS Gunawan
A,*
A,Jurusan Ilmu Komputer, Fakultas Ilmu Komputer, Universitas Bina Nusantara, Jakarta 11480, Indonesia
Abstrak
YouTube adalah platform video yang sangat besar yang digunakan pengguna untuk berbagai alasan. YouTube menggunakan sistem rekomendasi untuk membantu setiap pengguna memilih video yang sesuai dengan kebutuhan mereka. Namun, memfilter video ini bukanlah tugas yang mudah, dan sistem rekomendasi mungkin saja membuat kesalahan. Tulisan ini membahas permasalahan apa saja yang terdapat pada sistem rekomendasi dan seberapa parah permasalahan tersebut melalui survei guna memahami kelebihan dan kekurangan sistem rekomendasi yang ada saat ini. Dari 59 peserta, 46 diantaranya menilai sistem rekomendasi dapat diterima, baik atau sangat baik, namun masih menunjukkan beberapa permasalahan. Di antara 24 kreator yang berpartisipasi dalam survei ini, sistem rekomendasinya masih dapat diterima, namun cenderung lebih buruk. Kami menyimpulkan bahwa terdapat ketidakjelasan mengenai cara kerja sistem rekomendasi. Sifat ini tidak disukai terutama oleh kreator karena tidak mampu mengarahkan karyanya kepada calon penonton.
© 2023 Penulis. Diterbitkan oleh Elsevier BV
Ini adalah artikel akses terbuka di bawah lisensi CC BY-NC-ND (https://creativecommons.org/licenses/by-nc-nd/4.0) Tinjauan sejawat di bawah tanggung jawab komite ilmiah Konferensi Internasional ke-7 tentang Ilmu Komputer dan Kecerdasan Komputasi 2022
Kata Kunci: YouTube; Pengalaman Pengguna; Saluran Youtube; Sistem Rekomendasi; Kepuasan; Kepopuleran
1. Perkenalan
YouTube adalah platform berbagi video paling terkenal di dunia. Orang-orang yang memiliki akses reguler ke internet kemungkinan besar pernah menggunakan YouTube setidaknya sekali dalam hidup mereka. YouTube menawarkan sejumlah besar video dari berbagai genre, dan setiap hari, video berdurasi ratusan ribu jam [1, 2] diunggah. Untuk menyaring banyaknya video di situs web, sejumlah besar pengguna tidak punya pilihan selain memercayai rekomendasi YouTube untuk memilih video yang relevan untuk mereka tonton [3]. Namun, sebagian disebabkan oleh
* Penulis yang sesuai.
Alamat email:[email protected]
1877-0509© 2023 Penulis. Diterbitkan oleh Elsevier BV
Ini adalah artikel akses terbuka di bawah lisensi CC BY-NC-ND (https://creativecommons.org/licenses/by-nc-nd/4.0) Tinjauan sejawat di bawah tanggung jawab komite ilmiah Konferensi Internasional ke-7 tentang Ilmu Komputer dan Kecerdasan Komputasi 2022 10.1016/j.procs.2022.12.156
jumlah video di situs web [2], sebagian karena perbedaan cara setiap orang menggunakan situs web, atau banyak kemungkinan alasan lainnya, sistem rekomendasi terkadang menghadapi masalah.
Makalah penelitian lain telah melakukan studi tentang cara kerja sistem rekomendasi, berbagai masalah dengan sistem rekomendasi, algoritma rekomendasi baru, dan mungkin masih banyak lagi yang terlewatkan. Studi ini melaporkan pendapat umum pengguna YouTube tentang sistem rekomendasi YouTube, masalah yang ada dalam model rekomendasi saat ini, dan menganalisis seberapa dalam masalah tersebut sambil mencari kemungkinan solusi.
Penelitian ini kami tulis untuk memahami baik dan buruknya sistem rekomendasi. Dengan memahami sisi positif dan negatif sistem, kita dapat menyimpulkan apakah lebih baik menerapkan perubahan kecil pada sistem saat ini atau mengubah cara kerja sistem sepenuhnya. Karena kami tidak berafiliasi langsung dengan YouTube, hasil tulisan ini tidak lebih dari sekedar saran.
Makalah ini terdiri dari lima bagian, dimulai dengan pendahuluan kemudian dilanjutkan dengan karya terkait yang kami gunakan untuk makalah ini. Bagian 3 menjelaskan metodologi yang digunakan dalam penelitian ini, sedangkan bagian 4 membahas hasil data. Bagian 5 berfungsi sebagai kesimpulan penelitian dan membahas keterbatasan penelitian.
2. Karya Terkait
2.1. Mengukur Kepuasan dengan skala penilaian
Ada berbagai metode untuk mengukur kepuasan pengguna. Empat metode pengukuran utama meliputi pengukuran kepuasan secara keseluruhan, pengukuran loyalitas, serangkaian pengukuran kepuasan atribut, dan pengukuran niat untuk membeli kembali [31] . Ukuran kepuasan keseluruhan digunakan untuk mencerminkan opini umum pengguna terhadap suatu produk. Pengukuran loyalitas menanyakan beberapa pertanyaan kepada pengguna, yaitu kepuasan, kemungkinan pembelian kembali, dan kemungkinan merekomendasikan produk kepada teman-temannya, kemudian menjumlahkan skor dari pertanyaan-pertanyaan tersebut.
Serangkaian pengukuran kepuasan atribut menanyakan pengguna apakah produk tersebut berguna atau tidak untuk masalah tertentu dan menentukan kepuasan berdasarkan apakah pengguna tersebut menganggap produk tersebut berguna. Niat untuk membeli kembali pengukuran menanyakan apakah pengguna akan membeli kembali produk berbayar di masa mendatang,
Adapun untuk menskalakan pengukuran ini, ada banyak variasi dalam skala penilaian [30], namun sebagian besar dapat digeneralisasikan ke skala penilaian bernomor dan skala penilaian kata-kata [29]. Skala bernomor bagus karena kesederhanaan dan kemudahannya dalam melakukan analisis statistik. Skala bernomor juga dapat memperluas jangkauannya tanpa terlalu
membingungkan. Namun, skala bernomor mempunyai kelemahan dimana setiap orang dapat menafsirkan suatu angka secara berbeda, seperti apakah nilai 6 dalam skala 1 sampai 10 berarti rata-rata atau baik. Kelemahan ini diminimalkan dengan menambahkan label pada ujung skala [29].
Di sisi lain, skala penilaian yang menggunakan kata-kata memiliki kelebihan dimana setiap opsi memiliki deskripsi label yang jelas, sehingga kecil kemungkinannya bagi pengguna untuk memilih jawaban yang tidak mencerminkan pendapat mereka. Juga akan lebih mudah untuk memenuhi syarat selama penulisan makalah penelitian. Untuk jenis penelitian tertentu, mereka juga dapat memberikan skor asimetris pada jawabannya. Namun skala yang menggunakan kata-kata juga memiliki kelemahan, yaitu menempatkan terlalu banyak pilihan dapat membingungkan pengguna. Skala kata juga harus memastikan bahwa setiap pengguna fasih dalam bahasa tersebut.
2.2. Kuesioner Pengalaman Pengguna
User Experience Questionnaire (UEQ) [32] adalah metode kuesioner untuk mengukur pengalaman pengguna produk interaktif.
UEQ mengukur daya tarik, kejelasan, efisiensi, ketergantungan, stimulasi dan kebaruan. Daya tarik menggambarkan kesan keseluruhan terhadap produk. Perspicuity menggambarkan betapa mudahnya suatu produk dipelajari. Efisiensi menggambarkan seberapa cepat pengguna dapat melakukan tugas tertentu. Ketergantungan menggambarkan seberapa aman dan dapat diprediksi suatu produk. Stimulasi menggambarkan betapa menariknya suatu produk ketika digunakan. Kebaruan menggambarkan betapa kreatif dan menariknya suatu produk. Ada total 26 item di 6 skala ini.
2.3. Sistem data dan rekomendasi yang terus berubah
Karena karakteristik yang melekat pada data besar [5], penelitian analitis di YouTube mungkin memiliki hasil yang berbeda tergantung pada data yang mereka gunakan. Oleh karena itu, dua makalah penelitian dengan topik serupa mungkin akan menghasilkan kesimpulan yang berbeda. Algoritme juga dapat berubah antar penelitian tanpa sepengetahuan peneliti.
Kemungkinan perubahan dalam sistem rekomendasi menyebabkan beberapa pembuat konten memanfaatkan gosip [6] tentang algoritma rekomendasi untuk mempelajari lebih lanjut tentang bagaimana 'menggunakan' sistem rekomendasi untuk kepentingan mereka. Ada juga makalah yang mengusulkan model baru untuk mengubah algoritma rekomendasi saat ini [7, 8, 9, 10, 11].
2.4. Cara kerja algoritma sistem rekomendasi YouTube
Sebuah makalah [7] menyatakan bahwa algoritma rekomendasi YouTube menggunakan generasi kandidat yang mendalam dan model peringkat yang mendalam untuk rekomendasi. Pedersen [2] menjelaskan algoritma memiliki tiga bagian berbeda; Agen, Penjaga Gerbang, dan Pengedar Narkoba, dimana Agen mempromosikan pembuat konten, Penjaga Gerbang memilih video mana yang akan ditampilkan kepada pemirsa, dan Pengedar Narkoba merekomendasikan video. Studi [3, 24, 25, 26, 27] menunjukkan bahwa sebagian besar pemirsa menganggap sebagian besar rekomendasi relevan dengan minat mereka, meskipun beberapa pengguna masih tidak menyadari relevansi algoritma rekomendasi [28].
2.5. Faktor-faktor yang mempengaruhi penayangan dalam sistem rekomendasi YouTube
Salah satu faktor dalam sistem rekomendasi YouTube adalah judul video, deskripsi video, dan tag video, dimana judul video yang deskriptif dapat menyebabkan video mendapat lebih sedikit penayangan, namun deskripsi video yang lebih panjang biasanya menyebabkan video mendapatkan lebih banyak penayangan, sedangkan untuk tag video, memiliki lebih banyak tag dapat meningkatkan tampilan, tetapi hanya hingga 17 tag [12]. Faktor lain yang digunakan dalam YouTube adalah penggunaan sinyal algoritmik waktu tonton [7, 13], yang berarti YouTube melacak kapan pengguna memulai dan mengakhiri video, dan durasi mereka menonton video tersebut sebelum menutupnya.
Sistem rekomendasi terutama didasarkan pada sesi menonton, jika pengguna menutup video sebelum waktunya, video tersebut akan mendapat dampak negatif [13, 14]. Hal ini menyebabkan pembuat konten enggan membuat video yang 'lebih berisiko' atau lebih unik dan eksperimental.
Namun, ada satu makalah yang memiliki temuan bahwa jumlah klik suatu video memiliki dampak yang lebih besar terhadap rekomendasi dibandingkan dengan waktu tonton [1], meskipun hal ini mungkin merupakan hasil penelitian dengan data yang berbeda. Namun jika klik ternyata lebih penting daripada waktu menonton, hal ini dapat menyebabkan masalah karena pembuat konten akan lebih fokus pada thumbnail video daripada kualitas video itu sendiri. Sistem pencarian dan rekomendasi YouTube saat ini nampaknya mempunyai andil dalam membuat pembuat konten muda mendapatkan penayangan [5] meskipun terdapat efek kaya raya yang tidak dapat dihindari [5, 23] dalam platform semacam ini. Ada faktor dalam sistem dimana video lama mempunyai cacat sehingga video baru juga bisa menjadi populer.
2.6. Emosi negatif, video kontroversi dan jalur radikalisasi di YouTube
Memiliki emosi negatif yang tertulis pada judul video telah terbukti meningkatkan penayangan [12, 16]. Beberapa pembuat konten [2]
berpendapat bahwa sistem rekomendasi lebih menyukai konten kontroversial dan waktu tonton serta rasio klik adalah faktor utama
kesuksesan sebuah video. Mereka juga merasa bahwa pedoman komunitas tidak terlalu jelas dan terkadang menyebabkan monetisasi mereka berkurang atau tidak ada sama sekali.
Masalah yang ditulis di atas juga membantu memungkinkan adanya jalur radikalisasi [17] di YouTube, di mana video dengan konten kontroversial, atau video yang mengandung 'teori konspirasi' [18, 19] dapat berantai ke video lain dengan konten yang semakin radikal. Demikian pula, YouTube Kids juga dapat memberikan rekomendasi video yang 'tidak pantas' [20] dan menyebabkan anak-anak menjadi kecanduan platform tersebut [21]. Masalah ini mungkin terjadi karena sulitnya suatu algoritma memfilter mana yang benar dan salah [22].
3. Metodologi
Untuk penelitian ini, kami terutama akan menggunakan metode penelitian kuantitatif [4] untuk melakukan penelitian. Metode kuantitatif diartikan sebagai metode penelitian yang menggunakan data statistik atau numerik untuk mengukur kasus penelitian, dengan asumsi bahwa masalahnya dapat diukur. Metode penelitian kuantitatif secara garis besar dikategorikan menjadi eksperimen dan survei [4]. Untuk penelitian ini, kami akan melakukan studi survei cross-sectional. Survei cross-sectional dilakukan dengan menyebarkan kuesioner pada satu periode waktu kepada kelompok masyarakat yang berbeda.
3.1. Sumber data
Sumber data primer yang akan kami gunakan dalam penelitian ini adalah data yang diperoleh dari survei online yang akan dibuat oleh tim kami menggunakan Google Forms dan dibagikan melalui berbagai media sosial dan website. Kami juga akan menggunakan makalah penelitian yang sebelumnya dilakukan oleh orang lain sebagai sumber data sekunder dan artikel online sebagai sumber data ketiga.
3.2. Pertanyaan Penelitian
Melalui penelitian ini, kami mencoba menjawab pertanyaan penelitian berikut:
•
Seberapa puaskah pengguna (penonton dan pembuat) YouTube dengan sistem rekomendasi yang digunakan YouTube saat ini?• Masalah apa yang dialami pengguna saat mencari video menggunakan sistem rekomendasi YouTube?
•
Seberapa besar pengaruh masalah ini terhadap kepuasan pengguna terhadap sistem rekomendasi?•
Apa yang bisa kita usulkan untuk mengatasi permasalahan ini?3.3. Pertanyaan Survei
Kami membagi survei menjadi dua bagian, bagian pertama adalah pertanyaan untuk pengguna YouTube sebagai penonton, dan bagian kedua adalah pertanyaan untuk pengguna sebagai kreator, yang hanya ditampilkan jika pada pertanyaan terakhir bagian pertama mereka menjawab ya. . Metode pengukuran kepuasan keseluruhan digunakan untuk survei kami. Metode ini dipilih karena keseluruhan
pertanyaannya sederhana dan pendapat yang kami butuhkan diambil setelah memperhitungkan sisi positif dan negatif dari sistem rekomendasi. Mengenai sistem skala penilaian, kami memilih untuk menggunakan kedua sistem tersebut karena relevansi mudah
diungkapkan dengan kata-kata, sedangkan kepuasan lebih sulit diungkapkan dengan kata-kata. Menurut UEQ [32], skala yang coba kami ukur adalah ukuran ketergantungan, dimana kami menanyakan apakah sistem rekomendasi YouTube memenuhi harapan mereka atau tidak.
Pertanyaan yang kami ajukan dalam survei adalah sebagai berikut; Bagian pertama:
• Apakah video yang muncul di feed rekomendasi relevan dengan minat Anda?
• Masalah apa yang Anda hadapi saat menjelajahi rekomendasi atau mencari video?
• Sebagai platform menonton video, seberapa puaskah Anda dengan algoritma rekomendasi YouTube?
•
Pernahkah Anda aktif menggunakan YouTube sebagai platform berbagi video?Bagian pertama menanyakan seberapa relevan video yang direkomendasikan bagi pengguna dengan skala kata, dengan jawaban mulai dari Tidak Pernah, Jarang, Rata-Rata, Sering, hingga Selalu. Pertanyaan selanjutnya meminta pengguna mencentang beberapa kotak untuk menentukan masalah apa yang mereka rasakan saat menggunakan sistem rekomendasi di YouTube. Permasalahan yang kami kemukakan adalah sesuai dengan permasalahan yang kami temukan pada bagian 2. Pertanyaan ketiga menanyakan seberapa puas pengguna terhadap sistem sebagai penonton, dinilai secara numerik dari 1 hingga 5, dengan 1 diberi label sebagai Tidak Memuaskan dan 5 diberi label sebagai Memuaskan . Pertanyaan terakhir adalah menentukan apakah pengguna adalah pencipta. Jika ya, maka mereka akan melanjutkan ke bagian kedua.
Bagian kedua:
•
Berapa banyak pelanggan yang Anda miliki saat ini?• Sudah berapa lama Anda aktif mengupload video?
•
Masalah apa yang Anda hadapi saat mencoba mendapatkan lebih banyak penayangan pada video Anda?• Sebagai platform berbagi video, seberapa puaskah Anda dengan algoritma rekomendasi YouTube?
Untuk bagian kedua, kami menanyakan kepada pembuatnya berapa banyak pelanggan dan berapa lama mereka mengunggah video di YouTube. Pilihan pertanyaan pertama kita beri label <1000, 1000 – 4999, 5000 – 9999, 10000 – 49999, 50000 – 99999, dan
>100000 pelanggan, sedangkan untuk pertanyaan kedua diberi label Kurang dari setahun, Setahun, 2-3 tahun, 4-5 tahun, dan Lebih dari lima tahun. Seperti bagian pertama, pertanyaan ketiga juga berfungsi dengan mencentang kotak masalah mereka, dengan masalah diambil dari apa yang kami temukan di bagian 2, sedangkan pertanyaan keempat berfungsi sama dengan bagian pertama, kecuali sebagai pencipta. Kami mengirimkan survei ke komunitas teman dan universitas di LINE, yang menerima 16 peserta. Kami juga membagikan survei secara internasional melalui subreddit r/SampleSize di Reddit, dan juga memposting survei di situs pertukaran survei SurveyCircle dan SurveySwap, yang menerima gabungan 43 peserta. Kami membuka survei ini selama kurang lebih seminggu. Secara total, survei tersebut mendapat 59 tanggapan.
4. Diskusi
Di bagian ini, kami melihat hasil survei kami dan mendiskusikan apa yang tercermin dari hasil tersebut. Total ada 59 peserta yang seluruhnya merupakan penonton dan 24 peserta diantaranya aktif mengunggah video.
4.1. Penonton
Sumber data primer yang akan kami gunakan dalam penelitian ini adalah data yang diperoleh dari survei online yang akan dibuat oleh tim kami menggunakan Google Forms dan dibagikan melalui berbagai media sosial dan website. Kami juga akan menggunakan makalah penelitian yang sebelumnya dilakukan oleh orang lain sebagai sumber data sekunder dan artikel online sebagai sumber data ketiga.
26 23
8
2 0
Tidak pernah
Selalu Sering Rata-rata Jarang
Gambar 1. Relevansi Minat Penonton terhadap Video Rekomendasi
Dari Gambar 1, disimpulkan bahwa algoritma dapat mengenai atau meleset tergantung pada pemirsanya, lebih condong ke arah mengenai sasaran. Mengingat sifat algoritma rekomendasi, YouTube cukup akurat dalam menilai minat pemirsanya dan
merekomendasikan video yang relevan kepada pemirsa tersebut.
Lainnya, 8 Tidak ada, 2
Pilihan 1, Opsi 3,
46
32
Pilihan 2,
13
Gambar 2. Masalah Penampil dengan Rekomendasi
Gambar 2 menunjukkan masalah yang dihadapi responden kami sebagai penonton YouTube saat mencari video. Opsi 1 adalah “Video yang tidak menarik atau clickbait”, Opsi 2 adalah “Video yang berisi konten 'negatif'”, dan Opsi 3 adalah “Kurangnya variasi dalam video yang direkomendasikan”. Dengan melihat gambar tersebut, dapat ditentukan bahwa sebagian besar pengguna menghadapi masalah dalam direkomendasikannya video berkualitas rendah atau 'clickbait', atau mungkin algoritme gagal memberikan video yang sesuai dengan minat mereka.
Penonton juga menghadapi kurangnya variasi dalam video yang direkomendasikan, dan beberapa responden melaporkan melalui opsi “Lainnya” bahwa video tetap muncul bahkan setelah mereka menonton video tersebut, atau video yang berasal dari tab rekomendasi biasanya berasal dari saluran langganan mereka. untuk, sehingga pemirsa tidak direkomendasikan dengan konten baru. Beberapa penonton juga menemukan video dengan konten 'negatif'. Untuk keperluan penelitian ini, kami mendefinisikan 'negatif' sebagai video yang mengandung emosi negatif atau konten kontroversial, yang kami ambil dari tinjauan literatur kami. Dua penonton sama sekali tidak menemukan masalah terhadap rekomendasi, sedangkan ada delapan responden yang menuliskan jawaban di luar pilihan yang diberikan. Sebagian besar jawaban ini tumpang tindih dengan definisi pilihan kami yang lain.
Beberapa jawaban “Lainnya” yang menarik antara lain responden mengatakan bahwa semakin banyak porsi konten “tingkat tinggi” (dalam hal ini, video tentang pendakian) dapat menarik minatnya, namun rekomendasinya dibanjiri dengan video pendakian lain yang kurang dia minati, dan melaporkan bahwa tombol “Saya tidak suka” tidak berfungsi. Sederhananya, ada konten yang mungkin hanya ingin ditonton satu atau dua kali oleh pemirsa, tetapi rekomendasinya tetap merekomendasikan video.
Responden lain juga mengatakan kepada kami bahwa iklan dan postingan komunitas yang tidak relevan yang muncul di rekomendasi adalah sebuah masalah, yang tidak terkait langsung dengan konten video namun tetap perlu diperhatikan.
25
20
9 1 4
5 4 3 2 1
Gambar 3. Kepuasan Pemirsa terhadap Rekomendasi
Gambar 3 menunjukkan bahwa meskipun ada masalah dalam sistem rekomendasi saat ini, sebagian besar pemirsa merasa puas dengan sistem tersebut. Penonton dengan kepuasan lebih tinggi sering kali direkomendasikan dengan video yang sesuai dengan minat mereka, namun mereka masih merasakan masalah serupa dengan penonton yang memiliki kepuasan rata-rata atau rendah. Artinya, bagi sebagian besar pemirsa, menemukan video yang relevan lebih penting daripada masalah dalam sistem.
4.2. Pencipta
Di antara 24 pembuat konten yang mengikuti survei, 22 di antaranya memiliki kurang dari seribu pelanggan, sementara dua di antaranya memiliki antara seribu hingga lima ribu pelanggan. 8 orang di antaranya telah membuat video kurang dari setahun, 6 orang telah berkecimpung di industri ini selama setahun, 6 orang lainnya telah melakukannya selama dua hingga tiga tahun, dan 4 orang telah membuat konten selama lebih dari satu tahun. lima tahun. Tidak ada responden yang pernah membuat video selama empat hingga lima tahun.
Tidak ada, 1
Lainnya
s, 4
Pilihan1, 4
Pilihan 2, Opsi 5,
9
14
Pilihan3, 4
Opsi 4,3
Gambar 4. Masalah Kreator dengan Rekomendasi
Gambar 4 menunjukkan masalah yang dihadapi pembuat konten di YouTube saat mencari penayangan. Opsi 1 adalah
“Kurangnya kejelasan tentang cara kerja sistem rekomendasi”, Opsi 2 adalah “Tidak dapat bereksperimen terlalu liar dengan jenis konten yang diupload”, Opsi 3 adalah “Video dengan konten 'kontroversial' tampaknya lebih populer daripada video biasa”, Opsi 4 adalah “Sistem rekomendasi terlalu menghukum jika terjadi kesalahan” dan Opsi 5 adalah “Saluran yang lebih kecil tidak mendapat perhatian yang cukup”.
Tampaknya sebagian besar pembuat konten menyadari bahwa saluran yang lebih kecil jarang sekali menampilkan videonya di rekomendasi. Beberapa responden mengatakan melalui opsi “Lainnya” bahwa “tidak ada yang mengkliknya” atau “kurangnya penayangan”. Beberapa responden juga mengatakan bahwa mereka tidak berusaha untuk mendapatkan penayangan, sehingga kreator yang berpendapat seperti ini kemungkinan besar lebih banyak dibandingkan jumlah kreator sebenarnya yang memilih opsi ini. Dan karena sebagian besar responden memiliki jumlah pelanggan yang lebih kecil, kemungkinan besar mereka memilih opsi ini berdasarkan pengalaman pribadi.
Beberapa kreator berpendapat bahwa bereksperimen sulit dilakukan dengan sistem rekomendasi yang ada saat ini. Namun, karena jumlah pelanggan responden relatif kecil, sulit untuk mengatakan seberapa penting eksperimen dengan konten pada tahap ini. Beberapa kreator berpendapat bahwa ada ketidakjelasan mengenai cara kerja sistem rekomendasi, sementara segelintir kreator lainnya berpendapat bahwa video dengan konten kontroversial biasanya lebih berhasil. Perlu diperhatikan bahwa keempat pembuat konten yang berpendapat bahwa terdapat ketidakjelasan dalam algoritme rekomendasi juga berpendapat bahwa saluran yang lebih kecil tidak mendapat perhatian yang cukup.
Hanya tiga pencipta yang menganggap kesalahan terlalu menghukum. Mungkin juga pembuat konten dalam survei tersebut tidak melakukan kesalahan nyata karena saluran tersebut lebih kecil dan lebih muda. Seorang responden melalui opsi “Lainnya” memang mengatakan bahwa adanya hak cipta atas musik membuat responden tersebut tidak dapat mengunggah konten game yang menggunakan musik berhak cipta yang bersangkutan. Salah satu pencipta tidak menemukan masalah dengan sistem rekomendasi, namun berkata
Responden juga hanya memberi nilai 3 untuk kepuasannya pada pertanyaan berikutnya. Opsi Lainnya sebagian besar tumpang tindih dengan opsi yang sudah ada.
12
5 4
3
0
5 4 3 2 1
Gambar 5. Kepuasan Kreator terhadap Rekomendasi
Gambar 5 menunjukkan bahwa dibandingkan sebagai penonton, pembuat konten cenderung lebih tidak puas dengan sistem rekomendasi yang ada saat ini. Artinya, sistem rekomendasi berfungsi cukup baik bagi penonton, namun menimbulkan masalah bagi pembuat kontennya.
Kedua responden dengan 1000-4999 pelanggan lebih puas dengan sistem dan menganggap sistem membatasi eksperimen. Namun karena mereka hanya terdiri dari dua orang, tampaknya tidak ada korelasi yang signifikan antara skor kepuasan dengan jumlah langganan, durasi saluran, atau masalah pembuat konten secara umum.
4.3. Perbandingan
Kami akan membandingkan hasil survei kami dengan tinjauan literatur yang dilakukan di bagian 2 untuk menyaring fakta mana yang mungkin benar dan mana yang salah.
Hasil survei kami menunjukkan bahwa sistem rekomendasi lebih memilih video 'clickbait', sehingga kemungkinan besar akan ada rasio klik
[1]lebih penting daripada waktu menonton [7, 13]. Namun, beberapa pengguna mungkin menonton video clickbait sampai akhir dan kemudian menentukan bahwa video tersebut adalah video clickbait. Oleh karena itu, pengguna yang menemukan banyak video clickbait tidak
sepenuhnya meremehkan bahwa waktu tonton juga dapat menjadi faktor penting dalam rekomendasi. Hal ini juga berlaku untuk judul video, tag video, dan deskripsi video [12], karena keduanya terutama membantu mendapatkan klik daripada menentukan kualitas video. Hal ini dapat menyebabkan kreator baru yang belum memahami sistem tidak mendapatkan penayangan.
Jalur radikalisasi [17] mungkin ada, namun kemungkinan besar hal tersebut bukanlah masalah yang besar. Masalah jalur dapat dihilangkan dengan meningkatkan filter rekomendasi terhadap video negatif [12, 16, 18, 19, 20], yang juga akan memperbaiki masalah video negatif dengan satu perubahan. Yang mengejutkan, tidak banyak kreator yang menganggap sistem rekomendasinya kurang jelas [6]. Mereka mungkin tidak memperhatikan dan tidak mencoba menggunakan sistem untuk kepentingan mereka, sehingga menyebabkan mereka tidak mendapat perhatian dari pemirsa. Namun, hal ini juga berarti YouTube memaksa pembuat konten untuk beradaptasi dengan sistem rekomendasi yang masih belum jelas cara kerjanya jika ingin mendapatkan penayangan. Kami tidak dapat memastikan apakah algoritme tersebut, bertentangan dengan makalah Bärtl [5], bertentangan dengan saluran baru atau hanya karena pembuat konten baru tidak mengetahui cara bekerja dengan sistem rekomendasi YouTube.
4.4. Saran untuk meningkatkan sistem rekomendasi YouTube
Setelah melakukan studi literatur dan survei, kami berpendapat bahwa sistem rekomendasi tidak memerlukan perubahan drastis. Sistem rekomendasi saat ini cukup baik untuk memuaskan sebagian besar pengguna, bahkan setelah mempertimbangkan opini pembuatnya. Jadi, membuat perubahan kecil sambil menjaga sistem tetap baik adalah cara yang lebih efisien untuk meningkatkan sistem.
Untuk meningkatkan pengalaman pemirsa, YouTube harus mengajukan pertanyaan singkat kepada pemirsa setelah setiap video mengenai pendapat mereka. Misalnya, tanyakan apakah video tersebut menarik, dan apakah mereka ingin melihat video semacam ini lebih banyak lagi. Namun, usahakan agar tidak mengganggu dan biarkan mereka memilih untuk tidak menjawab jika mereka tidak mau, cukup ingatkan mereka bahwa menjawab dapat meningkatkan pengalaman mereka. YouTube kemudian akan menggunakan data ini untuk mempersonalisasi video untuk direkomendasikan kepada setiap pemirsa. Jika pemirsa memilih untuk tidak menjawab, pertahankan algoritme saat ini tanpa perubahan. Hal ini akan memungkinkan pengguna yang merasa tidak puas untuk meningkatkan pengalaman mereka, sementara pengguna yang tidak merasakan masalah apa pun dapat melewatkan jawaban atas pertanyaan-pertanyaan ini tanpa terlalu terganggu.
Meningkatkan variasi video dapat dilakukan dengan mencari konten serupa dengan genre video yang disukai penonton. Sistem juga tidak boleh merekomendasikan video yang baru saja (kira-kira 4-6 bulan) ditonton oleh pemirsa atau video baru dari saluran yang sudah
berlangganan. Untuk meningkatkan pengalaman pembuat konten, berikan lebih banyak tips kepada pembuat konten untuk mengetahui apa yang dapat membantu mereka mendapatkan penayangan. Karena tampaknya ada faktor yang membantu pertumbuhan saluran baru dalam algoritme rekomendasi [5], memandu pembuat konten baru tentang cara berkoordinasi dengan sistem rekomendasi akan membantu mereka mendapatkan penayangan. Peningkatan pengaruh faktor ini dapat dilakukan jika diperlukan.
Memungkinkan pembuat konten bereksperimen lebih bebas dapat dilakukan dengan memperlakukan saluran itu sendiri sebagai jenis konten, dan tidak menggeneralisasi pembuat konten berdasarkan genre konten. Jika video gagal dalam hal penayangan atau suka, jangan berhenti mempromosikan saluran tersebut kecuali ada pola kegagalan yang terlihat. Kurangi visibilitas saluran secara bertahap jika pola tersebut ditemukan. Untuk mengurangi video dengan konten negatif atau kontroversial, seperti yang disebutkan di bagian sebelumnya, filter rekomendasi perlu ditingkatkan. Salah satu cara untuk meningkatkan filter adalah dengan meningkatkan deteksi pada kombinasi kata yang sering digunakan pada jenis konten tersebut dan mengurangi visibilitasnya.
5. Kesimpulan
Kesimpulannya, sistem rekomendasi yang ada saat ini sudah cukup baik dalam memenuhi kebutuhan penonton meskipun ada kendala yang dihadapi penonton saat menggunakan sistem rekomendasi. Penonton cenderung memprioritaskan apakah video yang direkomendasikan relevan dengan minatnya atau tidak. Masalah utama yang dihadapi pemirsa adalah video clickbait dan kurangnya variasi dalam video yang direkomendasikan. Namun, pembuat konten tidak puas dengan sistem rekomendasi yang ada saat ini, dengan alasan bahwa saluran kecil tidak memiliki jumlah pemirsa yang cukup dan kesulitan dalam melakukan eksperimen konten. Hal ini karena pembuat konten tidak punya pilihan selain mengandalkan sistem rekomendasi, lebih dari yang dilakukan pemirsa. Ini harus menjadi cara untuk mengarahkan karya mereka kepada calon penonton.
Ada juga keterbatasan yang harus kami akui selama penulisan makalah ini. Kami hanya berhasil mendapatkan jawaban dari 59 peserta, dan hanya 24 di antaranya yang merupakan konten kreator.
Artinya, data tersebut masih rentan terhadap bias, terutama di pihak pembuat penelitian. Untungnya, tanggapan datang dari berbagai negara sehingga membantu mengurangi faktor bias. Keterbatasan lainnya adalah kegagalan kami dalam memasukkan pemilihan nilai pelanggan yang lebih rinci; 22 pembuat konten yang berpartisipasi dalam survei memilih bahwa mereka memiliki kurang dari seribu penonton. Kita seharusnya memberikan rentang nilai lebih untuk pertanyaan tersebut dengan
memperluas rentang di bawah seribu. Beberapa pertanyaan lain juga terlalu umum jika dipikir-pikir dan mungkin membingungkan untuk dijawab karena pilihannya bisa berarti lebih dari satu hal.
Lampiran A. Formulir Jawaban (Google Sheets)
https://docs.google.com/spreadsheets/d/1s0H1seKGOCUPwXBq5D7puPW5yKYsC3SG1S8jpQPR_bA/edit?usp=sh aring
Lampiran B. Formulir Survei (Salinan)https://docs.google.com/forms/d/13ymWotPKCK0YOp2cOpHsinSBpGGloJBRw_y52vEqawc/edit?usp=sharing
Referensi
[1] Wilson, L. (2021). Pentingnya Relatif Rasio Klik-Tayang (RKT) versus Waktu Tontonan untuk Penayangan YouTube. Tersedia di SSRN 3369353.
[2] Pedersen, E. (2019). " Video Saya Bergantung pada Algoritma YouTube ": Cara Pembuat Konten Menyusun Persona Algoritma dan Memahami Algoritma yang Mendikte Karya Mereka.
[3] Fyfield, M., Henderson, M., & Phillips, M. (2021). Menavigasi empat miliar video: Strategi pencarian guru dan algoritma YouTube.
Pembelajaran, Media dan Teknologi, 46(1), 47–59.
[4] Watson, R. (2015). Penelitian kuantitatif. Standar Keperawatan (2014+), 29(31), 44.
[5] Bärtl, M. (2018). Saluran, unggahan, dan penayangan YouTube: Analisis statistik selama 10 tahun terakhir. Konvergensi: Jurnal Internasional Penelitian Teknologi Media Baru, 24(1), 16–32.
[6] Uskup, S. (2019). Mengelola visibilitas di YouTube melalui gosip algoritmik. Media dan Masyarakat Baru, 21(11–12), 2589–2606.
[7] Covington, P., Adams, J., & Sargin, E. (2016). Jaringan saraf dalam untuk rekomendasi youtube. RecSys 2016 - Prosiding Konferensi ACM ke-10 tentang Sistem Rekomendasi, 191–198.
[8] Abbas, SM (2017). Peningkatan sistem rekomendasi YouTube yang sadar konteks dengan analisis umpan balik pengguna. Jurnal Teknologi Informasi & Komunikasi Universitas Bahria (BUJICT), 10(2).
[9] L. Sun, X. Wang, Z. Wang, H. Zhao dan W. Zhu, "Rekomendasi Video Sadar Sosial untuk Grup Sosial Online," dalam IEEE Transactions on Multimedia, vol. 19, tidak. 3, hlm. 609-618, Maret 2017, doi: 10.1109/TMM.2016.2635589/
[10] Aggrawal, N., Arora, A., Anand, A. dan Dwivedi, Y. (2020), "Pemirsa atau pengikut awal: model matematika untuk kategorisasi pemirsa YouTube", Kybernetes, Vol. sebelum dicetak No. sebelum dicetak. https://doi.org/10.1108/K-03-2020-0128
[11] Syarif, S. (2017, Agustus). Prediksi trending topik dengan mengoptimalkan algoritma K-nearest neighbour. Pada Konferensi Internasional ke-4 tentang Aplikasi Komputer dan Teknologi Pemrosesan Informasi (CAIPT) tahun 2017 (hlm. 1-4). IEEE.
[12] Tafesse, W. (2020), "Pemasaran YouTube: bagaimana praktik pengoptimalan video pemasar memengaruhi penayangan video", Internet Research Vol. 30 No.6, hal.1689-1707. https://doi.org/10.1108/INTR-10-2019-0406
[13] Uskup, S. (2018). Kecemasan, kepanikan, dan optimasi diri: Ketimpangan dan algoritma YouTube. Konvergensi, 24(1), 69–84.
[14] Van Es, K. (2020). Logika Operasional YouTube: “Pandangan” sebagai Kategori yang Meluas. Televisi & Media Baru, 21(3), 223–239.
[15] Bucher, T. (2018). Kontrol Belahan Dada: Tiga cerita tentang budaya dan kekuatan algoritmik dalam kasus 'Reply Girls' YouTube.
[16] Rieder, B., Matamoros-Fernández, A., & Coromina, Ò. (2018). Dari algoritme pemeringkatan hingga 'budaya pemeringkatan': Menyelidiki modulasi visibilitas dalam hasil penelusuran YouTube. Konvergensi: Jurnal Internasional Penelitian Teknologi Media Baru, 24(1), 50–68.
[17] Ribeiro, MH, Ottoni, R., Barat, R., Almeida, VAF, & Meira, W. (2020). Mengaudit jalur radikalisasi di YouTube. Prosiding Konferensi Keadilan, Akuntabilitas, dan Transparansi tahun 2020, 131–141.
[18] Nicas, J. (2018). Bagaimana YouTube mengarahkan orang ke sudut paling gelap di internet. Jurnal Wall Street.
[19] Tang, L., Fujimoto, K., Amith, MT, Cunningham, R., Costantini, RA, York, F., Xiong, G., Boom, JA, & Tao, C. (2021). “Down the Rabbit Hole”
mengenai Misinformasi Vaksin di YouTube: Studi Paparan Jaringan. Jurnal Penelitian Internet Medis, 23(1), e23262. https://doi.org/
10.2196/23262
[20] Papadamou, K., Papasavva, A., Zannettou, S., Blackburn, J., Kourtellis, N., Leontiadis, I., ... & Sirivianos, M. (2019). YouTube yang terganggu untuk anak-anak:
Mengkarakterisasi dan mendeteksi konten yang mengganggu di youtube. arXiv pracetak arXiv:1901.07046.
[21] LaFrance, ADRIENNE (2017). Algoritme yang membuat anak prasekolah terobsesi dengan YouTube. Atlantik, 25.
[22] Gillespie, T. (2012). Bisakah suatu algoritma salah?. Limn, 1(2).
[23] Wong, R. (2018). Visual interaktif statistik trending Youtube (2018).
[24] Wang, Y., & Yao, S. (2020). STUDI REKOMENDASI NIAT PADA VIDEO YOUTUBE.
[25] Nawaz, S., Rizwan, M., & Rafiq, M. (2019). Rekomendasi Efektivitas Konten Video Youtube Berdasarkan Analisis Sentimen Kualitatif Terhadap Komentar Dan Balasannya. Jurnal Sains Pakistan, 71(4), 91.
[26] Serigala, CT (2016). Video DIY di YouTube: Identitas dan kemungkinan di era algoritma. Senin pertama, 21(6).
https://doi.org/10.5210/fm.v21i6.6787
[27] Airoldi, M., Beraldo, D., & Gandini, A. (2016). Ikuti algoritme: Investigasi eksplorasi musik di YouTube. Puisi, 57, 1-13.
[28] Alvarado, O., Heuer, H., Vanden Abeele, V., Breiter, A., & Verbert, K. (2020). Keyakinan Konsumen Video Paruh Baya Tentang Rekomendasi Algoritma di YouTube. Prosiding ACM tentang Interaksi Manusia-Komputer, 4(CSCW2), 1–24.
[29] SurveiMonkey. (nd). Skala penilaian survei: daftar bernomor vs daftar kata. Diakses pada 3 Juni 2021, dari https://www.surveymonkey.com/mp/presenting-your-rating-scales-numbered-versus-worded-lists/
[30] Sauro, J. (2018, 15 Agustus). 15 Penjelasan Skala Penilaian Umum – MengukurU. MengukurU. https://measuringu.com/rating-scales/
[31] Kepuasan Pelanggan: Bagaimana Mengukurnya Dengan 4 Metrik Utama | Kualtrik. (2020, 12 Oktober). Kualtrik AU. https://
www.qualtrics.com/au/experience-management/customer/measure-customer-satisfaction/
[32] Schrepp, M. (2015). Buku pegangan kuesioner pengalaman pengguna. Semua yang perlu Anda ketahui agar berhasil menerapkan UEQ di proyek Anda
