ANALISIS EMOSI TERHADAP KONTEN MULTIMODAL BERUPA MEME PADA PLATFORM X MENGGUNAKAN MODEL GABUNGAN INDOBERT DAN YOLOv8

Perkembangan media sosial, khususnya platform X, telah mendorong meningkatnya penggunaan meme sebagai medium komunikasi multimodal yang memadukan teks dan gambar untuk mengekspresikan emosi. Penelitian ini bertujuan mengembangkan sistem analisis emosi berbasis multimodal dengan menggabungkan model IndoBERT untuk pemrosesan teks berbahasa Indonesia dan YOLOv8 untuk analisis visual, guna mendeteksi emosi pada konten meme di platform X. Data dikumpulkan melalui teknik scraping, sebanyak 2810 meme berbahasa Indonesia yang diklasifikasikan ke enam katergori emosi berdasarkan teori Basic Emotion Paul Ekman, yaitu Bahagia, Jijik, Marah, Sedih, Takut, dan Terkejut. Dataset dibagi dengan rasio 80:10:10 untuk pelatihan, validasi, dan pengujian. Penggabungan kedua model dilakukan menggunakan metode weighted late fusion dengan pencarian nilai alpha optimal. Hasil evaluasi menunjukkan model gabungan dengan nilai alpha terbaik 0,6 menghasilkan akurasi 72,55%, Precision macro 73,03%, Recall macro 72,76%, dan F1-score macro 72,66%, menunjukkan bahwa pendekatan multimodal mampu menghasilkan klasifikasi emosi yang lebih representatif dibandingkan model unimodal.