DETEKSI EMOSI DAN KETERLIBATAN SISWA DALAM EMOVIEW MENGGUNAKAN EFFICIENNETB2 DAN CNN PADA DATASET AFFECTNET

Faris Huwaidi, Faris Huwaidi (2023) DETEKSI EMOSI DAN KETERLIBATAN SISWA DALAM EMOVIEW MENGGUNAKAN EFFICIENNETB2 DAN CNN PADA DATASET AFFECTNET. S1 thesis, Universitas Pendidikan Indonesia.

	Text S_RPL_1904464_Title.pdf Download (398kB)
	Text S_RPL_1904464_Chapter1.pdf Download (56kB)
	Text S_RPL_1904464_Chapter2.pdf Restricted to Staf Perpustakaan Download (428kB)
	Text S_RPL_1904464_Chapter3.pdf Download (222kB)
	Text S_RPL_1904464_Chapter4.pdf Restricted to Staf Perpustakaan Download (1MB)
	Text S_RPL_1904464_Chapter5.pdf Download (38kB)
	Text S_RPL_1904464_Appendix.pdf Restricted to Staf Perpustakaan Download (1MB)

Abstract

Valensi dan gairah dapat berpengaruh untuk mengetahui tingkat engagement (keterlibatan) siswa dalam proses belajar dengan memberikan dimensi tambahan terkait reaksi emosi siswa yang tidak hanya terfokus pada jenis emosi tetapi juga pada tingkat intensitas dan kecenderungan reaksi emosi tersebut. Saat ini terdapat aplikasi EmoView yang dapat digunakan untuk mengenali emosi siswa dalam pembelajaran daring namun belum menerapkan valensi dan arousal. Penelitian ini menerapkan model deteksi emosi menggunakan EfficientNetB2 dengan teknik down sampling dan augmentasi gambar digunakan untuk meningkatkan akurasi. Selain deteksi emosi, pengembangan model deteksi keterlibatan yang berupa valensi dan gairah juga dilakukan menggunakan CNN dengan teknik down sampling dan feature extraction. Model deteksi emosi menggunakan EfficientNetB2 dengan menerapkan teknik down sampling dan augmentasi gambar mendapatkan akurasi 60%. Sementara itu, model deteksi engagement menghasilkan nilai metrik evaluasi MAE 0.182, MSE 0.127, RMSE 0.357 untuk gairah, dan MAE 0.275, MSE 0.136, RMSE 0.368 untuk valensi. Hasil tersebut sudah mendekati penelitian sebelumnya yaitu dengan RMSE 0.356 untuk valensi dan 0.326 untuk gairah. Implementasi model pada aplikasi EmoView berhasil mendeteksi sekitar 43.92% gambar dengan benar, dengan selisih error rata-rata valensi 0.297 dan arousal 0.151. Hasil ini dipengaruhi oleh resolusi kamera, jarak, dan intensitas cahaya lingkungan partisipan. ------- Valence and arousal can influence students' level of engagement in the learning process by providing additional dimensions related to students' emotional reactions that focus not only on the type of emotion but also on the level of intensity and tendency of the emotional reaction. Currently there is an EmoView application that can be used to recognize student emotions in online learning but does not yet apply valence and arousal. This research applies an emotion detection model using EfficientNetB2 with down sampling techniques and image augmentation used to increase accuracy. Apart from emotion detection, the development of an involvement detection model in the form of valence and arousal was also carried out using CNN with down sampling and feature extraction techniques. The emotion detection model using EfficientNetB2 by applying down sampling techniques and image augmentation gets 60% accuracy. Meanwhile, the engagement detection model produces evaluation metric values of MAE 0.182, MSE 0.127, RMSE 0.357 for arousal, and MAE 0.275, MSE 0.136, RMSE 0.368 for valence. These results are close to previous research, namely with an RMSE of 0.356 for valence and 0.326 for arousal. The model implementation in the EmoView application succeeded in detecting around 43.92% of images correctly, with an average error difference of 0.297 valence and 0.151 arousal. These results are influenced by the camera resolution, distance, and light intensity of the participant's environment

Item Type:	Thesis (S1)
Additional Information:	https://scholar.google.com/citations?view_op=list_works&hl=en&user=HTnUm4kAAAAJ ID SINTA Dosen Pembimbinga Dian Anggraini, S.St., M.T.: 6681986 Asyifa Imanda Septiana, S.Pd., M.Eng.: 6681802
Uncontrolled Keywords:	Emosi, Valensi, Gairah, EfficientNetB2, Affectnet Emotion, Valence, Arousal, EfficientNetB2, Affectnet
Subjects:	Q Science > QA Mathematics > QA75 Electronic computers. Computer science Q Science > QA Mathematics > QA76 Computer software T Technology > T Technology (General) T Technology > TK Electrical engineering. Electronics Nuclear engineering
Divisions:	UPI Kampus cibiru > S1 Rekayasa Perangkaat Lunak
Depositing User:	Faris Huwaidi
Date Deposited:	22 Jan 2024 04:43
Last Modified:	22 Jan 2024 04:43
URI:	http://repository.upi.edu/id/eprint/113789

Actions (login required)

View Item