@phdthesis{repoupi145173, month = {August}, note = {https://scholar.google.com/citations?view\_op=new\_profile\&hl=en ID SINTA Dosen Pembimbing Erik Haritman: 6003383}, school = {Universitas Pendidikan Indonesia}, title = {PERANCANGAN SISTEM SMARTGLOVE-CAM: INTEGRASI FLEX-IMU DAN WEBCAM YOLOV8 DENGAN VALIDASI GESTUR STATIS UNTUK VISUALISASI TANGAN 3D REAL-TIME DI UNITY}, year = {2025}, abstract = {Penelitian ini merancang dan mengimplementasikan sistem hybrid SmartGlove-CAM untuk pengenalan gestur tangan statis dan visualisasi pose tangan 3D secara real-time. Tujuan penelitian adalah: (1) merancang sistem yang menggabungkan data sarung tangan sensor (sensor flex dan IMU) dengan deteksi YOLOv8 dari kamera eksternal untuk mendeteksi dan mengklasifikasikan gestur tangan statis; (2) mengimplementasikan prototipe terintegrasi dengan komunikasi real-time berbasis UDP antara glove, modul deteksi kamera, modul fusi, dan Unity; serta (3) memvisualisasikan gerakan jari dan pergelangan tangan secara real-time pada model tangan 3D di Unity. Sistem mengombinasikan lima sensor flex dan satu IMU (MPU-9250) per tangan yang dikendalikan ESP32, dengan deteksi visual oleh YOLOv8n. Modul fusi memetakan tangan kiri/kanan, menyaring nilai flex untuk meredam jitter, dan memvalidasi label kamera menggunakan klasifier statis (RandomForest) yang dilatih dari dataset lokal. Kebijakan kendali menetapkan: (a) saat tidak ada deteksi kamera, artikulasi jari mengikuti nilai sensor flex real-time; (b) saat gestur tangan terdeteksi dan tervalidasi, pose mengikuti label tersebut; dan (c) rotasi pergelangan selalu mengikuti IMU. Evaluasi fungsional pada konfigurasi uji menunjukkan inferensi YOLO {$\approx$} 20-25 FPS (320{$\times$}416), pengiriman glove {$\approx$} 50 Hz, dan latensi end-to-end {\ensuremath{<}} {$\approx$} 150 ms. Hasil ini mendukung bahwa fusi sensor-visi menjaga kontinuitas pose tangan saat kamera terganggu sekaligus memungkinkan validasi visual untuk gestur statis, sehingga sistem layak untuk aplikasi VR/AR, pelatihan, dan antarmuka hands-free berbiaya rendah.}, author = {Muhammad Syams Nurrohmat, - and Erik Haritman, -}, url = {https://repository.upi.edu/}, keywords = {pengenalan gerakan tangan, sarung tangan pintar, YOLOv8, ESP32, IMU, UDP, Unity, Realtime. hand gesture recognition, smart glove, YOLOv8, ESP32, IMU, UDP, Unity, real-time.} }