PERANCANGAN SISTEM SMARTGLOVE-CAM: INTEGRASI FLEX-IMU DAN WEBCAM YOLOV8 DENGAN VALIDASI GESTUR STATIS UNTUK VISUALISASI TANGAN 3D REAL-TIME DI UNITY

    Muhammad Syams Nurrohmat, - and Erik Haritman, - (2025) PERANCANGAN SISTEM SMARTGLOVE-CAM: INTEGRASI FLEX-IMU DAN WEBCAM YOLOV8 DENGAN VALIDASI GESTUR STATIS UNTUK VISUALISASI TANGAN 3D REAL-TIME DI UNITY. S1 thesis, Universitas Pendidikan Indonesia.

    Abstract

    Penelitian ini merancang dan mengimplementasikan sistem hybrid SmartGlove-CAM untuk pengenalan gestur tangan statis dan visualisasi pose tangan 3D secara real-time. Tujuan penelitian adalah: (1) merancang sistem yang menggabungkan data sarung tangan sensor (sensor flex dan IMU) dengan deteksi YOLOv8 dari kamera eksternal untuk mendeteksi dan mengklasifikasikan gestur tangan statis; (2) mengimplementasikan prototipe terintegrasi dengan komunikasi real-time berbasis UDP antara glove, modul deteksi kamera, modul fusi, dan Unity; serta (3) memvisualisasikan gerakan jari dan pergelangan tangan secara real-time pada model tangan 3D di Unity. Sistem mengombinasikan lima sensor flex dan satu IMU (MPU-9250) per tangan yang dikendalikan ESP32, dengan deteksi visual oleh YOLOv8n. Modul fusi memetakan tangan kiri/kanan, menyaring nilai flex untuk meredam jitter, dan memvalidasi label kamera menggunakan klasifier statis (RandomForest) yang dilatih dari dataset lokal. Kebijakan kendali menetapkan: (a) saat tidak ada deteksi kamera, artikulasi jari mengikuti nilai sensor flex real-time; (b) saat gestur tangan terdeteksi dan tervalidasi, pose mengikuti label tersebut; dan (c) rotasi pergelangan selalu mengikuti IMU. Evaluasi fungsional pada konfigurasi uji menunjukkan inferensi YOLO ≈ 20–25 FPS (320×416), pengiriman glove ≈ 50 Hz, dan latensi end-to-end < ≈ 150 ms. Hasil ini mendukung bahwa fusi sensor–visi menjaga kontinuitas pose tangan saat kamera terganggu sekaligus memungkinkan validasi visual untuk gestur statis, sehingga sistem layak untuk aplikasi VR/AR, pelatihan, dan antarmuka hands-free berbiaya rendah.

    Baca Full Text klik disini
    [thumbnail of S_TE_2100189_Title.pdf] PDF
    S_TE_2100189_Title.pdf
    Download (725kB)
    [thumbnail of S_TE_2100189_Chapter1.pdf] PDF
    S_TE_2100189_Chapter1.pdf
    Download (237kB)
    [thumbnail of S_TE_2100189_Chapter2.pdf] PDF
    S_TE_2100189_Chapter2.pdf
    Restricted to Staf Perpustakaan
    Download (277kB)
    [thumbnail of S_TE_2100189_Chapter3.pdf] PDF
    S_TE_2100189_Chapter3.pdf
    Download (354kB)
    [thumbnail of S_TE_2100189_Chapter4.pdf] PDF
    S_TE_2100189_Chapter4.pdf
    Restricted to Staf Perpustakaan
    Download (538kB)
    [thumbnail of S_TE_2100189_Chapter5.pdf] PDF
    S_TE_2100189_Chapter5.pdf
    Download (186kB)
    [thumbnail of S_TE_2100189_Appendix.pdf] PDF
    S_TE_2100189_Appendix.pdf
    Restricted to Staf Perpustakaan
    Download (487kB)
    Official URL: https://repository.upi.edu/
    Item Type: Thesis (S1)
    Additional Information: https://scholar.google.com/citations?view_op=new_profile&hl=en ID SINTA Dosen Pembimbing Erik Haritman: 6003383
    Uncontrolled Keywords: pengenalan gerakan tangan, sarung tangan pintar, YOLOv8, ESP32, IMU, UDP, Unity, Realtime. hand gesture recognition, smart glove, YOLOv8, ESP32, IMU, UDP, Unity, real-time.
    Subjects: T Technology > T Technology (General)
    T Technology > TA Engineering (General). Civil engineering (General)
    T Technology > TK Electrical engineering. Electronics Nuclear engineering
    Divisions: Fakultas Pendidikan Teknik dan Industri > Jurusan Pendidikan Teknik Elektro > Program D3 Teknik Elektro
    Depositing User: Muhammad Syams Nurrohmat
    Date Deposited: 14 Nov 2025 07:23
    Last Modified: 14 Nov 2025 07:23
    URI: http://repository.upi.edu/id/eprint/145173

    Actions (login required)

    View Item View Item