ALAT PENERJEMAH BAHASA ISYARAT BERBASIS MACHINE LEARNING UNTUK KOMUNIKASI DUA ARAH BAGI PENYANDANG DISABILITAS SENSORIK (TUNARUNGU DAN TUNAWICARA)

    Fanisa Nur Indah Sari, - (2023) ALAT PENERJEMAH BAHASA ISYARAT BERBASIS MACHINE LEARNING UNTUK KOMUNIKASI DUA ARAH BAGI PENYANDANG DISABILITAS SENSORIK (TUNARUNGU DAN TUNAWICARA). S1 thesis, Universitas Pendidikan Indonesia.

    Abstract

    Penelitian ini bertujuan untuk menciptakan alat komunikasi dua arah berupa sistem yang mampu mendeteksi bahasa isyarat melalui gerakan tangan dan suara manusia. Sistem ini dirancang untuk memberikan solusi bagi masalah komunikasi yang dihadapi oleh pengidap tunawicara dan tunarungu. Metode yang digunakan melibatkan teknologi Computer Vision dengan memanfaatkan Mediapipe Model Maker dan Tensorflow untuk mendeteksi gerakan isyarat. Selain itu, integrasi dengan NLP (Natural Language Processing) dilakukan melalui penggunaan Text-Davinci-003 pada OpenAI dan Web Speech API. Hasil pengujian menunjukkan bahwa model gerakan isyarat memiliki akurasi sebesar 95% dalam pengenalan kosakata yang diuji. Persentase keseluruhan kosakata yang berhasil dikenali mencapai 92,6% dalam pengujian berulang sebanyak 10 kali, dan waktu respon sistem berada dalam rentang 0,08s – 0,1s. Dalam pengujian berulang sebanyak 20 kali pada 12 kalimat yang disusun, total persentase keseluruhan kalimat mencapai nilai 84,6%. Meskipun terdapat kekurangan dalam sistem deteksi gerakan yang dapat mengalami kebocoran dan kepekaan yang tinggi, sistem tetap mampu menjalankan fungsinya dengan baik dalam mendukung komunikasi dua arah antara penyandang disabilitas sensorik (tunarungu-tunawicara) dengan orang normal. Adapun tanggapan pengguna terhadap sistem penerjemah bahasa isyarat secara keseluruhan sangat positif. Pengguna mengakui bahwa aplikasi ini berguna, efektif, efisien, mudah dipahami, dan memiliki tampilan yang menarik.

    Baca Full Text klik disini
    [thumbnail of S_TE_1900504_Title.pdf] Text
    S_TE_1900504_Title.pdf
    Download (379kB)
    [thumbnail of S_TE_1900504_Chapter1.pdf] Text
    S_TE_1900504_Chapter1.pdf
    Download (111kB)
    [thumbnail of S_TE_1900504_Chapter2.pdf] Text
    S_TE_1900504_Chapter2.pdf
    Restricted to Staf Perpustakaan
    Download (327kB)
    [thumbnail of S_TE_1900504_Chapter3.pdf] Text
    S_TE_1900504_Chapter3.pdf
    Download (475kB)
    [thumbnail of S_TE_1900504_Chapter4.pdf] Text
    S_TE_1900504_Chapter4.pdf
    Restricted to Staf Perpustakaan
    Download (1MB)
    [thumbnail of S_TE_1900504_Chapter5.pdf] Text
    S_TE_1900504_Chapter5.pdf
    Download (121kB)
    [thumbnail of S_TE_1900504_Appendix.pdf] Text
    S_TE_1900504_Appendix.pdf
    Restricted to Staf Perpustakaan
    Download (1MB)
    Official URL: http://repository.upi.edu
    Item Type: Thesis (S1)
    Additional Information: Link Google Scholar: https://scholar.google.com/citations?hl=id&user=7QZoCJUAAAAJ ID SINTA Dosen Pembimbing: Arjuni Budi Pantjawati: 5994602 Silmi Ath Thahirah Al Azhima: 6745812
    Uncontrolled Keywords: Bahasa Isyarat, Mediapipe, OpenAI, Web Speech API Sign Language
    Subjects: L Education > L Education (General)
    T Technology > TK Electrical engineering. Electronics Nuclear engineering
    Divisions: Fakultas Pendidikan Teknik dan Industri > Jurusan Pendidikan Teknik Elektro > Program Studi Teknik Tenaga Elektrik
    Depositing User: Fanisa Nur Indah Sari
    Date Deposited: 06 Sep 2023 09:59
    Last Modified: 06 Sep 2023 09:59
    URI: http://repository.upi.edu/id/eprint/103003

    Actions (login required)

    View Item View Item