ALAT PENERJEMAH BAHASA ISYARAT BERBASIS MACHINE LEARNING UNTUK KOMUNIKASI DUA ARAH BAGI PENYANDANG DISABILITAS SENSORIK (TUNARUNGU DAN TUNAWICARA)

Fanisa Nur Indah Sari, - (2023) ALAT PENERJEMAH BAHASA ISYARAT BERBASIS MACHINE LEARNING UNTUK KOMUNIKASI DUA ARAH BAGI PENYANDANG DISABILITAS SENSORIK (TUNARUNGU DAN TUNAWICARA). S1 thesis, Universitas Pendidikan Indonesia.

	Text S_TE_1900504_Title.pdf Download (379kB)
	Text S_TE_1900504_Chapter1.pdf Download (111kB)
	Text S_TE_1900504_Chapter2.pdf Restricted to Staf Perpustakaan Download (327kB)
	Text S_TE_1900504_Chapter3.pdf Download (475kB)
	Text S_TE_1900504_Chapter4.pdf Restricted to Staf Perpustakaan Download (1MB)
	Text S_TE_1900504_Chapter5.pdf Download (121kB)
	Text S_TE_1900504_Appendix.pdf Restricted to Staf Perpustakaan Download (1MB)

Abstract

Penelitian ini bertujuan untuk menciptakan alat komunikasi dua arah berupa sistem yang mampu mendeteksi bahasa isyarat melalui gerakan tangan dan suara manusia. Sistem ini dirancang untuk memberikan solusi bagi masalah komunikasi yang dihadapi oleh pengidap tunawicara dan tunarungu. Metode yang digunakan melibatkan teknologi Computer Vision dengan memanfaatkan Mediapipe Model Maker dan Tensorflow untuk mendeteksi gerakan isyarat. Selain itu, integrasi dengan NLP (Natural Language Processing) dilakukan melalui penggunaan Text-Davinci-003 pada OpenAI dan Web Speech API. Hasil pengujian menunjukkan bahwa model gerakan isyarat memiliki akurasi sebesar 95% dalam pengenalan kosakata yang diuji. Persentase keseluruhan kosakata yang berhasil dikenali mencapai 92,6% dalam pengujian berulang sebanyak 10 kali, dan waktu respon sistem berada dalam rentang 0,08s – 0,1s. Dalam pengujian berulang sebanyak 20 kali pada 12 kalimat yang disusun, total persentase keseluruhan kalimat mencapai nilai 84,6%. Meskipun terdapat kekurangan dalam sistem deteksi gerakan yang dapat mengalami kebocoran dan kepekaan yang tinggi, sistem tetap mampu menjalankan fungsinya dengan baik dalam mendukung komunikasi dua arah antara penyandang disabilitas sensorik (tunarungu-tunawicara) dengan orang normal. Adapun tanggapan pengguna terhadap sistem penerjemah bahasa isyarat secara keseluruhan sangat positif. Pengguna mengakui bahwa aplikasi ini berguna, efektif, efisien, mudah dipahami, dan memiliki tampilan yang menarik.

Item Type:	Thesis (S1)
Additional Information:	Link Google Scholar: https://scholar.google.com/citations?hl=id&user=7QZoCJUAAAAJ ID SINTA Dosen Pembimbing: Arjuni Budi Pantjawati: 5994602 Silmi Ath Thahirah Al Azhima: 6745812
Uncontrolled Keywords:	Bahasa Isyarat, Mediapipe, OpenAI, Web Speech API Sign Language
Subjects:	L Education > L Education (General) T Technology > TK Electrical engineering. Electronics Nuclear engineering
Divisions:	Fakultas Pendidikan Teknologi dan Kejuruan > Jurusan Pendidikan Teknik Elektro > Program Studi Teknik Tenaga Elektrik
Depositing User:	Fanisa Nur Indah Sari
Date Deposited:	06 Sep 2023 09:59
Last Modified:	06 Sep 2023 09:59
URI:	http://repository.upi.edu/id/eprint/103003

Actions (login required)

View Item