RANCANG BANGUN SARUNG TANGAN PINTAR PENERJEMAH BAHASA ISYARAT INDONESIA (BISINDO) BERBASIS IOT

To make the general public can understand sign language, people who translate sign language are needed. Research with titled "Design of Smart Gloves for Indonesian Sign Language Translator (BISINDO) based on IoT" purpose to make easier for deaf people communicate daily with general public. Using Esp-32 microcontroller, flex sensor, and gyroscope sensor, to detect hand movements form sign language symbols. The results of translating symbols in the words will be display on smartphone application. The results of this study are in the form of smart gloves that can translate Indonesian Sign Language which is abbreviated as BISINDO. From the data of both right and left hand gloves, 26 letters and 5 different words can be combined. The results of mapping on right glove in letters A, B, L, M, W, Y, Z, have almost same flex sensor angle value, so that characters can appear, the mapping is carried out on MPU-6050 sensor. Tests were carried out 739 times on letter sign symbols and 180 times on word sign language symbols, the percentage of successful experiments on letters was 95% and the percentage of successful experiments on words was 73%.Agar masyarakat umum dapat memahami bahasa isyarat diperlukan orang yang menerjemahkan bahasa isyarat. Penelitian ini dengan judul “Rancang Bangun Sarung Tangan Pintar Penerjemah Bahasa Isyarat Indosnesia (BISINDO) berbasis IoT” bertujuan untuk memudahkan penyandang tunarungu dalam berkomunikasi sehari – hari dengan masyarakat umum. Dengan menggunakan mikrokontroller Esp-32 yang mengolah data masukan dari sensor flex dan sensor gyroscope, kedua sensor tersebut dapat mendeteksi gerakan tangan yang membentuk simbol bahasa isyarat. Sensor flex dipasang pada jari – jari tangan, sedangkan sensor gyroscope diletakan pada punggung tangan kanan dan kiri. Hasil penerjemah simbol yang berupa huruf atau kata akan ditampilkan pada aplikasi di smartphone. Hasil penelitian ini adalah berupa sarung tangan pintar, dimana sarung tangan tersebut dapat menerjemahkan Bahasa Isyarat Indonesia yang disingkat dengan BISINDO. Sensor flex digunakan untuk mendeteksi gerakan dari jari-jari tangan, sedangkan sensor gyroscope dan sensor accelerometer (MPU-6050) untuk mendeteksi gerakan tangan. Dari data kedua perangkat sarung tangan kanan dan kiri tangan dapat dikombinasikan 26 huruf dan 5 kata yang berbeda. Hasil mapping pada sarung tangan kanan pada huruf A, B, L, M, W, Y, Z,memiliki nilai sudut sensor flex yang hamper sama, agar karakter bisa tampil dilakukan mapping pada sensor MPU-6050. Pada sarung tangan kiri lebih banyak yang menggunakan mapping sensor MPU-6050, karena pada simbol bahasa isyarat yang digunakan oleh tunarungu sering menggunakan tangan kanan. Pengujian dilakukan sebanyak 739 kali pada simbol isyarat huruf dan 180 kali pada simbol bahasa isyarat kata, Persentase keberhasilan percobaan pada huruf yaitu sebesar 95% dan persentase keberhasilan percobaan pada kata yaitu sebesar 73%