Hand gesture recognition

Završni rad obuhvaća izradu sustava za prepoznavanje slova abecede američkog znakovnog jezika u stvarnom vremenu, što uključuje detekciju ruke na kameri te izradu i korištenje klasifikatora gesti. Detekcija ruke je implementirana pomoću biblioteke MediaPipe. MediaPipe crta pojednostavljeni kostur ruke na ekranu i detektira ključne točke ruke. Te ključne točke se onda prosljeđuju klasifikatoru gesti kako bi napravio predikciju. Klasifikator gesti je ostvaren kao model umjetne neuronske mreže, izrađen pomoću biblioteke TensorFlow. Za treniranje i testiranje modela korišteni su postojeći skupovi podataka s Kaggle. Prikazana je programska implementacija u Pythonu i dobiveni rezultati.This paper covers the development of a system for recognizing the letters of the American Sign Language alphabet in real time, which includes the detection of the hand on the camera and the making of and use of a gesture classifier. Hand detection is implemented using the MediaPipe library. MediaPipe draws a simplified skeleton of the hand on the screen and detects hand key points. These key points are then passed to the gesture classifier in order to make a prediction. The gesture classifier was realized as a model of an artificial neural network, created using the TensorFlow library. Existing Kaggle datasets were used to train and test the model. This paper shows the implementation of this system in Python and the obtained results