CONTRIBUTIONS TO THE AUTOMATIC RECOGNITION OF PORTUGUESE SIGN LANGUAGE

Este trabalho insere-se num projeto de investigação com vista ao desenvolvimento de uma plataforma móvel de reconhecimento automático de línguas gestuais e foi realizado sobre uma base de dados da Língua Gestual Portuguesa (LGP) criada recentemente. As contribuições do mesmo para o projeto passaram pelo estudo diferentes tipos de características que podem ser usadas para classificar gestos estáticos e dinâmicos, e pela avaliação do impacto que a inclusão de informação de profundidade pode ter no reconhecimento de línguas gestuais. No que concerne aos gestos estáticos, verificou-se que as características regionais, baseadas na silhueta dos objetos, são as que melhor descrevem a mão, em detrimento de características baseadas em medidas estatísticas ou de histogramas de orientação de gradiente. Além da base de dados da LGP, foi também utilizado o conjunto de dados de Triesch que corresponde a uma base de dados de referência para o estudo de gestos estáticos. A comparação dos resultados obtidos evidenciou que a naturalidade de execução dos gestos da base de dados LGP influenciou negativamente a classificação obtida. Para os gestos dinâmicos, com componente de movimento, foram avaliados dois tipos de características: baseadas na posição absoluta das mãos e no seu movimento relativo. As características baseadas no movimento relativo foram as que retornaram melhores resultados, mostrando-se mais resilientes às velocidades de execução dos gestos e posição das mãos relativamente ao corpo. No presente estudo a informação de profundidade existente não revelou melhorias significativas na classificação de gestos estáticos ou dinâmicos, embora se reforce a sua importância para a definição de novas representações das mãos, baseadas na estrutura das mesmas e não apenas na sua aparência. i