Development of a virtual keyboard for communication through eye gestures

Text production is one of the most frequent activities when using a computer, a common task that can be affected by limitations for individuals with severe neuromotor disorders such as amyotrophic lateral sclerosis, sometimes aggravated into the Locked-in syndrome. Such individuals may need tools for augmentative and alternative communication, since they may in some cases have only the eye movements as a form of communication and interaction with the outside world. This thesis investigates methods of interaction based on eye movements, discussing their characteristics, possibilities and limitations of human-computer interaction through gaze direction. This work proposes the development of an eye-controlled virtual keyboard that uses gaze traces as text input, describing the development of the virtual keyboard interface, the gaze tracking method and the shape detection and decoding algorithm for words typed from a Brazilian Portuguese lexicon. The methodology of this work, exploratory and experimental, has a quantitative and qualitative nature and involves empirical tests. It comprises an extensive bibliographic survey about Augmentative and Alternative Communication methods, information input through eye gaze direction and design of virtual keyboards. The practical section of this thesis includes the development of an assistive interface based on text input through gaze gestures and the usability evaluation based on experiments with real users without training. The results achieved indicate gesture recognition accuracy above 90% with virtual keyboards in three different key layouts, and typing speed ranging from 3.56 to 7.41 words per minute for novice users and average recognition rate of 83.75%.CNPq - Conselho Nacional de Desenvolvimento Científico e TecnológicoTese (Doutorado)A produção de texto é uma das atividades mais frequentes ao se utilizar um computador, uma tarefa corriqueira que pode ser afetada por limitações para indivíduos acometidos por distúrbios neuromotores severos como a esclerose lateral amiotrófica, por vezes agravada à síndrome do encarceramento. Tais indivíduos podem necessitar de ferramentas de comunicação aumentativa e alternativa, visto que em alguns casos dispõem unicamente dos movimentos dos olhos como forma de comunicação e interação com o mundo exterior. Esta tese investiga métodos de interação baseados nos movimentos oculares, discorrendo sobre suas características, especificidades e limitações da interação humanocomputador através da direção do olhar. Este trabalho propõe o desenvolvimento de um teclado virtual ocular que utiliza a detecção do traçado do olhar como entrada de texto, descrevendo o desenvolvimento da interface do teclado virtual, do método de rastreamento do olhar e do algoritmo de detecção de forma do traçado e votação de palavras potencialmente digitadas a partir de um léxico em português brasileiro. A metodologia deste trabalho, exploratória e experimental, apresenta natureza quantiqualitativa e engloba testes empíricos. Compreende extenso levantamento bibliográfico acerca de métodos de Comunicação Aumentativa e Alternativa, entrada de informação através da direção do olhar e desenvolvimento de teclados virtuais. A seção prática desta tese inclui o desenvolvimento de uma interface assistiva baseada na entrada de texto através de gestos do olhar e a avaliação de usabilidade a partir de experimentos com usuários reais sem treinamento. Os resultados alcançados indicam precisão de reconhecimento de gestos acima de 90% utilizando teclados virtuais em três diferentes configurações de teclas, e velocidade de digitação variando de 3,56 a 7,41 palavras por minuto para usuários em condições de utilização sem treinamento e taxa média de reconhecimento correto de palavras de 83,75%