Lip detection and tracking in mobile devices

A tecnologia tem estado presente cada vez mais no dia-a-dia e trouxe avanços notáveis para a área de visão computacional. Uma das áreas de visão, a detecção de características humanas, sempre foi importante para tarefas de reconhecimento, vigilância, controle e outras. Há um grande potencial de uso na área de acessibilidade, podendo ser benéfica para um grupo de pessoas com necessidades especiais, para proporcionar uma maior interação com o ambiente e com as pessoas. Uma dessas características, os lábios, é útil para o reconhecimento visual e/ou auditivo da fala e pode ser usada para aplicações em acessibilidade de deficientes auditivos e surdos, como por exemplo para a leitura labial. Com a crescente popularização dos dispositivos móveis e avanços no hardware, além do custo cada vez mais acessível, torna-se possível a implementação de métodos rápidos e eficientes para detecção e seu posterior rastreamento. Assim, é possível o uso em tempo real nos dispositivos móveis. Esta dissertação descreve um sistema desenvolvido para a detecção e rastreamento da região dos lábios nesse contexto. A detecção da região dos lábios é feita pelo algoritmo de Viola-Jones, com o diferencial do uso de conjuntos de imagens sintéticas para o treinamento e geração do detector proposto. O rastreamento é baseado no Camshift com modificações, um método de rastreamento de objeto por kernel. A implementação é descrita em detalhes e são mostrados resultados obtidos por sequências gravadas em um dispositivo móvel. As sequências são capturadas em uma configuração não frontal, o que pode ser útil em aplicações específicas. Métricas baseadas no número de acertos, de erros e de falsos positivos são usadas para avaliar os resultados, além da taxa de quadros por segundo.Technology has been increasingly present and brought remarkable advances in the computer vision area. One of such areas, the detection and analysis of human behaviour, has been important for tasks of recognition, surveillance, control, and others. There is great potential for use in the area of accessibility, and it may benefit a group of people with special needs, to provide greater interaction with the environment and with people. Facial feature detection plays a central role in this context. One of these features, the lips, is useful for speech recognition and can be used for applications in accessibility of deaf and hearing impaired, such as for lip reading. With the growing popularity of mobile devices and advances in hardware, as well as more affordable costs, it becomes possible to implement rapid and reliable methods for lip detection and subsequent tracking. So it is possible the real-time use of mobile devices. This thesis describes a system developed for the detection and tracking lips region in this context. The detection of the lips region is carried out by the Viola-Jones algorithm, but with the use of sets of synthetic images for the detector training and generation. Tracking is based on Camshift with modifications, a kernel-based object tracking method. The implementation is described in details and results are shown from sequences recorded on a mobile device. The sequences are not captured on a frontal configuration, which may be useful in specific applications. Performance assessment in terms of metrics based on number of hits, errors and false positives are used to evaluate the results, in addition to the frame rate per second