Semi-Automatic Enhancement of a Phoneme Recognizer based on Neural Networks

Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaEsta dissertação tem como principal objetivo a melhoria de um sistema de reconhecimento automático de fonemas, atualmente em uso no laboratório de processamento de sinal do Instituto de Telecomunicações da Universidade de Coimbra, no âmbito do projeto LetsRead. Este projeto fornece uma base de dados de ficheiros de fala de crianças, obtida através de um processo, em que crianças de várias escolas do país, realizaram a leitura de diversas frases.Esta área de fala de crianças atualmente em estudo, tem como objetivo o cálculo do índice de capacidade de leitura de uma criança através da análise da fala.Começa-se com a implementação de redes neuronais pouco profundas, com apenas uma camada escondida, de forma a testar vários tipos de parâmetros.Posteriormente, são implementadas redes profundas (DNN – Deep Neural Networks) de forma a tentar melhorar o desempenho de todo o sistema. Foi utilizado um modelo de pré-treino através de máquinas restritas de Boltzmann (RBM – Restricted Boltzmann machines), para um treino da rede mais eficiente.Por fim, implementa-se redes convolucionais (CNN – Convolutional Neural Networks) em que as entradas são sonogramas.Todo este projeto foi desenvolvido com o uso da ferramenta Microsoft Congnitive Toolkit, onde é permitido a utilização de GPU para o treino das redes. O Matlab também foi muito utilizado, para confirmar e validar métodos e alguns valores obtidos.Neste trabalho existiram algumas dificuldades como o facto de a base de dados não ser tão extensa como se gostaria e de esta estar desequilibrada a nível de fonemas.Os resultados obtidos não foram superiores aos valores tidos como referência. Conseguiu-se concluir que as redes convolucionais apresentam melhores resultados que as rede profundas.Em todo este processo, houve um envolvimento do “Cuda Research Center” que permitiu o uso de um sistema de GPU para o treino das redes.The main objective of this dissertation is to improve a phoneme recognition system through automatic processes, currently in existence in the signal processing laboratory of the Telecommunication Institute of the University of Coimbra, under the context of the LetsRead project. This project provides a database of children’s speech files, obtained through a process in which children from distinct schools in the country read several sentences.This area of children’s speech currently under study, aims to calculate the index of reading ability of a child through automatic speech analysis.It starts with the implementation of neural networks with only one hidden layer, in order to prune distinct types of parameters.Subsequently, Deep Neural Networks (DNN) are implemented in order to try to improve the performance of the entire system. A pretrained model was used by Boltzmann Restricred Machines (RBM) for a more efficient network training.Finally, convolutional neural networks (CNN) are implemented through images of sonograms, provided to the network in question. This method was applied after the previous method failed to reach the goals.The entire project was developed using the Microsoft Congnitive Toolkit tool, which allows the use of GPUs for network training. Matlab is also widely used in helping to understand and confirm some values obtained.In this work some difficulties emerged, such as the fact that the database is not as extensive as you would like and it is unbalanced at the phoneme level.The results obtained were not higher than the reference values. It was possible to conclude that the convolutional networks present better results than deep neural networks.Throughout this process, there was na involvement of the “Cuda Research Center” that allowed the use of a GPU system for neural network training