Real-Time Implementation of Automatic Assessment of Reading Ability of Children

Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e TecnologiaA avaliação da capacidade de leitura de crianças em idade do 1º ciclo de escolaridade é um processo moroso, normalmente realizado através de processos não tecnológicos, que envolvem o apontamento manual da duração de uma leitura, assim como do número de palavras incorretamente pronunciadas pela criança. Desta forma, a implementação de uma ferramenta que consiga, automaticamente, avaliar a capacidade de leitura de uma criança é algo de grande utilidade, quer para o professor, quer para a criança. Assim, o trabalho desenvolvido nesta dissertação consiste na criação de uma plataforma online, pensada para ser usada por professores do ensino básico, para rapidamente atribuírem testes de leitura aos seus alunos e analisar os resultados obtidos após a realização desses testes. Durante a realização de um teste de leitura, o sinal de fala produzido pela criança é enviado para um servidor que faz a sua segmentação em palavras e as classifica como correta ou incorretamente pronunciadas. Este resultado é usado para calcular um índice de leitura ponderado, baseado essencialmente no número de palavras corretas e no tempo de leitura. O sistema desenvolvido permite satisfazer pedidos de vários professores em simultâneo, que podem estar em qualquer lugar onde exista internet, e que é compatível com os browsers mais comuns e com diferentes tipos de dispositivos, sejam eles computadores pessoais, smartphones ou tablets. O servidor é implementado pela tecnologia Nginx, que suporta uma aplicação em Node.js. O Node.js é uma ferramenta que permite desenvolver aplicações server-side em JavaScript. No browser do cliente faz-se uso do Web Audio API, uma biblioteca JavaScript que possibilita fazer várias operações com os sinais de fala provenientes do microfone. Do lado do servidor, estes sinais são analisados por um addon do Node.js, desenvolvido em C++.Assessing 1st grade children’s reading aloud capacity is a very time-consuming process, typically performed by the teacher without any kind of technological aid. The teacher measures the reading’s duration and manually records the incorrect words. Therefore, developing a tool that automatically evaluates the children’s reading ability is of the upmost utility. Hence, the work of this dissertation aims to create an online platform where teachers can sign up and use the system’s tools to quickly assign reading tests to their students and analyze the results after their completion. While performing a reading task, the speech signal is obtained and sent to a server that segments the speech signal into several word regions, while detecting if they were correctly pronounced. Having those word regions, the system computes an overall reading score for that test, based on the number of correct words and the duration of that reading. The implemented platform can simultaneously satisfy requests of several teachers, originated in any part of the internet and it is cross-browser and compatible with multiple devices, such as personal computer, smartphones or tablets. The server uses the Nginx technology, who is supporting a Node.js application, a tool to create server-side and network applications. The client’s browser uses the Web Audio API, a JavaScript library that enables to perform operations on the speech signals that are being captured by the microphone. In the server-side, these signals are analyzed by a Node.js addon, developed in C++