AtalaIA : uso de Deep Learning para reconhecimento automático de placas de licença automotiva em dispositivos com recursos limitados

The use of deep learning based solutions is increasingly present in people’s daily lives. These solutions are the key component of applications from different domains. In computer vision, the use of convolutional neural networks has assumed a prominent role, achieving significant success in tasks such as image classification, semantic segmentation, and object detection. However, solutions based on deep models often require a significant amount of computational resources, for example GPUs, to operate at acceptable levels of latency. This makes them expensive and restricts their deployment in some real-world scenarios. In addition, the advent of 5G and the growing demand for intelligent devices and embedded systems, whose processing power is limited, encourage the creation of neural networks adapted to devices with limited memory, processor, or battery. The combination of deep learning models and resource-constrained systems paves the way for cheaper commercial products, democratizing the access to technology and expanding its impact on society. In this context, this work presents the development of an automatic license plate recognition system (ALPR) suitable for real-world scenarios. The ALPR plays an important role in many practical applications. It can be used by government agencies to find cars involved in crime, traffic law enforcement, border control, and road traffic monitoring, and it can also be used by private companies for commercial purposes such as automatic toll collection and access control to private zones. The ALPR system developed in this work was based on specific object detection models for each of the recognition steps: vehicle detection, license plate detection, and character detection. For the development of the system, we built an original database of 5029 images of 326 different vehicles, which we named UFS-ALPR. Using the built database, we performed experiments with five different architectures: YOLOv4 Tiny, YOLOv5 Nano, YOLOv5 Small, SSD and CenterNet. Subsequently, we analyzed the performance of the trained models and embedded the proposed system in two limited processing devices: Raspberry Pi 4 and NVIDIA Jetson Nano. The conventional version of the proposed ALPR system was able to correctly recognize 87.58% of the license plates in the UFS-ALPR database. The embedded version in the Raspberry Pi 4 and Jetson Nano correctly recognized 77.05% and 77.51%, with 0.53 FPS and 5.66 FPS, respectively.O uso de soluções baseadas em deep learning está cada vez mais presente no cotidiano das pessoas. Essas soluções são o componente principal em aplicações de diferentes domínios. Na visão computacional, o emprego das redes neurais convolucionais vem assumindo um papel de destaque, alcançando significativo sucesso em tarefas como classificação de imagens, segmentação semântica e detecção de objetos. Contudo, soluções baseadas em modelos profundos muitas vezes necessitam de uma quantidade significativa de recursos computacionais, por exemplo GPUs, para operar em níveis aceitáveis de latência. Isso encarece e restringe sua implantação em alguns cenários do mundo real. Além disso, o advento do 5G e a crescente demanda por dispositivos inteligentes e sistemas embarcados cujo poder de processamento é limitado, incentivam a criação de redes neurais adaptadas a dispositivos com limitação de memória, processador ou bateria. A combinação de modelos de aprendizagem profunda e sistemas com recursos limitados abre caminho para o surgimento de produtos comerciais mais baratos, democratizando o acesso à tecnologia e expandindo o impacto dela na sociedade. O presente trabalho apresenta o desenvolvimento de um sistema de reconhecimento automático de placas de licença automotiva (ALPR - Automatic License Plate Recognition) adequado a cenários do mundo real. O ALPR desempenha um importante papel em diversas aplicações práticas. Ele pode ser usado por agências governamentais para encontrar carros envolvidos em crimes, aplicação das leis de trânsito, controle de fronteira e monitoramento do tráfego rodoviário, também podendo ser usado por empresas privadas para fins comerciais, como cobrança automática de pedágio e controle de acesso a zonas privadas. O sistema ALPR desenvolvido neste trabalho utilizou como base modelos de detecção de objetos específicos para cada uma das etapas de reconhecimento: detecção do veículo, detecção da placa e detecção dos caracteres. Para o desenvolvimento do sistema, construímos uma base de dados original de 5029 imagens de 326 veículos distintos, a qual intitulamos UFS-ALPR. Utilizando a base de dados construída, realizamos experimentos com cinco diferentes arquiteturas: YOLOv4 Tiny, YOLOv5 Nano, YOLOv5 Small, SSD e CenterNet. Posteriormente, analisamos o desempenho dos modelos treinados e embarcamos o sistema proposto em dois dispositivos de processamento limitado: Raspberry Pi 4 e NVIDIA Jetson Nano. A versão convencional do sistema ALPR proposto foi capaz de reconhecer corretamente 87,58% das placas da base de dados UFS-ALPR. Já a versão embarcada no Raspberry Pi 4 e no Jetson Nano reconheceu corretamente 77,05% e 77,51%, há uma taxa de 0,53 FPS e 5,66 FPS, respectivamente.São Cristóvão, S