Continual learning for object and scene classification

Since their existence, computers have been a great asset to mankind, primarily because of their ability to perform specific tasks at speeds humans could never compete with. However, there are many tasks that humans consider easy which are quite difficult for computers to perform. For instance, a human can be shown a picture of an automobile and a bicycle and then be able to easily discriminate between future automobiles and bicycles. For a computer to perform such a task using current algorithms, typically, it must first be shown a large number of images of the two classes, with varying features and positions, and then spend a great deal of time learning to extract and identify features so that it can successfully distinguish between the two. Nevertheless, it is still able to perform the task (eventually) and, after the computational training is complete, would be able to classify images of automobiles and bicycles faster, and sometimes better, than the human. Nonetheless, the real out-performance displayed by the human is when another class is added to the mix, e.g., “aeroplane”. The human can immediately add aeroplanes to its set of known objects, whereas a computer would typically have to go almost back to the start and re-learn all the classes from scratch. The reason the network requires to be retrained is because of a phenomenon named Catastrophic Forgetting, where the changes made to the system during the acquisition of new knowledge bring about the loss of previous knowledge. In this dissertation, we explore Continual Learning, where we propose a way to deal with Catastrophic Forgetting by making a framework capable of learning new information without having to start from scratch and even “improving” its knowledge on what it already knows. With the above in mind, we implemented a Modular Dynamic Neural Network (MDNN) framework, which is primarily made up of modular sub-networks and progressively grows and re-arranges itself as it learns continuously. The network is structured in such a way that its internal components function independently from one another so that when new information is learned, only specific sub-networks are altered in a way that most of the old information is not forgotten. The network is divided into two main blocks, the feature extraction component which is based on a ResNet50 and the modular dynamic classification sub-networks. We have, so far, achieved results below those of the state of the art using ImageNet and CIFAR10, nevertheless, we demonstrate that the framework can meet its initial purpose, which is learning new information without having to start from scratch.Desde a sua invenção que os computadores têm sido uma excecional ferramenta para a humanidade, principalmente dada a sua capacidade de realizar tarefas específicas, a velocidades que os humanos nunca poderão atingir. Embora os computadores atuais possam superar os humanos de muitas formas, o oposto também é verdade. Existem muitas tarefas que os humanos consideram fáceis de executar, mas que para os computadores são bastante difíceis. Um ser humano, por exemplo, pode ver uma imagem de um automóvel e outra de uma bicicleta e ser instantaneamente capaz de distinguir (praticamente sem erros) entre futuros automóveis e futuras bicicletas com que venha a ser apresentado. Por outro lado, para um computador realizar tal tarefa é tipicamente necessário que este seja apresentado a um grande número de imagens das duas classes, com características e posições variadas e, a seguir, passar bastante tempo a aprender a extrair e identificar atributos que depois são utilizados para distinguir entre as duas classes. Eventualmente, o computador será capaz de realizar a tarefa e, após terminada a aprendizagem, consegue classificar grandes números de imagens de automóveis e bicicletas mais rapidamente (e às vezes melhor) do que o próprio ser humano. No entanto, é quando uma nova classe é adicionada ao conjunto de classes a conhecer, como por exemplo “avião”, que os humanos mostram uma capacidade superior. O humano pode adicionar aviões imediatamente ao seu conjunto de objetos conhecidos, enquanto que um computador, usando os métodos de aprendizagem, teria tipicamente de voltar quase ao início e reaprender todas as classes do zero. Nestes métodos incluímos principalmente o uso de redes neuronais artificiais (Artificial Neural Networks), que têm demonstrado ser dos métodos de aprendizagem de máquina com melhor performance para estes tipos de problemas. Considerando, pois, o uso destas redes, a razão pela qual os métodos de aprendizagem tipicamente necessitam que uma rede seja treinada novamente perante novas classes, é um fenómeno usualmente designado de Catastrophic Forgetting. Neste fenómeno, as mudanças feitas ao sistema durante a aquisição de novos conhecimentos resultam numa perda de conhecimentos anteriores. É neste contexto que nesta dissertação exploramos métodos usualmente designados de Continual Learning, onde se investigam maneiras de lidar com o referido fenómeno, desenvolvendo um sistema capaz de aprender novas informações sem a necessidade de começar do zero