Sentiment analysis using convolutional neural networks

As redes de neurais de convolução são conhecidas por seu ótimo desempenho em visão computacional, alcançando resultados no estado da arte. No entanto, trabalhos recentes mostraram que estas redes podem funcionar também para processamento de linguagem natural. Neste caso, a ideia básica consiste em concatenar as representações vetoriais das palavras em um único bloco e usá-lo como imagem. Contudo, apesar dos bons resultados, o problema de redes de convolução é o grande números de decisões de projeto que precisam ser tomadas. Estes modelos exigem a definição de muitos hiperparâmetros, incluindo o tipo word embeddings que consiste na representação vetorial dos dados, a função de ativação que introduz não-linearidade ao modelo, o tamanho do filtro que aplica convolução aos dados, o número demapas de características que são responsáveis por identificar os atributos, o método de pooling usado na condensação dos dados, além da constante de regularização e a taxa de dropout que são responsáveis por evitar o sobreajuste da rede. Em trabalhos existentes, foram apresentadas arquiteturas de redes neurais de convolução capazes de superar o desempenho de modelos tradicionais de aprendizado de máquinas, competindo com modelos mais complexos. Todavia, não foi explorado como as diferentes possibilidades de hiperparâmetros podem afetar o desempenho deste tipo de rede. Nesta dissertação, o objetivo consiste em criar um classificador de análise de sentimentos eficiente usando redes neurais de convolução por meio da análise do impacto de seus hiperparâmetros no desempenho do modelo. O interesse por análise de sentimentos vem do advento das mídias sociais e dos avanços tecnológicos que inundam a Internet com opiniões. Os resultados encontrados foram obtidos com o uso de GPU e mostram que as diferentes configurações superam os modelos de referência em sua grande maioria com ganhos de até 18% e possuem desempenho semelhante aos modelos no estado da arte com ganhos de até 2% em alguns casos.Convolutional neural networks are known for their excellent performance in computer vision, achieving results in the state of the art. However, recent work has shown that these networks can also work for natural language processing. In this case, the basic idea is to concatenate the vector representations of words into a single block and use it as an image. However, despite the good results, the problem of convolution networks is the large numbers of design decisions that need to be made. These models require the definition of many hyperparameters, including the type of word embeddings, which consists of the vector representation of the data, the activation function that introduces nonlinearity to the model, the size of the filter that applies convolution to the data, the number of feature maps which are responsible for identifying the attributes, the pooling method used in data reduction, in addition to the regularization constant and the dropout rate, which are responsible for avoiding overfitting of the network. In existing works, convolutional neural network architectures capable of overcoming the performance of traditional machine learning models were presented and these can compete with more complex models. However, it has not been explored how the different possibilities of hyperparameters can affect the performance of this type of network. In this dissertation, the objective is to create an efficient sentiment analysis classifier using convolutional neural networks by analyzing the impact of their hyperparameters on model performance. The interest in analyzing sentiment comes from the advent of social media and the technological advances that flood the Internetwith opinions. The results achieved were obtained with the use of GPU and show that the different configurations exceed the reference models in themajority of themwith gains of up to 18% and have similar performance to themodels in the state of the art with gains of up to 2% in some cases