Recommendation systems and other analytic methods

Trabalho de projeto de mestrado, Matemática Aplicada à Economia e Gestão, Universidade de Lisboa, Faculdade de Ciências, 2019Neste relatório de projeto vamos explicar os fundamentos de Sistemas de Recomendações e outros métodos analíticos dando uma visão mais direcionada para a parte analítica. O objetivo é dar ao leitor um contexto geral sobre o tópico, de forma a que esteja à vontade com a linguagem associada. Para começar, vamos dar uma visão geral sobre o Ciclo Analítico, pois é necessário entender quais são os passos a dar para podermos avançar neste. Seguidamente, é também escrito um capítulo sobre um dos tópicos do momento, Machine Learning, portanto será descrito com algum cuidado para o leitor ficar familiarizado com as metodologias principais ligadas a esta abordagem. Mais direcionado para o ponto principal do projeto, falaremos sobre Sistemas de Recomendação e quais as abordagens utilizadas para o sucesso destes, quais os métodos. Visto que os modelos necessitam de dados para serem significantes, abordamos também como vamos realmente reunir os dados necessários para utilizar nestes. Uma vez tendo o modelo, é necessário avaliar se este é bom ou não. Existe sempre uma métrica para tal avaliação, uma forma de compreender se o modelo está a prever bem ou com a precisão suficiente. Mais tarde, falamos sobre enviesamento estatístico. Este tópico é bastante importante na medida em que é algo muitas vezes não é discutido e que por essa mesma razão, por vezes, pode levar a resultados errados, que não correspondem à realidade. Sendo este projeto baseado em algoritmos de Machine Learning, outros modelos importantes são também explicados: Árvores de Decisão e Clustering. No SAS, é usual dizermos que quando a curiosidade se junta à capacidade, o progresso é inevitável. Trabalhar com dados pode ser difícil, desde a limpeza destes até ao deployment, vai um longo caminho. É a nossa missão fornecer ferramentas para manipulação de dados, de forma acessível a todos.In this report we will explain the fundamentals of Recommendation Systems and other analytical methods giving a more insightful vision on the analytical part. The goal is to give the reader an overall context on the topic, so it becomes comfortable to talk about it and the surrounding context. To start, we are giving an overview on the Analytics Life Cycle, because we need to understand what the steps are, to be able to move forward. After, there is also an insightful chapter about one of the hot topics nowadays is Machine Learning, therefore we will detail it a way that you can be familiarized with the basic approaches it takes. More to the core of the project, we talk about Recommendation Systems and which are the approaches taken to achieve them, which are the methods. Since models need data to be significant, we give a view on how we gather information for most recommendation systems, since it is a more specific case. Once we have the model, how do we know if it is good or not? There is always an evaluation metric, a way of knowing if an analytic model is performing well and accurately enough. Later, we talk about statistical bias. This is particularly important in the sense that, even though have a lot of data, if it is not independent, it will not provide clear and truthful insights. Giving that this is a report based on machine learning algorithms, other models are addressed as well: Decision Trees and Clustering. Here at SAS, we say that when curiosity meets capability, progress is inevitable. Working with data can be difficult, from data cleansing to data model deployment, goes a long way. It is our mission to provide tools for data manipulation, that are easy for all to handle