Benchmarking and user evaluation of a recommendation system based on similarity between items

Com a crescente potencialização da Internet como ferramenta para conectar pessoas e negócios ao redor do mundo, surge uma necessidade enorme de explorar as tecnologias de Sistemas de Recomendação. Sistemas de Recomendação auxiliam, através de predições matemáticas, desde sugestões de livros, filmes, roupas, artigos, até interações entre proteínas e genes. São poderosas ferramentas que podem extrair valor adicional para empresas a partir de suas bases de dados. O objetivo deste trabalho foi validar, por meio de um estudo comparativo, o desempenho e a acurácia nas recomendações de filmes geradas em diferentes plataformas de recomendação que utilizam a abordagem de Filtragem Colaborativa baseada em similaridade entre itens, tomando como referência o algoritmo de recomendação aqui chamado de LAP - Link Assessment Problem - proposto por Katharina A. Zweig e desenvolvido na Technische Universität Kaiserslautern na Alemanha. Verificou-se, nas diferentes plataformas selecionadas, os seguintes parâmetros: memória consumida, tempo de geração da recomendação e qualidade da recomendação. Para medir o parâmetro de qualidade utilizou-se como métrica estatística o PPV - Positive Predictive Values. Por fim, para o algoritmo baseado no Link Assessment Problem, foram avaliadas e medidas as recomendações em um experimento com usuários. Ao final foi possível observar que a qualidade das recomendações geradas pelo LAP produziu valores de PPV bem próximos dos valores obtidos nas demais plataformas, no entanto o algoritmo ainda precisa de evoluções e melhorias em sua performance.With the large increasing of the Internet as a tool to connect people and businesses around the world, emerges a demand to explore the recommendation systems technologies. Recommendation systems help, through mathematically predictions, from suggestions of books, movies, clothes, articles, to interactions between proteins and genes. They are powerful tools that can extract additional value for companies from their databases. The aim of this study was to evaluate, through a comparative study, the performance and accuracy in movie recommendations generated in different recommendation platforms which uses the Collaborative Filtering approach based on similarity between items, with reference to the recommendation algorithm called LAP - Link Assessment Problem - proposed by Katharina A. Zweig and developed at the Technische Universität Kaiserslautern in Germany. It was computed in the different selected platforms the following parameters: memory consumed, time to generate the recommendation and quality of these recommendations. To measure the quality parameter was used a statistical metric PPV - Positive Predictive Values. Finally, for the algorithm based on the Link Assessment Problem, the recommendations were evaluated and measured in an experiment with users. At the end it was possible to observe that the quality of the recommendations generated by the LAP was competitive compared to the other platforms, however the algorithm still needs improvements in its performance