Ataques adversários em autoencoders variacionais : um estudo qualitativo e quantitativo

Orientador: Eduardo Alves do Valle JúniorDissertação (mestrado) - Universidade Estadual de Campinas, Faculdade de Engenharia Elétrica e de ComputaçãoResumo: Desde os tempos do antigo Egito até a sociedade digital atual, a humanidade está pre-ocupada com a Segurança da Informação. Essa preocupação vem se deslocando para ocampo da Inteligência Artificial, uma vez que suas aplicações estão sendo utilizadas ematividades que podem causar diversos danos sociais. Um laboratório especializado empesquisa de segurança de ponta demonstrou que era possível controlar remotamente umcarro autônomo com a utilização de ataques adversários. Neste projeto, pretendemos ex-plorar esses ataques em Variational Autoencoders.Hoje, os ataques adversários são um perigo bem conhecido das Redes Neurais Profundas.São entradas maliciosas que enganam os modelos de aprendizado de máquina. Propomosum esquema para atacar os autoencoders, bem como uma estrutura de avaliação quanti-tativa ¿ uma nova métrica chamada Área Sob a Curva de Distorção ¿ Distorção ¿ quese correlaciona bem com a avaliação qualitativa dos ataques avançando um pequeno passona literatura de ataques adversários a modelos generativos. Avaliamos ¿ com experimen-tos estatisticamente validados ¿ a resistência a ataques de três autoencoders variacionais(simples, convolucional e DRAW) em três conjuntos de dados (MNIST, SVHN, CelebA),mostrando que tanto a recorrência quanto o mecanismo de atenção do DRAW levam amaior resistência. Compartilhamos o código completo usado para executar nossos exper-imentos em .Como os autoencoders são propostos para compactação de dados ¿ um cenário em quesua segurança é fundamental ¿, esperamos que mais atenção seja dada aos ataques ad-versários nelesAbstract: From the times of ancient Egypt to the nowadays digital society, humankind is concernedwith Information Security. This concern has been shifting to the Artificial Intelligence fieldsince its applications are being used in activities which can cause several social damages. Alaboratory specialized in cutting-edge security research demonstrated that it was possibleto control an autonomous car remotely with the utilization of adversarial attacks. In thisproject, we aim at exploring those attacks on Variational Autoencoders.Today, adversarial attacks are a well-known danger of Deep Neural Networks. They aremalicious inputs that derail machine-learning models. We propose a scheme to attackautoencoders, as well as a quantitative evaluation framework ¿ a novel metric calledArea Under the Distortion¿Distortion Curve ¿ that correlates well with the qualitativeassessment of the attacks advancing a small step the literature in subject of adversarialattacks on generative models. We assess ¿ with statistically validated experiments ¿ theresistance to attacks of three variational autoencoders (simple, convolutional, and DRAW)in three datasets (MNIST, SVHN, CelebA), showing that both DRAW¿s recurrence andattention mechanism lead to better resistance. We shared the complete code used to runour experiments in .As variational autoencoders are proposed for compressing data ¿ a scenario in whichtheir safety is paramount ¿ we expect more attention will be given to adversarial attackson themMestradoEngenharia de ComputaçãoMestre em Engenharia Elétrica2017/03706-2FAPES