Predicció de la decisió de compra basada en la detecció d’emocions amb EEG i Machine Learning

Treball de fi de grau en Sistemes AudiovisualsTutor: Sergio Giraldo MéndezEns trobem en un moment de creixent interès cap a les tècniques de neuromàrqueting, les quals permeten descobrir les reaccions inconscients del públic davant estímuls comercials. Nombrosos estudis han analitzat l’activitat cerebral buscant-hi relacions amb el nivell d'atracció provocat per un anunci comercial, o amb l'objectiu de descobrir quines àrees del cervell s'activen davant d’estímuls retinguts en la memòria. No obstant, l'estudi de la percepció de la publicitat audiovisual mitjançant l'electroencefalografia (EEG) no s'ha dut a terme, al nostre entendre, amb l'enfocament dels estats emocionals i el model arousalvalence. L’objectiu principal d’aquest treball és estudiar l’efecte real de la publicitat audiovisual en l’estat emocional instantani dels espectadors, i com aquest últim afecta a la presa de decisions. Per a això, s'ha establert un entorn d’investigació totalment específic que inclou, en primer lloc, la creació d’una base de dades de 43 vídeos etiquetats per la seva intenció emocional. Seguidament, s'ha fet una estimació dels estats emocionals basada en el processament de senyals EEG, utilitzant les ones alpha i beta per a mesurar diversos valors d’arousal i valence. S'han realitzat experiments amb 40 voluntaris que han valorat els vídeos de forma subjectiva segons la seva intenció emocional, el seu efecte emocional real i la intenció de compra que els associen, alhora que el seu senyal cerebral era enregistrat. Les dades obtingudes han estat processades amb eines de Machine Learning per a descobrir si existeix una relació entre el senyal EEG, les respostes dels subjectes i la intenció de compra.There is currently a growing interest on neuromarketing /ntechniques, which allow discovering the unconscious reactions of the public to commercial stimuli. Several studies have analysed the brain activity searching relationship with the at/ntraction level given a commercial /nadvert, or with the aim to discover which brain areas are activated by stimuli retained in /nmemory./nHowever, the study of audiovisual advertising perception by means of electroencephalography (EEG) has not been conducted, /nto our knowledge, with the approach of emotional states and the arousal-valence model. /nThe main goal of this project is to study the /nreal effect of audiovisual advertising in the instantaneous emotional state of spectators, and /nhow this affects to decision making. For this, a completely specific research framework has /nbeen proposed which includes, first, the creation of a 43-video database labeled by emo/ntional intention. Then, we have done an estimation of the emotional state based on EEG /nsignal processing, using alpha and beta waves to measure different values of arousal and /nvalence. /nExperiments/nhave been performed with 40 volunteers who have rated videos according to their subjective emotional intention, their real emotional effect and the purchase /nintention they associate, while their brain signal was captured. The obtained data has been /nprocessed with Machine Learning tools to find whether a relationship exists between EEG /nsignal, written feedback from the subjects and purchase intention