Recognition of complex emotional states based on magnetic resonance and electroencephalography: an approach with virtual reality scenarios

Submitted by Moreno Barros (moreno@ct.ufrj.br) on 2020-04-29T01:37:53Z No. of bitstreams: 1 BrunoRaphaelPastorDeMelo.pdf: 9631963 bytes, checksum: 53f5ec576d1ffdabcb960d908792e308 (MD5)Made available in DSpace on 2020-04-29T01:37:53Z (GMT). No. of bitstreams: 1 BrunoRaphaelPastorDeMelo.pdf: 9631963 bytes, checksum: 53f5ec576d1ffdabcb960d908792e308 (MD5) Previous issue date: 2018-05Durante as últimas décadas, um grande esforço vem sendo empreendido no sentido de identificar marcadores fisiológicos objetivos dos estados emocionais subjetivos. Este trabalho apresenta um protocolo experimental para indução das emoções ternura e angústia que utiliza uma estimulação multimodal com a combinação de um cenário de realidade virtual com músicas. O protocolo foi aplicado em coletas de neurofeedback utilizando imagens de ressonância magnética funcional que mostraram ser possível ativar regiões cerebrais relacionadas com as emoções estudadas. Posteriormente, foi realizado um novo estudo sobre o protocolo com coletas de sinais eletroencefalográficos (EEG), cujos dados foram utilizados em análises off-line com redes neurais artificiais. Os resultados demonstraram ser possível distinguir estados emocionais complexos usando características dos sinais de EEG com acurácias máximas acima de 90%. Além disto, permitiram uma melhor compreensão sobre os mecanismos de regulação emocional voluntária e seus correlatos neurais, podendo contribuir para o desenvolvimento de novas ferramentas e/ou equipamentos na área neurotecnológica.During the last decades, a significant effort has been made to identify objective physiological markers of subjective emotional states. This work presents an experimental protocol for the induction of tenderness and anguish emotions using a multimodal stimulation with the combination of a virtual reality (VR) scene with excerpts of music. The protocol was applied in neurofeedback acquisitions using functional magnetic resonance imaging (fMRI) that demonstrated to be possible activate brain regions related to the emotions studied. Subsequently, a new study on the protocol using electroencephalographic (EEG) signals was done, where data were used in offline analysis with artificial neural networks. The results demonstrated that it is possible to distinguish complex emotional states through EEG features with maximum accuracy above 90%. In addition, they allowed a better understanding of the mechanisms of voluntary emotional regulation and its neural correlates, and could contribute to the development of new tools and/or neurotechnological equipment