BCI-based spatial navigation control: a comparison study

Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2016De uma forma geral, as atuais Interfaces Cérebro-Computador (BCIs) requerem esforços significativos de configuração, calibração e operação. A fim de transferir a tecnologia BCI do ambiente clínico/laboratório para o ambiente de uso diário, ainda é necessário abordar um certo número de questões fundamentais. Estas questões incluem a facilidade e conveniência da utilização diária, o aspeto estético, a segurança, a fiabilidade, a utilidade das aplicações BCI na vida diária do utilizador, e a necessidade de supervisão técnica especializada continuada. O custo de suporte técnico contínuo pode ser alto, e esse apoio por vezes só pode estar disponível a partir de alguns grupos de pesquisa. Outro possível obstáculo para mover a tecnologia BCI para um uso mais prático é a demanda de atenção do utilizador, pois tem sido reportada uma rápida fadiga de utilizadores em alguns estudos de controlos de BCIs. Algumas aplicações BCIs atuais requerem uma série exaustiva de comandos, o que contribui ainda mais para o aumento da fadiga do utilizador. Portanto, o desenvolvimento de sistemas BCI com complexidade reduzida, tempo de resposta rápido, fácil configuração e necessidade mínima de suporte técnico é essencial para a ampla disseminação da tecnologia BCI. O objetivo do presente trabalho é desenvolver um sistema BCI “plug-and-play”, usando um dispositivo portátil de gravação comercialmente disponível, de forma a reduzir os esforços significativos das BCIs atuais nas áreas da configuração, calibração e operação. Noutras palavras, pretende-se criar um sistema BCI que permita uma configuração fácil e rápida, sem tempo de treino (“calibração”) e sem intervenção do utilizador em configurações (“operação”). O objetivo secundário deste trabalho envolve a avaliação e comparação de dois sistemas distintos, construídos com base nos dois paradigmas exógenos da tecnologia BCI – Potenciais Sensorialmente Evocados (SEP) e Potencias Relacionados com Eventos (ERP) – de forma a identificar o melhor paradigma para um sistema BCI “plug-and-play”. Para podermos comparar estes dois sistemas, e testar o sistema como um todo, desenvolvemos ainda uma interface interativa para navegação espacial, ou seja, um labirinto, e estudámos a Taxa de Transferência de Informação (ITR) e a fadiga relativa dos diferentes utilizadores. Para atingir estas metas, desenvolvemos dois sistemas distintos com base nos dois paradigmas exógenos. O sistema baseado em SEP foi desenvolvido com um paradigma de Steady State Visually Evoked Potential (SSVEP), sem qualquer configuração de calibração. O sistema BCI baseado em SSVEP foi construído utilizando um algoritmo de Análise de Potência da Densidade Espectral (PSDA) para o sistema de extração de caraterísticas, que considera as frequências fundamentais de estimulação e as suas primeiras duas harmónicas, e um sistema de classificação baseado em classes. O sinal de EEG foi recolhido a partir dos elétrodos 1 e 2. O sistema baseado em ERP foi desenvolvido com um paradigma P300, que geralmente requer alguma configuração de calibração, mas para os propósitos deste estudo, também foi desenvolvido sem qualquer configuração de calibração. O sistema baseado em P300 foi construído utilizando dois algoritmos diferentes para o sistema de extração de caraterísticas, os algoritmos de Escolha de Picos e de Análise de Áreas, e o sistema de classificação utilizou um sistema de votação com pesos e um sistema baseado em classes de forma a combinar os resultados destes dois algoritmos. Os sinais EEG recolhidos dos elétrodos 3,5,6 e 4 foram utilizados para controlo da interface, e os sinais dos restantes elétrodos foram utilizados para a construção de um filtro espacial de Referência Média Comum (CAR). Estes sistemas BCI foram depois utilizados para controlar uma interface interativa baseada em BCI utilizando apenas os sinais de EEG recolhidos com o Headset Emotiv® EPOC™ como input, o que permite um tempo de preparação rápido. A interface interativa consistiu num labirinto 2D, no qual o sistema BCI controla o movimento em quatro direções de um avatar dentro do labirinto. Este controlo é conseguido através da existência de quatro setas intermitentes distintas umas das outras, e para cada paradigma. Para os utilizadores escolherem a direção que pretendem que o avatar se mova, simplesmente têm de olhar para a seta que representa essa direção, e o sistema irá reconhecer a intenção do utilizador, minimizando as dificuldades de operação. Antes de utilizar os sistemas BCI desenvolvidos para analisar os dados recolhidos com o Headset Emotiv, estes foram testados utilizando um conjunto de dados (“dataset”) de alta qualidade livremente disponíveis, e recolhidos com sistemas de gravação de EEG não portáteis num ambiente de laboratório. O sistema de BCI P300 foi o algoritmo que obteve a maior precisão média (87.09%), seguido do sistema BCI SSVEP com uma precisão média máxima de 77.25%. Avaliámos ainda os mesmos algoritmos, utilizando os dados de dez utilizadores voluntários saudáveis, quatro femininos e seis masculinos idade média de 23.7±3.65 anos, recolhidos com um dispositivo de gravação portátil comercialmente acessível (ou seja, o Headset Emotiv) num ambiente fora do laboratório. A fase Online SSVEP foi a que obteve a precisão média mais alta (89.03%), seguida da fase Offline SSVEP com uma precisão semelhante (87.50%) e finalmente a fase Offline P300 com a precisão média menor (28.13%). A ITR alcançada pelo sistema BCI SSVEP Online foi de 21.01 bits/min. Finalmente, e através da análise dos questionários de autoavaliação preenchidos pelos utilizadores durante o estudo, observámos que o nível de concentração do utilizador tem uma relação direta (=0.8725;2=0.7612;=0.0010) com a precisão do sistema BCI SSVEP Online, isto é, quanto menor a precisão do sistema, mais intensamente o utilizador tem de se concentrar para terminar o labirinto e vice-versa. Infelizmente, não nos foi possível realizar uma avaliação completa do sistema BCI baseado em P300 num ambiente Online fora do laboratório com dados de utilizadores voluntários, recolhidos a partir de um dispositivo de gravação portátil comercialmente acessível (cenário “plug-and-play”), devido aos baixos valores de precisão observados consistentemente na corrida Offline (média de 28.13%). Apesar disto, acreditamos que o sistema BCI P300 que desenvolvemos é suficientemente robusto para ser capaz de extrair e classificar sinais EEG que contenham eventos P300, isso pode ser verificado pelo valor de precisão alcançado pelo sistema durante a avaliação usando os conjuntos de dados de P300, o que nos leva a acreditar que o problema pode estar no sistema de entrega de estímulos ou no dispositivo de gravação, devido ao facto de este dispositivo não ter na sua configuração as posições de elétrodos recomendadas para a recolha de sinais de EEG que contenham eventos P300. Em conclusão, considerando as condições impostas por este trabalho, nomeadamente, o ambiente fora de laboratório, o dispositivo de gravação portátil comercialmente acessível, e tendo em conta os dois algoritmos desenvolvidos, o paradigma que obteve a melhor performance num cenário “plug-and-play” foi o sistema BCI baseado em SSVEP, com uma precisão média máxima de 89.03% e uma ITR de 21.01 bits/min.On a general overview, current Brain-Computer Interfaces (BCIs) require significant efforts to set up, calibrate, and operate. A number of key issues have to be addressed in order to transfer BCI technology from the laboratory/clinical setting to the daily use setting. The goal of this work is to develop a “plug and play” BCI system, using a commercially affordable portable recording device, to reduce the significant efforts of current BCIs in the fields of setup, calibration and operation. We intend to create a BCI system that allows for an easy and quick setup, with no training time (“calibrate”) and no user intervention on configurations (“operate”). The secondary goal of this work involves the evaluation and comparison of two distinct systems based upon the two exogenous BCI paradigms – Sensory Evoked Potentials (SEP) and Event Related Potentials (ERP) – to identify the best paradigm for a “plug and play” BCI system. In order to achieve these goals, we developed two distinct systems based upon the two exogenous paradigms. The SEP-based system was developed with a Steady State Visually Evoked Potential (SSVEP) paradigm, without any calibration setup, using a Power Spectral Density Analysis (PSDA) algorithm for the feature extraction system, which considers the fundamental stimuli frequencies and their first two harmonics, and a class based classification system. The ERP-based system was developed with a P300 paradigm, also without any calibration setup, using two different algorithms for the feature extraction system, the Peak Picking and Area Analysis algorithms, and the classification system used weighted voting and a class based system to combine the results from these two algorithms. These systems were then used to control a BCI-based interactive interface using only inputs from EEG signals recorded with the Emotiv® EPOC™ Headset, which allows for a very quick setup time. The interactive interface consisted of a 2D maze, in which the BCI system controls the movement in 4 directions of an avatar inside the maze. Prior to using the developed BCI systems with the data recorded from the Emotiv headset, these were tested using freely available high quality datasets, collected with non-portable EEG recording systems in a lab environment. Afterwards, we evaluated the BCI systems using data from voluntary users collected with a commercially affordable portable recording device (i.e. Emotiv) in an out-lab environment. Unfortunately, we were unable to fully evaluate the P300-based BCI system in an Online out-lab environment in a “plug-and-play” scenario, due to the consistent low accuracy values in the Offline run. In conclusion, considering the conditions imposed by this work namely, the out-lab environment, the commercially available recording device, and taking into account the two developed algorithms, the paradigm that obtained better performance in a “plug-and-play” scenario was the SSVEP-based BCI system, with a peak average accuracy of 89.03% and an ITR of 21.01 bits/min