Erweiterte EEG-Signalverarbeitung mit Anwendungen in Gehirn-Computer-Schnittstellen : Bewertung benutzerorientierter Paradigmen zur Verbesserung der Gehirn-Computer-Interaktion

Advances in signal processing push forward the Neurotechnology domain along with the Brain-Computer Interface (BCI) research which deals with the analysis of brain activity. Heading for a future that will most probably happen, where either healthy persons or people with disabilities communicate and control external devices without muscle control, a symbiotic relationship between humans and machines needs to be created. Moreover, the research direction should be guided to the users’ side by evaluating users’ interests and needs. The main goal of this thesis is to provide suggestions and solutions to ease and facilitate the Brain-Computer Interaction, by the following: i) stimuli and tasks that refer to users’ mental states and interests are optimized; ii) an interpretable system is created to reveal the neural information that can further determine a controlled BCI system to act; iii) and the most important aspect that make the first two key points possible: advanced and improved methodological approaches are developed to efficiently extract and interpret human neural activity from the Electroencephalogram (EEG). The investigation is performed through two experimental studies, where the first one proposes improved stimuli and tasks regarding users’ interests and preferences in a motor-imagery-based BCI. The second study considers users’ cognitive mental states with the purpose to better control BCIs and investigates not only what the user has received from the external information, but also how and to which level of processing is the information encoded within the brain. The paradigms investigate the brain fluctuations induced by different stimuli and tasks, in order to provide the means to silently detect the meaningful neural information from the brain activity, which is critical for a BCI application. While the first paradigm considers Sensorimotor Rhythms (SMRs), the second paradigm is based on Event Related Potentials (ERPs). Most BCI paradigms consider either the temporal or the spectral information of the generated brain activity, but infrequently the investigation is performed in ensemble considering both domains. As it will be observed in this work, the analysis pipeline that considers only one domain might be suboptimal, while brain activity manifests additional information which is visible in both temporal and spectral domains. Therefore, this thesis deals with the methodological improvements that include complementary information, yielding to more accurate data analysis that outperforms most of the available methods.Fortschritte auf dem Gebiet der Signalverarbeitung beeinflussen auch die Entwicklungen (in der Neurotechnologie und somit auch die Erforschung) der Gehirn-Computer Schnittstellen (BCIs). Um Menschen mit körperlichen Einschränkungen, wie auch gesunden Menschen, die Möglichkeit zu geben ohne muskuläre Kontrolle über externe Geräte zu kommunizieren oder diese zu kontrollieren, muss eine symbiotische Beziehung zwischen Mensch und Maschine geschaffen werden. Hierfür sollte in der Forschung insbesondere ein größerer Fokus auf die Interessen und Bedürfnisse der Nutzer:innen gelegt werden. Das Ziel dieser Arbeit ist es Lösungsvorschläge für eine verbesserte Gehirn-Computer-Interaktion zu untersuchen. Dabei werden: i) Stimuli und Aufgabenstellungen die sich auf den mentalen Zustand der Nutzer:innen beziehen optimiert, ii) ein interpretierbares BCI geschaffen, um die entscheidenden neuronalen Informationen zu bestimmen, iii) die beiden ersten Punkte werden vor allem durch verbesserte methodische Ansätze ermöglicht welche effizient neuronale Aktivitäten vom Elektroenzephalogramm (EEG) extrahieren und interpretieren. Hierfür werden zwei EEG Studien analysiert. Erstere untersucht verbesserte Stimuli und Aufgabenstellungen bezüglich der Nutzerinteressen in einem motor-imagery basierten BCI. Die zweite Studie analysiert kognitive Zustände um herauszufinden wie externe Informationen im Gehirn ankommen und wie diese verarbeitet werden. Die beiden Studien untersuchen die Fluktuationen im Gehirn welche durch unterschiedliche Stimuli und Aufgabenstellungen induziert werden, um aussagekräftige neuronale Informationen, welche für die Anwendung des BCI wichtig sind, zu bestimmen. Während das erste Paradigma die sensormotorischen Rhythmen (SMRs) betrachtet, basiert das zweite Paradigma auf ereigniskorrelierten Potentialen (ERPs). Die meisten BCI Paradigmen betrachten entweder die zeitliche oder die spektrale Domäne der Gehirnaktivität, eher selten werden beide im ensemble analysiert. In dieser Dissertation kommen wir zu dem Schluss, dass die Analyse die sich nur auf eine der beiden Domänen stützt nicht optimal ist, da wichtige Informationen in beiden Domänen enthalten ist. Deshalb analysieren wir erweiterte Methoden die komplementäre Informationen aus beiden Domänen kombinieren, was zu einer genaueren Datenanalyse führt, die die Ergebnisse der bisherigen Methoden übertrifft.Progresele în analiza semnalelor impulsionează domeniul neuro-tehnologiei împreună cu cercetarea Interfețelor Creier-Calculator (en., Brain-Computes Interfaces - BCI) care se ocupă cu analiza activității cerebrale. Îndreptându-ne către un viitor care cel mai probabil se va întâmpla cât de curând, în care fie persoane sănătoase, fie persoane cu handicap comunică și controlează dispozitive externe fără intermediul controlului muscular, o relație simbiotică între oameni și mașini trebuie să fie creată. Mai mult, direcția de cercetare ar trebui să fie ghidată către utilizatori, prin evaluarea intereselor și nevoilor utilizatorilor. Scopul principal al acestei lucrări este de a oferi sugestii și soluții pentru a ușura și facilita interacțiunea creier-calculator, prin următoarele: i) stimulii și activitățile care se referă la stările mentale și interesele utilizatorilor, sunt optimizate; ii) un sistem interpretabil este creat pentru a dezvălui informația neuronală ce poate determina în continuare un sistem de tip BCI pe bază de control să acționeze; iii) și cel mai important aspect care face posibile primele doua puncte cheie: abordări metodologice avansate și îmbunătățite sunt dezvoltate pentru a extrage și interpreta, în mod eficient, activitatea neuronală umană relevată de Electroencefalogramă (EEG). Investigarea se realizează prin două studii experimentale, în care primul propune stimuli și sarcini îmbunătățite privind interesele și preferințele utilizatorilor în cadrul unei Interfețe Creier-Calculator bazate pe imaginare motorie. Al doilea studiu consideră stările mentale cognitive ale utilizatorilor vizând îmbunătățirea ulterioară a controlului în cadrul Interfețelor Creier-Calculator și investighează nu numai ceea ce utilizatorul a prelucrat din informațiile externe, ci și modul și nivelul de prelucrare al informației codificate în creier. Paradigmele investighează fluctuațiile creierului induse de diferiți stimuli și activități, pentru a oferi mijloacele de a detecta informația neuronală semnificativă din activitatea creierului, care este critică pentru o aplicație de tip BCI. În timp ce prima paradigmă consideră ritmurile sensori-motrice (SMRs), a doua paradigmă se bazează pe potențiale legate de evenimente (en., Event-Related Potentials - ERPs). Majoritatea paradigmelor BCI consideră fie informațiile temporale, fieinformațiile spectrale ale activității generate de către creier, însă rareori cercetarea se realizează în ansamblu, considerând ambele domenii, timp și frecvență. Așa cum se va observă în această lucrare, analiza care consideră un singur domeniu ar putea fi suboptimală, deoarece activitatea creierului prezintă informații suplimentare ce sunt vizibile atât în domeniul temporal, cât și în cel spectral. Prin urmare, această teză se ocupă cu îmbunătățirile metodologice ce includ informațiile complementare, obținând o analiză mai precisă a datelor ce depășește performanțele majorității metodelor disponibile.EC/FP7/611570/EU/Symbiotic Mind Computer Interaction for Information Seeking/MindSeeBMBF, 01GQ0850, Verbundprojekt: Bernstein Fokus Neurotechnologie - Nichtinvasive; Neurotechnologie für Mensch-Maschine Interaktio