Motor Imagery Recognition With Within Class And Between Class Scatter Sensitive Common Spatial Patterns

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2016Thesis (M.Sc.) -- İstanbul Technical University, Instıtute of Science and Technology, 2016Motor hareket hayali ya da motor imgeleme, bireyin istenilen bir hareketi fiziksel olarak yapıyormuşçasına zihninde canlandırmasıdır. Vücut hareketlerine ait motor hareket hayallerinin, motor korteks üzerinde µ ve β frekans bantlarında olay ilişkili desenkronizasyon/senkronizasyon (ERD/ERS) adı verilen belirgin güç değişimlerine sebep oldukları bilinmektedir. Farklı kas gruplarına ait motor hareket hayalleri söz konusu olduğunda bu güç değişimlerinin motor korteks üzerinde uzamsal farklılık göstermesi, motor hareket hayallerinin sınıflandırılmasına olanak sağlayan temel etkendir. Herhangi bir uzuv hareketine ait motor hareket hayali süresince ERD/ERS olgularının görüldüğü bölgelerin, kas gruplarının motor korteks üzerindeki dağılımı eşliğinde yorumlanması ile kişinin zihninde hangi uzuv hareketini kurguladığı tespit edilebilmektedir. Motor hareket hayali süresince oluşan nörolojik etkinlik, EEG ile dış dünyaya aktarılmaktadır. Gri maddede bulunan kaynaklar tarafından üretilen bu etkinliğin kafatası üzerinde konumlanan elektrotlara hacimsel iletim kanalıyla ulaşmasının bir sonucu olarak EEG sinyali, oldukça düşük uzamsal çözünürlüğe sahiptir. Hacimsel iletimin sebep olduğu kaynak girişimi dolayısıyla herhangi bir elektrottan elde edilen bilgi, komşu kaynaklara ait sinyalleri de içeren girişimli beyin etkinliğidir. Girişimli beyin etkinliği, ERD/ERS olgularının uzamsal analizi esnasında gri maddede bulunan hangi kaynakların tetiklendiğinin belirlenmesini güçleştirmektedir. Bunun bir sonucu olarak, motor korteks üzerinde hangi bölgenin faal duruma geçtiği doğru bir şekilde tespit edilememektedir. Bu sebeple EEG verileri, gri maddede bulunan ilgili kaynağa ait sinyalleri güçlendirmek ve ilgisiz kaynaklara ait sinyalleri zayıflatmak amacıyla uzamsal filtreleme işlemine tabi tutulur. Ortak uzamsal örüntüler (CSP), ERD/ERS olgularının uzamsal analizini konu alan çalışmalarda, farklı kas gruplarının motor hareket hayallerini içeren EEG verilerini ayırt etmek amacıyla kullanılan bir uzamsal filtreleme metodudur. Her bir uzuv hareketinin bir sınıf olarak ele alındığı durumda CSP uzamsal süzgeçleri, iki sınıfa ait ortalama kovaryans matrislerinin eş zamanlı köşegenleştirilmesi ile elde edilirler. Bu uzamsal süzgeçler ile filtrelenen EEG verileri, sınıf ortalamaları arasında güç bakımından azami farklılığın bulunduğu izdüşüm eksenleri üzerine yansıtılmış olurlar. Bu işlem sayesinde, herhangi bir motor hareket hayalini içeren EEG verisinin hangi sınıfa dâhil olduğu daha iyi bir doğrulukla belirlenebilmektedir. Ancak, etkili sonuçlar elde edebilmesine rağmen CSP, EEG’deki gürültü ve durağansızlık gibi istenmeyen etkenlere karşı oldukça savunmasızdır. Bu etkenlerin sınıflandırma sürecine olan olumsuz etkilerini asgariye indirmek amacıyla literatürde, düzenlenmiş ortak uzamsal örüntüler (RCSP) yapısını temel alan bir takım uzamsal filtreleme metotları mevcuttur. Bu tez çalışmasında, EEG sinyalinin durağan olmayan yapısının sınıflandırma sürecine olan olumsuz etkilerini en aza indirmeyi amaçlayan özgün bir uzamsal filtreleme metodu önerilmiştir. SSDM olarak adlandırılan bu metot sayesinde, aynı sınıfa ait motor hareket hayali verilerinin bozucu etkenler sebebiyle farklı dağılımlara sahip olabilme ihtimali, uzamsal süzgeç hesaplama sürecine dâhil edilmektedir. Bu sayede, elde edilen uzamsal süzgeçlerin, CSP’de olduğu gibi yalnızca sınıflar arası saçılmaya değil, hem sınıflar arası hem de sınıf içi saçılmaya duyarlı olmaları sağlanmaktadır. Bu özelliklere sahip uzamsal süzgeçler hesaplayabilmek amacıyla SSDM, Fisher ayrım ölçütünün CSP uyum fonksiyonu yerine alternatif bir uyum fonksiyonu olarak kullanılabilmesine imkân tanımaktadır. CSP uyum fonksiyonu, iki sınıfa ait verilerin ortalama kovaryans matrisleri kullanılarak oluşturulmaktadır. Pay ve payda terimlerinin karesel ikilenik biçimde olmaları, CSP uyum fonksiyonunu analitik olarak çözülebilir duruma getirmektedir. Ancak, kovaryans matrislerinin kullanıldığı durumda Fisher ayrım ölçütünün pay ve payda terimleri karesel ikilenik biçimde yazılamamaktadır. Dolayısıyla sınıf içi saçılmaya duyarlılığın sınıflandırma sürecine olacak olumlu etkisi, analitik çözümün sağlanamamasıyla cazibesini kaybetmektedir. SSDM, Fisher ayrım ölçütünün yeniden düzenlenerek karesel ikilenik biçimde ifade edilebilmesini sağlamakta ve bu sayede fonksiyonun analitik olarak çözülebilmesini mümkün kılmaktadır. SSDM’in özgün yönü, analitik çözümün sağlanabilmesi için SCSP’de önerilen F işlevi yaklaşımının ilk kez kullanılmasıdır. Bu tez kapsamında yapılan bir diğer çalışmada ise, SSDM’in basitliğini korumak amacıyla analitik çözümün bazı yaklaşımlar karşılığında gerçekleştirilmiş olduğu göz önünde bulundurularak, elde edilen uzamsal süzgeçlerin parametrelerindeki hataların nümerik olarak giderilmeleri sağlanmıştır. Bu amaçla, Fisher ayrım ölçütünün yerel uç değerlerinin analitik yöntemlerle “yaklaşık olarak” belirlenme sürecinin çıktıları olan SSDM süzgeç parametreleri, Fisher ayrım ölçütünün nümerik en iyileştirilmesi için başlangıç değerleri olarak kullanılmışlardır. Nümerik en iyileştirme için En Dik İniş algoritması tercih edilmiştir. Bu çalışma, SSDM uzamsal süzgeç parametrelerinin Fisher ayrım ölçütünün yerel uç değerlerine daha fazla yakınsamalarını sağlamak amacıyla bir ince ayar olması düşüncesiyle gerçekleştirilmiştir. CSP, SCSP ve SSDM uzamsal süzgeçleri ile ayrı ayrı filtrelenen veri kümelerine ait saçılma grafikleri incelendiğinde, SSDM uzamsal süzgeçleri ile filtreleme sonrasında her bir sınıf elemanının sınıf merkezine yakınsama eğilimi gösterdiği görülmektedir. Bu durum SSDM uzamsal süzgeçlerinin, metodun çıkış noktası olan sınıf içi saçılmayı asgari değere indirme amacına uygun işlev gördüklerini ortaya koymaktadır. SSDM ve iyileştirilmiş SSDM uzamsal süzgeçlerine ait elektrot ağırlıklarının topoğrafik gösterimleri, bu süzgeçlerin motor korteks üzerinde arzu edilen motor hareket hayali bölgelerini tüm denekler için etkili bir şekilde öne çıkartabildiğini göstermektedir. Sınıflandırma sonuçları incelendiğinde, sınıf içi saçılma problemine Fisher ayrım ölçütü bakış açısıyla çözüm üretmeyi amaçlayan SSDM’in, CSP ve SCSP’ye üstünlük sağladığı görülmektedir. Bu durum, SSDM’in savunduğu sınıf içi saçılmaya duyarlı uzamsal süzgeçler elde edebilmek üzere Fisher ayrım ölçütünün bir uyum fonksiyonu olarak kullanılması fikrinin doğru bir bakış açısı olduğunu onaylamaktadır. Analitik çözüm için yapılan yaklaşımların uzamsal süzgeç parametrelerinde sebep olduğu hataları gidermek üzere gerçekleştirilen nümerik en iyileştirme işleminin başarımları arttırması, iyileştirilen parametrelerin Fisher ayrım ölçütünün yerel uç noktalarına daha iyi yakınsadığını göstermektedir. SSDM ve SSDM’in iyileştirilmesi ile elde edilen analiz sonuçları ve sınıflandırma başarımları, bu metodun CSP ve SCSP metotları için etkili bir alternatif olabileceğini ortaya koymaktadır.Motor imagery is an individual’s mental picture of a desired movement as if he is performing it physically. It is known that the motor imagery of the body movements bring forth conspicuous power changes called event related desynchronization/ synchronization (ERD/ERS) in µ and β frequency bands over motor cortex. The main motivation that makes the motor imagery classification possible is the spatial variation of these power changes over motor cortex in the case that motor imagery of different muscle groups are in question. It is possible to determine the limb movement the individual has been imagining by interpreting the locations where the ERD/ERS phenomenons occur during the motor imagery of an arbitrary limb movement, in company with the distribution of muscle groups over motor cortex. The neurological activity during motor imagery is transmitted to the outer world via EEG technique. As a consequence of the transmittal of this neurological activity produced by the sources situated in the gray matter to the electrodes located over the skull through the volume conduction, EEG has a relatively low spatial resolution. On the occasion of the source interference caused by the volume conduction, the information obtained from an arbitrary electrode is a mixed brain activity which contains signals from neighbouring electrodes. During the spatial analysis of the ERD/ERS, this mixed brain activity makes it difficult to determine which sources in the gray matter have been triggered. As a consequence of this, the area activated over the motor cortex can’t be detected accurately. For this reason, EEG data is subjected to the spatial filtering process in order to strengthen the signals of related sources situated in the gray matter and weaken the signals of disinterested sources. Common spatial patterns (CSP) is a spatial filtering method used in the studies having the subject of spatial analysis of the ERD/ERS, in an attempt to discriminate the EEG data containing motor imagery of different muscle groups. In the case that each limb movement is considered as a class, CSP spatial filters are obtained by simultaneous diagonalization of the average covariance matrices of two classes. The data filtered with these spatial filters is projected onto an axis where there exists maximum power difference between means of the classes. Through this process, the class of the EEG data containing an arbitrary motor imagery can be determined more accurately. However, in spite of its impressive results, CSP is highly vulnerable to the adverse factors such as noise and nonstationarity that are present in EEG. With the intent of minimizing the negative effects of these factors to the classification process, in literature, there exist a set of spatial filtering methods that based on the regularized common spatial patterns (RCSP) structure. According to RCSP structure, the regularization term formed in consideration of the information gathered by analysing the EEG data containing motor imagery of the existing subject or the other subjects is added to the denominator of the CSP objective function. With the solution of this regularized objective function, spatial filters robustified to the adverse factors can be obtained. For instance, SCSP notices the inadequacies of CSP about nonstationarity and can obtain spatial filters sensitive to this factor by taking into account the within-class scatter within the compass of regularized common spatial patterns structure. In accordance with SCSP, this process is done by adding a regularization term containing the within-class scatter information of each class to the denominator of the CSP objective function. The influence degree of the regularization term to the spatial filters to be computed is controlled by a constant α, the value of which is determined with cross-validation. However, increasing α with intent to increase the sensitivity of the filters to be computed to the within-class scatter, decreases the class separability. This situation puts α in a role that exchanges the sensitivity level of the spatial filters to the class separability and to the within-class scatter. In addition to this, when independent simulation processes are in question, uniqueness of the spatial filter parameters obtained according to CSP solution is not always possible in SCSP, due to the determination process of the α value with cross-validation. These factors promote the idea of developing different objective functions in order to increase the sensitivity level of the spatial filters to be computed to the within-class scatter. In this thesis, a novel spatial filtering method that intends to minimize the negative effects of nonstationarity of the EEG signal to the classification process is proposed. With this method named as SSDM, the possibility of having different distribution of the motor imagery data that belong to the same class due to the adverse factors is included to the spatial filter computing process. By this means, unlike CSP spatial filters that are only sensitive to between-class scatter, it is provided that the obtained spatial filters to be sensitive to both within-class and between-class scatter. On the purpose of computing spatial filters having these specifications, SSDM provides opportunity for Fisher discrimination criterion to be used as an objective function instead of CSP objective function. CSP objective function is formed by using the average covariance matrices of data belonging to two classes. Under the favour of the numerator and the denominator terms being in quadratic form, the solution of the CSP objective function can be carried out analytically. However, in such case that the covariance matrices are used, the numerator and the denominator terms of the Fisher discrimination criterion cannot be expressed in quadratic form. As a result of this, the positive effect of being sensitive to within-class scatter to the classification process loses its attraction since the solution of the function cannot be handled analytically. With the necessary rearrangement, SSDM ensures the Fisher discrimination criterion to be expressed in quadratic form and makes the analytical solution of the function possible. The novel part of SSDM is the utilization of F function approximation proposed in SCSP, for the first time in order to make the analytical solution of Fisher discrimination criterion possible. In another study done within the scope of this thesis, by taking into consideration that the analytical solution is provided in return for some approximations in order to keep the SSDM as simple as possible, the deviations in the parameters of the obtained spatial filters are eliminated via numerical methods. For that purpose, SSDM spatial filter parameters, which are already the outputs of the process of “approximately” determination of the local extremum points of the Fisher discrimination criterion, are used as initial values for the numerical optimization of the Fisher discrimination criterion. Steepest descent algorithm is preferred for the numerical optimization process. This study has been done with the thought to be a fine tuning to ensure that the SSDM spatial filter parameters converge to the local extremum points of the Fisher discrimination criterion more accurately. When the scatter plots belonging to the data sets filtered separately with the CSP, SCSP and SSDM spatial filters are examined, it is seen that after being filtered with the SSDM spatial filters, every member of a class tends to converge to the center of the class. This behavior reveals that the SSDM spatial filters function in conformity with the point of origin of the method which is minimizing the within-class scatter. The topographical representations of the electrode weights belonging to the SSDM and optimized SSDM filters show that, for all subjects, these spatial filters can highlight the desired motor imagery locations over motor cortex, effectively. When the classification results are examined, it can be seen that the SSDM which seeks to produce a solution to the within-class scatter problem with the Fisher discrimination criterion perspective, outperforms the CSP and the SCSP. This situation approves that, it is a proper point of view to use the Fisher discriminant criterion as an objective function in order to obtain within-class scatter sensitive spatial filters. The increment in the classification performance after the numerical optimization that is applied for eliminating the deviations caused by the approximations done in order to provide the analytical solution shows that, the optimized parameters converge to the local extremum points of the Fisher discrimination criteria, more accurately. The analysis results and the classification performance of the SSDM and the optimized SSDM reveal that, this method is an effective alternative to the CSP and the SCSP methods.Yüksek LisansM.Sc