Hiperspektral görüntü analizi ile olağan dışı durum ve hedef tespiti

Hava araçları ve uydular kullanılarak elde edilen yüksek kaliteli görüntü sayısındaki ve çeşitliliğindeki kademeli artışla, bu görüntüleri otomatik olarak işleyebilen ve yorumlayabilen bir uygulamaya duyulan ihtiyaç hızla artmaktadır. Kuşkusuz, bu uygulamaların odak noktası hedef tanıma ve sınıflandırma problemleridir. Çeşitli görüntüleme teknikleri ve farklı görüntü türleri olmasına rağmen, hiperspektral görüntüler, malzemenin görüntü yüzeyindeki hassasiyeti ve daha doğru sonuçlar üretme kabiliyeti nedeniyle bir adım öne çıkmaktadır. Hiperspektral görüntüler genellikle görünür, yakın kızılötesi ve orta kızılötesi bölgelerde çok dar spektral bantları içerir. Bu spektral bantlarla görüş alanındaki her bir piksel için neredeyse sürekli bir spektrum elde edilebilirler. Böylece, geleneksel görüntü algılayıcılarına kıyasla hiperspektral görüntüler ile sınıflandırma ve tanıma yöntemlerinde daha yüksek performans elde edilebilir.Gerçek hayattaki uygulamalar düşünüldüğünde, hiperspektral görüntülerle çalışmak zaman açısından çok fazla ek maliyet getirebilir. Çünkü geleneksel görüntülerde az sayıda bant bulunur ve sınırlı büyüklükteki çerçevelerle işlem yapılır. Ancak hiperspektral görüntülerde her maddenin yapısına ait bir spektral imza bulunur, bu da çok fazla sayıda bant anlamına gelmektedir. Ait olduğu maddenin karakteristiğini içeren bu imza birçok özellik barındırdığı için, o pikseli diğer piksellerden ayrıştırmak geleneksel görüntülere göre çok daha kolaydır. Bu nedenle, hedef tanıma süreçlerinde görüntü çerçevelere ayrılması gerekmez, onun yerine piksellerin hedefe ait olup olmadığını belirlemek için her piksel ayrı ayrı incelenir. Hiperspektral görüntülerin az sayıda piksel içeren hedef görüntüleri düşünüldüğünde daha avantajlı olduğu açıkça görülmektedir. Hiperspektral görüntülerin avantajlarının yanı sıra, sahip olduğu dezavantajlar olan büyük veri boyutları ve ek zaman maliyeti problemlerini aşmak için, az sayıda bant kullanmak ya da düşük çözünürlüklü görüntüleri tercih etmek bir çözüm olarak düşünülebilir. Ancak böyle bir yöntemde de elde edilen sonuçların doğruluk oranı azalabilir. Bu nedenle zaman maliyetini arttırmadan hedef tanıma ve sınıflandırma başarısı yüksek yeni nesil algoritma ihtiyacı halen devam etmektedir. Bu ihtiyaç göz önüne alındığında, bu tezin temel amacı, hiperspektral görüntülerde hedeflerin tanınması ve sınıflandırılması süreçlerini en güvenilir ve hızlı bir şekilde tamamlayabilecek bir algoritma sunmaktır. Tez çalışmasında sınıflandırıcı olarak Yapay Sinir Ağları (YSA) tercih edilmektedir. Ancak, geleneksel YSA, hiperspektral görüntüler gibi çok boyutlu, büyük ve dengesiz veri kümelerine sahip verilerin sınıflandırmasında bazı önemli problemlere sahiptir. Örneğin, büyük veri setleri eğitim süresinin uzamasına neden olurken, dengesiz veri setleri ise eğitim aşamasında doğru bir öğrenmeyi engelleyebilir. Bu nedenle, bu tip problemlerin önüne geçebilmek için çalışmada geleneksel öğrenme yöntemleri yerine özdeğer bozunması adı verilen bir yaklaşım tercih edilmektedir. Bu yaklaşımda, sinir ağlarının eğitimi için ayarlanması gereken ağırlık değerleri, hesaplama yöntemleri yerine ağırlık matrisinin özdeğer minimizasyonu aracılığı ile bulunmaktadır. Bu yöntem ile eğitimi yapılan sinir ağı, Özdeğer Bozunmalı Sinir Ağları (ÖBSA) adı ile anılmaktadır. Tez kapsamında ÖBSA parametre minimizasyon işlemi için kullanılacak uygunluk fonksiyonu hiperspektral görüntülere uygun olarak seçilmiş ve uyarlanmıştır. Çeşitli optimizasyon yöntemleri olmasına rağmen bu tezde Genetik Algoritma (GA) ve Parçacık Sürü Optimizasyon (PSO) algoritmaları gibi iyi bilinen iki yöntem tercih edilmiştir. Optimizasyon algoritmalarının sonlandırma ölçütleri ve diğer parametreleri deneysel çalışmalar sonucunda belirlenmiştir. Böylece, hedef ve hedef olmayan piksel oranlarının eğitim üzerindeki olumsuz etkisi önlenmiş ayrıca zaman gereksinimi de en aza indirgenmiştir. Tüm bu ayarlamalar sonunda, hedef tanıma ve hiperspektral görüntü sınıflandırması için büyük ve dengesiz veri setlerinin olumsuzluklarından etkilenmeyen hedef tanıma ve sınıflandırma sistemi ortaya çıkmıştır. Ek olarak, böyle bir sistemde spektral bant sayısındaki artış, geleneksel sınıflandırıcıların aksine, sadece sistem giriş sayısını etkilemekte, test aşamasında ek bir süre artışına neden olmamaktadır.Bu tez çalışması kapsamında, hiperspektral görüntülerin seçimini, eğitimi, test süreçleri, sonuçların elde edilmesi ve değerlendirme aşamaları gibi tüm hiperspektral sınıflandırma işlemlerinin yapılmasını sağlayan genel amaçlı tümleşik bir hiperspektral görüntü işleme sistemi oluşturulmuştur. Sistemin kullanımı kolaylaştırmak ve daha hassas ayarlamalar yapabilmek adına kullanıcı dostu bir arayüz tasarlanmıştır. Tasarım sayesinde veri setlerinin ön işlemesi, görüntülenmesi, spektral imzalarının incelenmesi, bant seçimi, kullanılacak veri setlerinin oluşturulması, oluşturulan ağın gerçekleştirilen yöntem ile eğitilmesi, test sonuçlarının elde edilmesi, hatalı sonuçların incelenmesi ve sonuçların görselleştirilmesi gibi işlemlerinin tümü sistem üzerinden yapılabilmektedir.Çalışmaya, gerçek zamanlı uygulamalarda kullanılabilecek kullanıcı destekli ÖBSA adı verilen bölüm de dâhil edilmiştir. Tasarlanan bu yapı ile bilinmeyen bir coğrafyada elde edilen hiperspektral görüntü sistem üzerinden görselleştirilebilmesi öngörülmektedir. Operatör aracılığı ile ilgilenilen hedef ve arka plan verilerinin seçilerek sistemin eğitimi sağlanabilmekte ve eğitim sonucunda sınıflandırma işleme yapılarak elde edilen sonuçlar yine sistem üzerinden görüntülenebilmektedir. Böylece bilinmeyen coğrafya incelemesi senaryolarında keşif ve değerlendirme süreçleri için kullanışlı bir sistem tasarımı ortaya çıkmaktadır.ÖBSA yönteminin sınıflandırma performansı, geliştirilen sistem aracılığı ile farklı büyüklük ve özellikteki veri setleri kullanılarak test edilmiş ve elde edilen sonuçlar literatürde bulunan geleneksel ve yeni nesil sınıflandırıcılar ile karşılaştırılarak sunulmuştur. Geleneksel sınıflandırıcı olarak Destek Vektör Makineleri (DVM) tercih edilmiş, yenilikçi yaklaşımlardan ise iki yeni tip derin öğrenmeli Evrişimli Sinir Ağları (ESA) yöntemleri kullanılmıştır. Karşılaştırmada kullanılan ilk ESA sınıflandırıcısı Piksel-Çifti Özellikli Evrişimli Sinir Ağları (PÇÖ-ESA) algoritmasıyken ikinci sınıflandırıcı Topluluk Öğrenmeli Evrişimli Sinir Ağları (TÖ-ESA) algoritmasındır.Yapılan karşılaştırmalı test sonuçlarına göre, tez kapsamında önerilen ÖBSA algoritmasının diğer üç sınıflandırıcıdan daha yüksek performans elde ettiği görülmüştür. ÖBSA algoritması Botsvana, KSC ve Pavia veri setleri için sırasıyla %97,58, %94,77 ve %95,12 ortalama sınıflandırma doğruluklarına ulaşmıştır. Farklı boyutlardaki eğitim setleriyle yapılan testlerde, ÖBSA algoritmasının sadece birkaç etiketli örnek bulunan eğitim setleri ile eğitildiğinde bile oldukça iyi sonuçlar sağlayabileceğini göstermektedir. Yapılan tüm test çalışmaları, önerilen ÖBSA yönteminin istatistiksel olarak hiperspektral görüntü sınıflandırma süreçlerinde üstün performans sağladığını göstermektedir.--------------------With the gradual increase in the number and variety of high-quality images obtained using aircraft and satellites, the need for an application that can automatically process and interpret these images is growing rapidly. Undoubtedly, the focus of these applications is target recognition and classification problems. Although there are various imaging techniques and different types of images, hyperspectral images stand out because of the precision of the material on the image surface and its ability to produce more accurate results. Hyperspectral images usually contain very narrow spectral bands in the visible, near-infrared and mid-infrared regions. With these spectral bands, a nearly continuous spectrum can be obtained for each pixel in the field of view. Thus, higher performance can be achieved with hyperspectral images in classification and recognition methods compared to conventional image sensors.Considering real-life applications, working with hyperspectral images can bring a lot of additional cost in terms of time. Because traditional images have few bands and are processed with limited size frames. However, hyperspectral images have a spectral signature of the structure of each material, which means a large number of bands. Since this signature, which contains the characteristics of the material it belongs to, contains many features, it is much easier to separate that pixel from other pixels than conventional images. Therefore, in target recognition processes, the image does not need to be framed, instead, each pixel is examined individually to determine whether the pixels belong to the target. It is clear that hyperspectral images are more advantageous when considering target images containing a small number of pixels. In addition to the advantages of hyperspectral images, using low-resolution images or reducing the number of bands used can be considered as a solution to overcome the disadvantages, large data sizes and additional time cost problems. However, in such a method, the accuracy rate of the results obtained may decrease. For this reason, the need for a new generation algorithm with high success in target recognition and classification without increasing time costs still continues. Considering this need, the main purpose of this thesis is to present an algorithm that will complete the processes of recognition and classification of targets in hyperspectral images in the most reliable and fastest way.Artificial Neural Networks (ANN) are preferred as a classifier in the thesis study. However, traditional ANN has some important problems in classifying data with multidimensional, large and unbalanced data sets such as hyperspectral images. For example, large datasets cause prolongation of training time, while unbalanced datasets can prevent correct learning during the training phase. Therefore, an approach called eigenvalue decay is preferred instead of traditional learning methods in the study in order to avoid such problems. In this approach, the weight values that need to be adjusted for training neural networks are found through eigenvalue minimization of the weight matrix instead of calculation methods. The neural network trained with this method is deemed appropriate to be called Eigenvalue Decay Neural Networks (EDNN). Within the scope of the thesis, the fitness function to be used for the EDNN parameter minimization process was selected and adapted in accordance with the hyperspectral images. Although there are various optimization methods, two well-known methods such as Genetic Algorithm (GA) and Particle Swarm Optimization (PSO) algorithms are preferred in this thesis. The termination criteria and other parameters of optimization algorithms were determined as a result of experimental studies. Thus, the negative effect of target and non-target pixel ratios on education is prevented and the time requirement is minimized. As a result of all these adjustments, target recognition and classification system, which is not affected by the negativity of large and unbalanced data sets, has emerged for target recognition and hyperspectral image classification. In addition, the increase in the number of spectral bands in such a system, unlike conventional classifiers, only affects the number of system inputs and does not cause an additional time increase in the test phase.Within the scope of this thesis, a general purpose integrated hyperspectral image processing system has been created that enables all hyperspectral classification processes such as selection of hyperspectral images, training, test processes, obtaining results and evaluation stages. A user-friendly interface has been designed to facilitate the use of the system and to make more precise adjustments. Thanks to the design, all processes such as pre-processing and display of data sets, examination of spectral signatures, band selection, creation of data sets to be used, training of the network created with the method performed, obtaining test results, examining erroneous results and visualizing the results can all be done on the system.The section called user-assisted EDNN, which can be used in real time applications, is also included in the study. With this designed structure, it is anticipated that the hyperspectral image obtained in an unknown geography can be visualized through the system. The training of the system can be provided by selecting the target and background data of interest through the operator, and the results obtained by classification processing as a result of the training can also be displayed on the system. Thus, a useful system design for exploration and evaluation processes in unknown geography investigation scenarios emerges.The classification performance of the EDNN method has been tested by using data sets of different sizes and characteristics through the developed system and the results obtained are presented by comparing them with traditional and new generation classifiers in the literature. Support Vector Machines (SVM) were preferred as the traditional classifier, and two new types of deep learning Convolutional Neural Networks (CNN) algorithms were used among the innovative approaches. The first CNN classifier used in comparison is the Convolutional Neural Networks with Pixel-Pair Features (CNN-PPF) algorithm, while the second classifier is the Convolutional Neural Networks ensemble (CNN-E) algorithm.According to the comparative test results, it has been seen that the proposed EDNN algorithm has a higher performance than the other three classifiers. The EDNN algorithm has achieved average classification accuracies of 97.58%, 94.77% and 95.1%2 for Botswana, KSC and Pavia data sets, respectively. In tests conducted with different sized training sets, it shows that the EDNN algorithm can provide very good results even when trained with training sets with only a few labeled samples. All the test studies conducted show that the proposed EDNN method provides statistically superior performance in hyperspectral image classification processes