Classification Of Sunn Pests Using Sound Processing Methods And An Embedded System Realization

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2016Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2016Tahıl türleri dünyanın her yerinde yaygın olarak ekilen ve yiyecek olarak tüketilen bitki türleridir. Çeşitli yerel mutfaklarda özellikle büyük yer tutan tahıl ürünlerinin üretimi ekonomik açıdan da büyük önem arz etmektedir. Bu önem tahıl ürünlerinin üretimine zarar veren canlıların tespitini ve bu canlılarla mücadeleyi ya da bu canlıların kontrolünü zorunlu kılmaktadır. Türkiye'deki beslenme alışkanlığında buğday temelli ürünlerin tüketimi büyük yer kaplamaktadır. Türk tarımında da bu doğrultuda buğday üretimi konusunda geniş alanlar kullanılmaktadır. Buğdayın üretim ve tüketim açısından sahip olduğu önem, elde edilen ürünlerin yıllara göre güvenilir, sağlıklı ve bol olmasını dayatmaktadır. Beklenmedik mevsimsel değişimler bir yana buğday zararlılarının etkin kontrolü ürün güvenliği için yaşamsal önemdedir. Süne ve kımıl zararlı türleri buğday üretimine zararı uzun yıllardır tespit edilmiş, ülkemizin buğday üretimi yapılan hemen her noktasında farklı yoğunluklarda da olsalar birlikte rastlanan, benzer mevsimsel davranışlara sahip böcek türleridir. En önemli tahıl zararlıları olarak gösterilebilecek bu böceklerin kontrolü ve zirai faaliyetlerin güvenliği için önerilebilecek erken tespit yöntemleri tarımsal faaliyetlerin planlanması ve güvenilirliği açısında önemli bir katkı sağlayacaktır. Bu tez çalışmasının odaklandığı yer tam da burasıdır. Tez çalışmasında süne ve kımıl zararlılarının erken tespiti ve sınıflandırılması amacıyla çeşitli ses analiz ve işleme yöntemlerinden elde edilen verileri kullanan bir sistem modeli önerilmekte ve bu modelin uygulandığı bir gömülü sistem uygulaması örnek olarak gösterilmektedir. Tezin ilk bölümü giriş bölümü olarak tasarlanmıştır ve yukarıda bahsedilen amacın altının doldurulması ve hipotezin formüle edilmesiyle başlamaktadır. Hipotez, "Süne ve kımıl zararlıları, yüksek örnekleme frekansına sahip ses verilerinden elde edilen öznitelik vektörleri kullanılarak, makine öğrenmesi yöntemleri ile yüksek başarı ile sınıflandırılabilir ve bu yöntem erken tespit uygulaması olarak kullanılabilir" şeklinde özetlenebilir. Bu bölüm literatür taraması, ihtiyaçların tartışılması ve veri toplama işlemini de içermektedir. Çalışma doğası gereği disiplinler arası bir karakter taşımaktadır. Bu nedenle entomoloji ve bitki koruma alanlarından bilgilere yer verilmiştir. Ayrıca böceklerin sınıflandırılması, ve bu sınıflandırılmada ses verilerinin kullanılmasına dair akademik çalışma örnekleri de sunulmuştur. Tezde incelenen dört zararlı türü hakkında bilgiler ve bu zararlıların ses kayıtlarının alınması süreci de birinci bölümde işlenmiştir. Ses kayıt sürecinde kullanılan donanımlar ve yazılımlar ile bu amaçla oluşturulan sistem de bu bölümde tanıtılmıştır. Tez çalışmasının ikinci kısmı matematiksel arka planın incelenmesine ayrılmıştır. Tezde özellikle yaygın kullanılan ses işleme ve otomatik konuşma tanıma yöntemleri kullanılmıştır. Ses verisinin incelenmesinde kullanılan yöntemlerin tanıtılmasında ilgili yönteme ilişkin matematiksel denklemlerden faydalanılmıştır. Ses verisinin incelenmesinin çeşitli aşamalarında Sıfır Geçiş Oranı, Enerji, Entropi, Spektral Ağırlık Merkezi, Spektral Yayılma, Spektral Entropi bilgileri incelenmiş, ses verisinden elde edilen öznitelik vektörlerinde Doğrusal Öngörülü Kepstral Katsayıları, Mel Frekans Kepstral Katsayıları ve Çizgi Spektral Frekansı yöntemleri kullanılmıştır. Bu bölümün devamında ise verilerin otomatik sınıflandırmasında kullanılan makine öğrenmesi yöntemi olan k - En Yakın Komşu algoritması tanıtılmıştır. Üçüncü kısım matematiksel arka planda belirtilen yöntemlerin uygulanmasıyla ortaya çıkan sistem modelinin tanıtıldığı bölümdür. Sistem modelinin oluşturulması ve bu modele ilişkin performans analizi yöntemleri bu bölümde işlenmiştir. Bayes Hata Oranı ve Karmaşıklık Matrisleri tanıtıldıktan sonra bölüm sistem modelinin MATLAB yazılım ortamındaki performansından elde edilen ara sonuçların verilmesi ve bu sonuçların değerlendirilmesiyle sonuçlanmaktadır. Bu ara sonuçlar orta süreli istatistik verilerinden elde edilen histogramlar, Bayes Hatası Tabloları, komşuluk sayısının sistem doğruluğuna etki grafiği gibi verilerden oluşmaktadır. Sistem modelinin makine öğrenmesi kısmında kullanılan veri ikinci bölümde açıklanan üç ses özellik çıkarma yöntemi olan Doğrusal Öngörülü Kepstral Katsayıları, Mel Frekans Kepstral Katsayıları ve Çizgi Spektral Frekansı yöntemlerinin farklı kombinasyonları ile elde edilen öznitelik vektörleridir. Sistem performansının bu yöntemlerin kombinasyonlarına göre davranışı incelenerek en başarılı yöntem kombinasyonu seçilmiştir. Mel Frekans Kepstral Katsayıları ve Çizgi Spektral Frekansı yöntemlerinin birlikte kullanıldığı bu yapı sınıflandırma doğruluk performansı açısından en başarılı sonucu vermiştir. Tezin dördüncü kısmı gömülü sistem yaklaşımına ilişkindir. Bu kısımda üçüncü bölümde en başarılı sonucu veren Mel Frekans Kepstral Katsayıları ve Çizgi Spektral Frekansı yöntemlerine dayanan yapı UDOO QUAD adlı mikrobilgisayar üzerinde uygulanmıştır. Bu uygulama sırasında kullanılan Python yazılım dili açık kaynak kodlu olması ve sayısal yöntem uygulamalarına olanak tanıyan geniş kütüphanelere sahip olması nedeniyle seçilmiştir. Verilerin mikrobilgisayar üzerinde okunması sırasında yaşanan problemler ve bu problemlere ilişkin çözüme de bu bölümde değinilmektedir. Sistemin bu mikrobilgisayar üzerinde yeniden kurulmasının nedeni bu tez ile başlayan çalışmaların sonucunda sahada kullanılabilir bir tümleşik tasarımın olanaklı olduğunu göstermektir. Tez çalışmasının sonuç bölümü ara sonuçların tekrar değerlendirilmesine ek olarak gömülü sistem gerçeklemesinden elde edilen karmaşıklık matrisi, doğruluk ve hassasiyet verilerinin incelenmesini içermektedir. Gömülü sistem uygulamasında yönelik değerlendirme oldukça açık bir şekilde saha uygulaması için yapılacak bir tasarımın programlama dili, uygulama algoritması, algoritmanın uygulanacağı mikrokontrolcü gibi konuların gelecek çalışmalar açısından tekrar ele alınması gerektiğini göstermekle beraber, kurulan matematiksel model ve yapılan uygulamanın hipotezi doğruladığını söylemek mümkündür. Tez çalışmasında önerilen yöntem, hedeflenen amaç doğrultusunda bir ilk çalışmadır ve bu ilk adım hedeflediği parametreleri sağlayarak, daha ucuz, verimli ve etkili ticari ya da bilimsel uygulamalar açısından bir temel oluşturma görevinin altından fazlasıyla kalmaktadır. Sonuç bölümü bu değerlendirme ve gelecek çalışmalara dair olasılıkların incelenmesiyle bitmektedir.Cereal types are the plant types that are widely planted and consumed as food all around the world. With their weight in different domestic cuisines, production of cereals holds an undeniably great economic importance. This importance places great demand on the detection and the struggle against or control of insect pests of cereals. Wheat is one of the types of cereals. Consumption of wheat based products covers major share in the nutrition habits of inhabitants of Republic of Turkey. As a direct consequence, vast areas are designated as wheat plantations in Turkish agriculture. With respect to importance of wheat by means of production and consumption, it is demanding that product yield of wheat should be reliable, healthy and abundant by years. Apart from damages caused by unexpected seasonal changes, the efficient control of pests of wheats has vital significance. Sunn pests, such as Eurygaster and Aelia species are pest insects that have been clarified as harmful to Turkish wheat production for years. Although having difference in population density, having similar seasonal behaviors, the sunn pests can be encountered nearly all parts of Turkey. Sunn pests are the most important group of insect species which damage cereal plantations. Proposing early detection and control procedures of these insects would be significantly beneficial for planning and reliability of agricultural activities. In this thesis, a system model with the purpose of early detection and classification of sunn pests are proposed. An embedded system based on the system model is given as an exemplary application. First chapter of the thesis is designed as an introduction chapter and the purpose of the work, which is presented above is extended in this section. The hypothesis can be summarized as "sunn pest can be classified with high accuracy with machine learning methods by using sound feature vectors obtained from the data with high sampling frequency and this method can be successfully applied to early detection applications." This chapter contains, literature review, discussion of needs for experiments and information about data collection procedure. This work carries an interdisciplinary character because of its nature as it contains insect biology and electronics engineering. Therefore, information about entomology and plant protection is presented. Moreover examples of classification of insect species, the classification methods, sensors and setups that are used in insect classification tasks and usage of sound data of insects in insect classification procedures are described. In this thesis four species of sunn pests are examined. The species are members of Eurygaster and Aelia genus. General definitions and information about four insect classes of Eurygaster Integriceps, Eurygaster Austriaca, Aelia Rostrata and Aelia Accumniata are given in the first chapter. The sound recording procedure, the hardware and software used in this recording and the recording system produced for sound recordings of subject insects are introduced in this section too. Second chapter of thesis report is sorted for mathematical background which the thesis is based on. In the thesis, especially well known and widely applied sound processing, analysis and automatic speech recognition methods are preferred. The mathematical equations are used for introduction of respective methods that are used for analyzing sound data. For preliminary analysis, Zero Crossing Rate, Energy, Entropy of Energy, Spectral Centroid, Spectral Spread and Spectral Entropy information are gathered for midterm statistics of sound data. These methods give general information for subject sound data but, the analysis data are not preferred for classification task. For classification task, well known speech feature extraction methods of Linear Predictive Cepstral Coefficients, Mel Frequency Cepstral Coefficients and Line Spectral Frequencies methods are preferred and applied. Continuing the chapter the machine learning approach for classification is introduced. The machine learning method that is used for the automatic classification of sound feature data is chosen as simple k-Nearest Neighborhood method. Third chapter is the section of thesis, where the system model which is produced after the application of mathematical methods that are introduced in the chapter two is described. Construction of system model and the performance analysis methods related to this model are examined in this section. The performance metrics are defined with respect to Bayesian Error Rates and Confusion Matrices. After the introduction performance analysis metrics, the chapter concludes with the presentation of intermediary performance analysis results of system application on MATLAB software environment. These intermediary results are composed of data such as histograms from obtained midterm statistics, Bayesian Error tables, confusion matrices, system accuracy and precision tables and neighborhood parameter-system accuracy graph. The data that are used in the machine learning part of system model are constructed with the combinations of feature vectors that are obtained with three feature extraction method which are explained in Chapter Two. The input vectors for k-Nearest Neighborhood procedure is obtained for each recording using the combinations of Linear Predictive Cepstral Coefficients, Mel Frequency Cepstral Coefficients and Line Spectral Frequencies methods outputs. The behavior of system performance is examined for each combination and through this examination the most successful combination is decided as the usage of Mel Frequency Cepstral Coefficients and Line Spectral Frequencies together. Fourth part of the thesis is about embedded system approach. In this chapter, a setup that depends on the Mel Frequency Cepstral Coefficients and Line Spectral Frequencies combination, which was decided as the most successful result, is applied on the UDOO QUAD microcomputer. Being open source and enabling applications of numerical method libraries, Python programming language is preferred during the application of setup. Encountered problems about reading sound data on microcomputer and the solution to this problem is also explained in this chapter too. The cause of re-establishing system model this microcomputer is to show that the works beginning with this thesis work are capable of an integrated design which can be applied to on-field problems. The fifth part of the thesis report contains conclusion and feature works. In conclusion of thesis report includes revaluation of intermediary results, in addition to confusion matrix, accuracy and precision results obtained from embedded system implementation. As the evaluation for embedded system application shows clearly that the a design for on-field application is subject to revaluation of programming language, application algorithm and the microcontroller that would be used for application, the established mathematical model and applied setup make it possible to say that hypothesis was verified. The proposed method in the thesis study is a first study in the direction of aimed purpose. This first step concludes its duty as reaching aimed parameters so that it provides a solid ground for feature works for cheaper, more efficient and more precise commercial or scientific applications. The last chapter ends with this evaluation and discussion about aforementioned future works.Yüksek LisansM.Sc