Bürüsel, sözcüksel ve biçimsel bilgiyi kullanan eş-eğitim ile Türkçe konuşma dilinin otomatik cümle bölütlemesi

Text in English ; Abstract: English and TurkishIncludes bibliographical references (leaves 124-132)xiv, 132 leavesSentence segmentation of speech aims detecting sentence boundaries in a stream of words output by the speech recognizer. Sentence segmentation is a preliminary step toward speech understanding. It is of particular importance for speech related applications, as most of the further processing steps; such as parsing, machine translation and information extraction, assume the presence of sentence boundaries. Typically, statistical methods require a huge amount of manually labeled data, which is time and labor consuming process to prepare. In this work, novel multiview semi-supervised learning strategies for the solution of sentence segmentation problem are proposed. The aim of this work is to and effective semi-supervised machine learning strategies when only a small set of sentence boundary labeled data is available. This work proposes three-view co-training and committee-based strategies incorporating with agreement, disagreement and self-combined strategies using lexical, morphological and prosodic information, and investigates performance of the proposed learning strategies against baseline, self-training and co-training. The experimental results show that the proposed learning strategies highly improve the sentence segmentation problem, since data sets can be represented by three redundantly suffcient and disjoint feature sets.Cümle bölütleme işlevi, standart Otomatik Konuşma Tanıma (OKT) sistemlerinin çıkışından elde edilen işlenmemiş kelime dizisi biçimindeki veriyi cümlelere ayırarak zenginleştirmeyi amaçlayan bir işlemdir. Cümle bölütleme; çözümleme, makine çevrimi, bilgi çıkarımı gibi cümle bölütlemenin yapıldığının varsayıldığı konuşma işlemenin daha ileri uygulamaları için bir ön adım olarak gerçekleştirilmektedir. Cümle bölütlemede kullanılan standart yöntemler, model eğitimi aşamasıında oldukça fazla etiketlenmiş veriye ihtiyaç duyar. El ile yapılan veri etiketleme işlemi; emek, dikkat ve zaman isteyen bir işlemdir. Bu çalışmada çok bakışlı yarı öğreticili yöntemler geliştirerek, daha az el ile etiketlenmiş veri ile standart yöntemlere göre daha yüksek başarımın sağlanması hede flenmektedir. Bu çalışmada çok bakışlı yarı öğreticili yöntemler geliştirerek, daha az el ile etiketlenmiş veri ile standart yöntemlere göre daha yüksek başarımın sağlanması hedeflenmektedir. Bu çalışmada sözcüksel, biçimbilgisel ve prozodik özellikleri kullanan, uzlaşma (agreement), uzlaşamama (disagreement) ve self-combined yöntemleri ile beraber çalısan yeni üç bakışlı eş eğitim (co-training) ve kurul tabanlı (committee-based) yöntemler geliştirildi. Yeni yöntemlerin performansları, iki bakışlı eş eğitim yöntemleri, kendi kendini eğitme (self-training) yöntemi ve standart yöntemler ile kıyaslandı. Deneysel sonuçlar, veri kümeleri yeterli ve ayrık özellik grupları kullanılarak ifade edilebildiği için, önerilen yöntemlerin cümle bölütleme başarımı oldukça arttırdığı göstermektedir.This material is based upon work supported by the Scientific and Technological Research Council of Turkey (TUBITAK) (Project Number: 107E182 and Project Number: 111E228).Isik University Scientific Research Project Fund (Project Number: 09A301 and Project Number: 14A201).Sentence SegmentationSemi-Supervised LearningSelf-TrainingCo-TrainingData Collection and AnnotationPre-processing DataData ProfileExtraction of Prosodic, Morphological and Lexical Features for Sentence Segmentation ProblemProsodic FeaturesSRI-International Algemy Prosodic Feature Extraction ToolPurdue Prosodic Feature Extraction ToolComparison of SRI Algemy and Purdue Prosodic Feature Extraction ToolsMorphological FeaturesLexical FeaturesProposed MethodSentence SegmentationBoostingCalibrated Confidence ScoresSemi-Supervised LearningSelf-TrainingCo-TrainingCo-Training Agreement StrategyCo-Training Disagreement StrategySelf-Combined StrategyProposed Three-view Co-Training and Committee-Based Learning StrategiesThree-View Co-Training Strategy 1Three-View Co-Training Strategy 2Three-View Co-Training Strategy 3Three-View Co-Training Strategy 4Three-View Co-Training Strategy 5Three-View Co-Training Strategy 6Three-View Co-Training Strategy 7Committee-Based Learning Strategy 8Committee-Based Learning Strategy 9Experiments and ResultsEvaluation MetricsBaseline Results of Different Feature SetsExperimental Setup of the Self-Training and Co-Training MethodsExperimental Results of the Self-Training and Co-Training Methods Based on Different Feature SetsExperimental Results Based on the Lexical FeaturesExperiment Results Based on the Morphological FeaturesExperimental Results Based on the Prosodic FeaturesExperimental Results Based on the Combination of Lexical and Morphological FeaturesExperimental Results Based on the Combination of Lexical and Prosodic FeaturesExperimental Results Based on the Combination of Prosodic and Morphological FeaturesAverage Results Based on Different StrategiesStatistical Analysis of the Experimental ResultsAnalysis and DiscussionScenario of Concatenating Trained Models to Online ASR System