Automatsko sažimanje teksta

Automatsko sažimanje teksta vrlo je aktivno znanstveno područje s poveznicama s drugim područjima kao što su prikupljanje informacija, obrada prirodnog jezika i strojno učenje. Usprkos brojnim pokušajima, problem sažimanja teksta daleko je od toga da bi ga se moglo smatrati riješenim. Proces sažimanja može biti rastavljen na tri faze: analiziranje teksta koji se obrađuje, njegovo preoblikovanje u sažeti prikaz i stvaranje odgovarajućeg oblika stvorenog sažetka. Rad donosi i pregled razvoja metoda za automatsko sažimanje teksta s primjerima sustava i opisima korištenih metoda. Tehnike korištene u novijim sustavima vrlo su slične klasičnim, ali uvijek prilagoĎavane specifičnim sustavima i njihovim ciljevima. U područjima kao što su pretraţivanje informacija ili strojno prevođenje evaluacija je ključni dio napredovanja područja. U sažimanju teksta problem evaluacije još uvijek nije riješen tako da cijelo znanstveno područje trpi od problema u vezi opće procjene u kojem bi to smjeru istraživanja trebala ići budući da je nejasno koje metode daju objektivno najbolje rezultate. U radu je opširnije opisan ROUGE sustav za evaluaciju i kasnije je korišten za analizu CroWebSum sustava. CroWebSum, razvijen 2010. na Filozofskom fakultetu Sveučilišta u Zagrebu, je alat za sažimanje tekstova novinskih članaka. Sustav stvara ekstrakte koji pomaţu čitatelju da odluči želi li čitati cijeli izvorni tekst ili ne. Sažetak je u potpunosti stvoren od već postojećih rečenica koje su odabrane kao rečenice koje nose najbitnije informacije o tekstu. Sustav uzima u obzir svaku rečenicu izvornog teksta zasebno, ocjenjuje ju, te od najviše ocijenjenih rečenica stvara ekstrakt. CroWebSum online razvijen 2011. godine služi kao web sučelje za CroWebSum. Izvorni CroWebSum razvijen je kao aplikacija koja se izvodila u komandnoj liniji te je kao takva bila previše nespretna da bi ju mogao koristiti i prosječan korisnik. CroWebSum online izgrađen je uz pomoć Django razvojnog okruženja te dostupan na adresi http://faust.ffzg.hr/crowebsum.Automatic text summarization is a very attractive scientific area with connections to other areas such as information retrieval, natural language processing and machine learning. In spite many trials the problem of automatic text summarization is far from being solved. The process of summarization can be separated into three phases: text analyzing, reformatting the text into a condensed version of it, creating the wanted summarized form. The given work explains the History of automatic summarization methods alongside examples of systems using those methods. Processes used in newer systems are very similar to classic approaches, but always customized to specific systems and their goals. In areas such as information retrieval and machine translation evaluation is a key component in area’s advancement. In automatic text summarization the problem of evaluation is still not solved and thus the whole scientific area suffers from the problem of objective assessment of summarized texts and not knowing in which direction should the area advance. Automatic method ROUGE was explained and later used for the evaluation of CroWebSum system. CroWebSum was developed in 2010 on Faculty of humanities and social sciences, University of Zagreb. It is a tool intended for summarization of newspaper articles. System creates extracts which help the reader to decide whether to read the whole text or not. Summary is fully created from existing sentences which were selected as being the most important within the original text. System scores each sentence and creates extract from the ones which received highest scores. CroWebSum online was created in 2011 and it is used as a web interface for the original CroWebSum. CroWebSum online was built using Django framework and it is available on http://faust.ffzg.hr/crowebsum