Suoritusanomalioiden havaitseminen lokitiedostoista ohjaamattoman koneoppimisen menetelmin

Tutkielmassa esitellään menetelmiä, joilla lokitiedostoista voidaan havaita suoritusanomalioita. Kyseessä on monivaiheinen prosessi, ja ensimmäisenä suoritetaan lokipohjien jäsentäminen joko lähdekoodista tai lokitiedostoista. Lähdekoodista jäsentäminen voidaan suorittaa melko suoraviivaisesti, koska monissa ohjelmointikielissä lokiviestipohjat ovat erotettavissa suoraan tulostuslausekkeista. Lokitiedostosta jäsentäminen ei ole yhtä suoraviivaista, ja siihen käytetäänkin usein ryvästämistä. Ryvästämistä käyttävät esiteltävät menetelmät ovat nimeltään SLCT ja LKE. Jäsentämisen tarkoituksena on erottaa lokiviesteistä vakio-osa ja muuttujat, koska sama vakio lokiviesteissä kertoo siitä, että sama tulostuslauseke on tuottanut viestit. Vakioiden perusteella luodaan säännölliset lausekkeet, ja niillä korvataan lokitiedostojen riveillä olevat lokiviestit. Rivien korvaamisen jälkeen tiedostot voidaan jakaa sarjoihin aika- tai tunnisteperusteisesti. Aikaperusteisesti jaetusta datasta voidaan tutkia sitä, toimiiko järjestelmä yhdenmukaisesti eri ajanjaksojen välillä, ja tunnisteperusteisesti jaettaessa pyritään muodostamaan suorituspolkuja tunnisteiden perusteella. Lokijaksot muutetaan vielä numeeriseen muotoon esimerkiksi laskemalla erilaisten tilojen esiintymistä ajanjakson sisällä tai laskemalla eri viestityyppien määrä ryhmässä, joka sisältää viestejä, joissa esiintyy tietty tunniste. Esiprosessoinnin lopputulos toimii syötteenä koneoppimismenetelmille. Ohjaamattoman koneoppimisen menetelmistä esitellään ryvästäminen, painotusmenetelmät, pääkomponenttianalyysi ja invariantit. Ryvästäminen jakaa datapisteet ryväksiin tietyn kriteerin perusteella. Menetelmää varten tulee määritellä, miten kahden datapisteen ja kahden rypään välinen etäisyys määritellään. Kahden datapisteen välinen etäisyys voi olla esimerkiksi kosinietäisyys, ja kahden rypään välinen etäisyys voidaan määritellä esimerkiksi niiden kauimmaisten datapisteiden välisenä etäisyytenä. Painotusmenetelmissä pyritään korostamaan datapisteen jotakin ominaisuutta, kuten entropiaa. Pääkomponenttianalyysi pyrkii taas löytämään datasta merkittävimmät piirteet, ja sen perusteella tunnistamaan myös poikkeavuudet. Invarianttimenetelmä kuvaa järjestelmän suorituspolkuja erilaisina yhtälöinä ja kerroinvektoreina. Lokeista pyritään louhimaan harvoja ja kompakteja kerroinvektoreita, jotka sisältävät vain kokonaislukuja. Menetelmiä vertailtiin yleistettävyyden, suorituskyvyn ja suoriutumisen perusteella. Näiden kriteerien perusteella lupaavimmaksi yhdistelmäksi muodostui SLCT lokiviestien esiprosessointiin ja invarianttimenetelmä koneoppimismenetelmäksi. SLCT on yleistettävämäpi kuin lähdekoodista jäsentäminen, ja tarkempi sekä tehokkaampi kuin LKE. Invarianttimenetelmä suoriutui vertailevassa tutkimuksessa hyvin eri järjestelmissä, joten se on yleistettävä ja tarkka menetelmä. Se ei ole tehokkain esitelty koneoppimismenetelmä, mutta sen suoritusaikaa voidaan parantaa erilaisilla optimoinneilla