Monimutkaisten tapahtumien käsittelyn skaalautuminen hajautetun palveluväylän osana

Complex event processing (CEP) is an emerging technology to facilitate analysis and pattern matching in data streams and historical data. CEP can combine various types of data from multiple streams, databases and other sources. Several CEP engines are available but only few are both able to integrate seamlessly with multiple data sources and to scale out to support high volumes of events. In this thesis I discuss the latest progress in research and applications of CEP. I review the requirements of event-driven service oriented architecture. I designed and implemented a scalable, distributed architecture integrating a complex event processing service with an enterprise service bus (ESB). The key architectural insight in the system is to separate the integration functionalities of the ESB and the complex event facilities. This results to a stateless ESB, which can be scaled out by adding more processing nodes. A dedicated CEP cluster can then be tuned to handle high throughput and scaled out separately. The results of the performance tests show that the system can be scaled out by adding more compute instances to a cluster. The ESB achieved a throughput of 1 750 messages/s per instance in my test setup and could be scaled out linearly. The throughput of the CEP cluster depends heavily on the required computations and data dependencies. I demonstrate an example case, where the cluster handles 28 000 events per second on eight processing nodes. The median latency for receiving an event at the ESB, sending it to CEP and receiving the derived events for further processing is under 10 ms.Monimutkaisten tapahtumien käsittely (CEP) on uusi teknologia, joka helpottaa virtamuotoisen ja historiallisen datan analyysia ja säännönmukaisuuksien löytämistä. CEP voi yhdistää tapahtumia useista virroista, tietokannoista ja muista lähteistä. Markkinoilla on useita CEP-moottoreita, mutta harva niistä pystyy sekä käsittelemään saumattomasti dataa useista lähteistä että skaalautumaan suurille tietomäärille. Käsittelen tässä diplomityössä viimeisimpiä tutkimuksia CEP:ssä ja teknologian sovelluksia. Selostan tapahtumavetoisen palvelusuuntautuneen arkkitehtuurin vaatimukset. Suunnittelin ja toteutin skaalautuvan, hajautetun arkkitehtuurin, joka mahdollistaa monimutkaisten tapahtumien käsittelyn palveluväylässä. Arkkitehtuurin suurin oivallus on erottaa palveluväylän integraatio-ominaisuudet ja monimutkaisten tapahtumien käsittely erillisiksi kokonaisuuksiksi. Seurauksena on tilaton palveluväylä, jota voidaan skaalata lisäämällä rinnakkaisia virtuaalikoneita. Pelkästään monimutkaisten tapahtumien käsittelyyn tarkoitettua CEP-klusteria voidaan silloin skaalata erikseen ja samalla ottaa datariippuvuudet paremmin huomioon. Suorituskykytestit osoittavat, että järjestelmää voidaan skaalata lisäämällä virtuaalikoneita. Palveluväylä pystyy käsittelemään 1 750 viestiä sekunnissa yhdellä koneella ja skaalautui lineaarisesti koneiden määrän kasvaessa. CEP-klusterin suorituskyky riippuu voimakkaasti laskennan vaativuudesta, tyypistä ja datariippuvuuksista. Esittelen esimerkkitapauksen, jossa klusteri käsittelee 28 000 viestiä sekunnissa kahdeksalla koneella. Mediaanilatenssi tapahtuman vastaanotosta palveluväylässä, sen lähettämisestä CEP-klusterille ja käsittelyssä syntyneiden vastineviestien vastaanottoon on alle 10 ms