Evaluation and measurement in enterprise and software architecture management

Arvioinnit ja mittaaminen ovat osa jokapäiväistä elämäämme ja toimintaamme. Niiden perusteella tehtyjen tietojen ja havaintojen pohjalta teemme päätöksiä ja valintoja. Valitsemme esimerkiksi mitä vaatteita laitamme päälle, kuinka paljon tankkaamme autoon bensaa ja minkä taulutelevision hankimme.Yritykset keräävät mittareilla ja arvioinneilla tietoa omasta toiminnastaan, kuten kertyneistä työtunneista ja kustannuksista. Tiedon avulla seurataan toimintaa, ja sen avulla tehdään päätöksiä ja valintoja esimerkiksi siitä, kuinka paljon työvoimaa resursoidaan, mihin investoidaan ja mihin kehittäminen kohdistetaan.Rakennuksia suunnitellaan arkkitehtuurisuunnittelun avulla. Yhtälailla yritysten toimintaa ja niiden toiminnassaan hyödyntämiään tietojärjestelmiä ja ohjelmistoja suunnitellaan ja kehitetään nykyisin arkkitehtuurisuunnittelun avulla. Tässä tarkoituksessa toteutetaan esimerkiksi kokonais- ja ohjelmistoarkkitehtuurisuunnittelua. Yritysten toimintaan ja tietojärjestelmiin liittyviä arkkitehtuuriarviointeja pidetään tärkeinä, mutta kukaan ei kuitenkaan toistaiseksi ole antanut selkeää vastausta siihen, mitä asioita pitäisi tai olisi hyödyllistä mitata ja arvioida. Erityisesti tarvitaan tietoa siitä, mihin tarpeisiin arviointeja tulisi toteuttaa ja mittaustietoa kerätä. Lisäksi kaivataan työkaluja arviointien toteuttamiseen ja mittarien kehittämiseen.Niina Hämäläisen väitöskirjatutkimuksessa selvitettiin, mitä erilaisia tavoitteita arvioinneilla voi olla arkkitehtuurityössä. Lisäksi kehitettiin käytänteitä arviointien toteuttamiseen. Hämäläinen havaitsi, että arvioinnit ja mittarit ovat tärkeä tukiväline arkkitehtuurityölle. Arviointeja voidaan käyttää apuna esimerkiksi arkkitehtuurityön johtamisessa, kehittämisessä ja laadunvarmistuksessa sekä siitä saatavien hyötyjen varmistamisessa ja todentamisessa. Nykyinen liiketoimintaympäristö edellyttää yhä enenevässä määrin perusteluja valintojen ja päätöksien pohjaksi. Koska näitä perusteluja voidaan tuottaa arviointien ja mittarien avulla, ne tukevat osaltaan myös arkkitehtuuriratkaisuihin liittyvää päätöksentekoa.Eri yrityksille ja organisaatioille arkkitehtuuriarviointien merkitys ja käyttötarkoitus on erilainen. Saamiensa tulosten pohjalta Hämäläinen esittää yrityksille suosituksia siitä, miten niiden olisi hyvä edetä arkkitehtuuriin liittyvien arviointien ja mittareiden kehittämisessä.- Jokaisen arkkitehtuurisuunnitteluvalmiuksiaan kehittävän yrityksen tulisi päättää omien tarpeidensa pohjalta mihin tarkoituksiin ja missä tilanteissa arviointeja toteutetaan. Yritykselle sopimattoman arviointitavan tai mittarin hätäisestä käyttöönotosta on todennäköisesti enemmän haittaa kuin hyötyä, Hämäläinen korostaa.Companies need to develop their capabilities to operate in a highly dynamic competitive environment subject to internally and externally induced change. In order to meet this need nowadays, companies actively develop their capabilities in enterprise and software architecture planning and development. Needs to develop evaluation practices and metrics relating to these capabilities have arisen concurrently with this development work. However, there seems to be a need for more scientific knowledge about meanings of evaluation in architecture management and practices how to carry out evaluations. The purpose of this dissertation study is to produce new theoretical knowledge and develop practices for evaluations and measurement in architecture management. The key aims of this study were to define the purposes of evaluations in architecture management and produce knowledge and practices that ease the development evaluation practices and metrics for companies’ architecture management capabilities (e.g. for enterprise architecture program). In this dissertation, practices for quality management in an architecture management context, quality evaluation of architecture documentation, and metrics definition for EA program were developed.The results of this dissertation study support the view that evaluation and metrics are essential parts of both enterprise and software architecture capabilities and execution of those are success factors for architecture. Thus these need to be taken into account in the development of architecture practices and processes in companies. In addition, this study supports the view that a lack of architecture capability related evaluation practices are challenges in companies.The results of this study also show that evaluation is a multifaceted instrument in the area of architecture management. Architecture evaluations can be used in very different situations to support the management and planning work carried out in companies as well to support the development of company’s information systems. In summary, based on the results of this study, purposes of evaluation and metrics in architecture management are especially to support the management of architecture work; to improve and assure quality of architecture management processes, practices and deliverables; to identify impacts, use and benefits of architecture work and to drive architecture activities towards achieving business and IT benefits; and to produce information for architecture planning and decision making. The results of this study show that application areas of both enterprise and software architecture evaluation should be understood to offer more extensive possibilities than have been used until now. The significance of architecture capabilities for companies is continuously increasing in this complex and changing world. Therefore, the author of this dissertation thinks that each company having or developing architecture capabilities should plan and act on architecture management related evaluations and metrics. The results of this dissertation aim to support this wor