Normalized maximum likelihood methods for clustering and density estimation

The normalized maximum likelihood (NML) distribution has an important position in minimum description length based modelling. Given a set of possible models, the corresponding NML distribution enables optimal encoding according to the worst-case criterion. However, many model classes of practical interest do not have an NML distribution. This thesis introduces solutions for a selection of such cases, including for example one-dimensional normal, uniform and exponential model classes with unrestricted parameters. The new code length functions are based on minimal assumptions about the data, because an approach that would be completely free of any assumptions is not possible in these cases. We also use the new techniques in clustering, as well as in density and entropy estimation applications.Lyhimmän kuvailupituuden periaate on informaatioteoreettinen menetelmä, jolla etsitään oleellista tietoa numeerisesta aineistosta tutkimalla tämän tiivistyvyyttä. Tarkemmin sanottuna tehtävänä on valita aineistoon nähden sopivin todennäköisyysjakauma annetusta kokoelmasta. Normalisoidun suurimman uskottavuuden jakauman käyttäminen on erilaisista valintamenetelmistä erikoisasemassa optimaalisuusominaisuuksiensa ansiosta. Useissa käytännön kannalta tärkeissä asetelmissa tätä jakaumaa ei kuitenkaan ole olemassa. Väitöskirja ehdottaa näihin tilanteisiin menetelmiä, joilla on normalisoidun suurimman uskottavuuden jakauman tyyppisiä ominaisuuksia. Uusia menetelmiä sovelletetaan ryvästykseen sekä tiheyden ja entropian arvioimiseen