Uusia reaaliaikaiseen kuvan- ja äänenkäsittelyteknologiaan perustuvia järjestelmiä taiteen ja liikunnan harjoitteluun

This thesis explores the possibilities of real-time audiovisual signal processing in the context of human-computer interfaces. Novel embodied interaction applications are presented, including two computer games controlled by body movements and voice, two computer games played by singing, software and an installation for creating clay animation, and interactive video "magic" mirrors for martial arts training. The common denominators for the case studies are 1) the use of cameras and microphones as the input devices, 2) processing and analyzing the audiovisual input to generate visual feedback that can make it easier for the users to detect and correct errors in their performance, and 3) a holistic approach to interaction design, including not only the user and a computer, but the context of interaction as well, e.g., the social setting and the differences between the real and the virtual environments. In edutainment (education and entertainment) software, the interface sets the limits for the user's actions. The thesis demonstrates how embodied interaction can widen the scope of edutainment to encompass new skills, in this case martial arts, singing, and modelling and animating clay. The thesis also contributes to computer vision technology in the form of practical vision systems that interpret low-level image features according to the application context. For example, in Kick Ass Kung-Fu, an embodied martial arts game, several simultaneous users can fight against computer-generated virtual enemies. The players can wield weapons such as swords, and no specific clothing or markers are needed.Käyttöliittymäteknologia, esimerkiksi syöttölaite, rajoittaa usein käyttäjän toimintaa ohjelmistosovelluksissa. Kehollisen vuorovaikutuksen teknologiat ja käytännöt mahdollistavat yhä useampien taitojen, esimerkiksi liikunnan ja musiikin harjoittelemisen digitaalisissa ympäristöissä. Väitöskirjatyössä kehitettiin uusia kehollisia oppiviihdesovelluksia ja käyttöliittymäprototyyppejä, mukaanlukien kaksi keholla ja äänellä pelattavaa tietokonepeliä, kaksi laulamalla pelattavaa tietokonepeliä, vaha-animaatio-ohjelmisto ja -installaatio sekä vuorovaikutteisia videopeilejä kamppailulajien ja akrobatian harjoitteluun. Projekteja yhdistää se, että 1) tietokoneen syöttölaitteina käytetään kameraa ja/tai mikrofonia, 2) käyttäjälle tuotetaan virheiden havaitsemista ja korjaamista avustavaa visuaalista palautetta kuva- ja äänisyötteen analyysiin perustuen ja 3) vuorovaikutussuunnittelua pyritään lähestymään kokonaisvaltaisesti siten, että käyttäjän ja teknologian lisäksi huomioidaan myös vuorovaikutustilanne, esimerkiksi sosiaalinen ympäristö ja tosi- ja virtuaalimaailmojen väliset erot. Väitöskirjatyössä kehitettiin myös uutta tietokonenäköteknologiaa käytettävyyssuunnittelun vaatimusten mukaisesti. Esim. kamppailupeli Kick Ass Kung-Fu:ssa useat pelaajat voivat taistella yhteistyössä tietokonevastustajia vastaan. Pelin tietokonenäkö ei aseta rajoituksia vaatetuksen tai käytettävien aseiden suhteen.reviewe