User Modeling for Adaptive Virtual Reality Experiences : Personalization from Behavioral and Physiological Time Series

Research in human-computer interaction (HCI) has focused on designing technological systems that serve a beneficial purpose, offer intuitive interfaces, and adapt to a person's expectations, goals, and abilities. Nearly all digital services available in our daily lives have personalization capabilities, mainly due to the ubiquity of mobile devices and the progress that has been made in machine learning (ML) algorithms. Web, desktop, and smartphone applications inherently gather metrics from the system and users' activity to improve the attractiveness of their products and services. Meanwhile, the hardware, input interfaces, and algorithms currently under development guide the designs of upcoming interactive systems that may become pervasive in society, such as immersive virtual reality (VR) or physiological wearable sensing systems. These technological advancements have led to multiple questions regarding the personalization capabilities of modern visualization mediums and fine-grained body measurements. How does immersive VR enable new pathways for understanding the context in which a user interacts with a system? Can the user's behavioral and physiological data improve the accuracy of ML models estimating human factors? What are the challenges and risks of designing personalized systems that transcend current setups with a 2D-based display, touchscreen, keyboard, and mouse? This thesis provides insights into how human behavior and body responses can be incorporated into immersive VR applications to enable personalized adaptations in 3D virtual environments. The papers contribute frameworks and algorithms that harness multimodal time-series data and state-of-the-art ML classifiers in user-centered VR applications. The multimodal data include motion trajectories and body measurements from the user's brain and heart, which are used to capture responses elicited by virtual experiences. The ML algorithms exploit the temporality of large datasets to perform automatic data analysis and provide interpretable explanations about signals that correlate with the user's skill level or emotional states. Ultimately, this thesis provides an outlook on how the combination of recent hardware and algorithms may unlock unprecedented opportunities to create 3D experiences tailored to each user and to help them attain specific goals with VR-based systems, framed using the overarching topic of context-aware systems and discussing the ethical risks related to personalization based on behavioral and physiological time-series data in immersive VR experiences.Forskning inom människa-datorinteraktion (på engelska, human-computer interaction -- HCI) har fokuserat på att designa tekniska system som tjänar ett fördelaktigt syfte, erbjuder intuitiva gränssnitt och anpassar sig till en persons förväntningar, mål och förmågor. Nästan alla digitala tjänster som är tillgängliga i vårt dagliga liv har personaliseringsmöjligheter, främst på grund av de mobila enheternas överallt och de framsteg som har gjorts inom maskininlärning (ML) algoritmer. Webb-, skrivbords- och smartphoneapplikationer samlar i sig mätvärden från systemet och användarnas aktivitet för att förbättra attraktiviteten för deras produkter och tjänster. Samtidigt styr hårdvaran, ingångsgränssnitten och algoritmerna som för närvarande är under utveckling designen av kommande interaktiva system som kan bli genomträngande i samhället, såsom immersive virtual reality (VR) eller fysiologiska bärbara avkänningssystem. Dessa tekniska framsteg har lett till flera frågor angående personaliseringsmöjligheterna hos moderna visualiseringsmedier och finkorniga kroppsmått. Hur möjliggör uppslukande VR nya vägar för att förstå sammanhanget där en användare interagerar med ett system? Kan användarens beteendemässiga och fysiologiska data förbättra noggrannheten hos ML-modeller som uppskattar mänskliga faktorer? Vilka är utmaningarna och riskerna med att designa personliga system som överskrider nuvarande inställningar med en 2D-baserad skärm, pekskärm, tangentbord och mus? Den här avhandlingen ger insikter i hur mänskligt beteende och kroppssvar kan införlivas i uppslukande VR-applikationer för att möjliggöra personliga anpassningar i virtuella 3D-miljöer. Artiklarna bidrar med ramverk och algoritmer som utnyttjar multimodala tidsseriedata och toppmoderna ML-klassificerare i användarcentrerade VR-applikationer. De multimodala data inkluderar rörelsebanor och kroppsmätningar från användarens hjärna och hjärta, som används för att fånga svar som framkallas av virtuella upplevelser. ML-algoritmerna utnyttjar temporaliteten hos stora datamängder för att utföra automatisk dataanalys och ge tolkningsbara förklaringar om signaler som korrelerar med användarens kompetensnivå eller känslomässiga tillstånd. I slutändan ger denna avhandling en syn på hur kombinationen av nyare hårdvara och algoritmer kan låsa upp oöverträffade möjligheter att skapa 3D-upplevelser skräddarsydda för varje användare och hjälpa dem att uppnå specifika mål med VR-baserade system, inramade med hjälp av det övergripande ämnet sammanhangsmedvetna system och diskutera de etiska riskerna relaterade till personalisering baserat på beteendemässiga och fysiologiska tidsseriedata i uppslukande VR-upplevelser