Bewertung des Nutzungserlebens von Cloud-Gaming-Diensten

The video gaming industry created the largest entertainment sector in our times that is rapidly growing and impacts the life of many generations worldwide. However, especially highly complex games demand players to possess powerful hardware. Thus, in the recent years a new concept called Cloud Gaming evolved that allows players to remotely control these games running on a cloud server. Whereas the approach results in various advantages, the additional network connection and video processing provokes many new technical challenges for network operators and service providers. To overcome those obstacles, and to ensure the satisfaction of their costumers, companies have a strong interest in evaluating and predicting the Quality of Experience (QoE) of players. Traditional QoE evaluations of multimedia services make use of controlled subjective experiments in which participants are asked to retrospectively express their opinion on presented stimuli, impacted by e.g., a network condition, using validated questionnaires. Aiming to describe this judgement process, a taxonomy of quality aspects of cloud gaming systems was suggested by Möller and colleagues (2013). However, the applicability of established assessment methods to measure the highly multi-dimensional construct of gaming QoE is very limited. Also, as the field of gaming QoE is still in a nascent phase, there is a lack of validated assessment methods specifically developed for cloud gaming services. Thus, the aim of the presented research is to develop and evaluate a comprehensive, reliable, and validated assessment method of gaming QoE for cloud gaming services. The method will allow the design of subjective tests to create datasets for quality prediction models and enable a detailed understanding of the relationships between a broad range of quality aspects. As a first step towards a unified evaluation approach, available questionnaires were combined in a concise way. As no measurement tool to assess the interaction quality was identified, a new questionnaire, the Gaming Input Quality Scale (GIPS), was developed. Furthermore, for its creation, a new framework to assess Gaming QoE using a crowdsourcing approach was designed. Lastly, based on a large dataset including dominant network and encoding conditions, the evaluation method was investigated using structural equation modelling. The research revealed that the crowdsourcing framework yielded comparable results to lab studies. Additionally, it was shown that the developed assessment method provided reliable and valid user ratings while allowing a test design suitable to develop quality prediction models. In summary, the main contributions of the thesis are (1) an empirical validation of a taxonomy of quality aspects of cloud gaming services as well as applied assessment methods, (2) a new framework to conduct quality assessment studies in a home environment which potentially increases the ecological validity of study results, (3) a psychometrically validated, and reliable instrument to measure the interaction quality, and (4) numerous contributions to standardization activities regarding influencing factors (ITU-T Rec. G.1032), subjective evaluation methods (ITU-T Rec. P.809), and an opinion model predicting cloud gaming QoE (ITU-T Rec. G.1072) that can lead to more reliable, valid, and comparable research results in the future.Die Videospielebranche hat den größten Unterhaltungssektor unserer Zeit geschaffen, der schnell wächst und das Leben vieler Generationen weltweit beeinflusst. Besonders hochkomplexe Spiele erfordern jedoch, dass Spieler über leistungsstarke Hardware verfügen. So wurde in den letzten Jahren ein neues Konzept namens Cloud Gaming entwickelt, mit dem Nutzer diese Spiele, die auf einem Cloud-Server ausgeführt werden, fernsteuern können. Während der Ansatz verschiedene Vorteile mit sich bringt, stellt die zusätzliche Netzwerkverbindung und Videoverarbeitung viele neue technische Herausforderungen für Netzbetreiber und Dienstanbieter. Um diese Hindernisse zu überwinden und die Zufriedenheit ihrer Kunden zu gewährleisten, haben Unternehmen ein starkes Interesse daran, das Nutzungserleben (Quality of Experience, QoE) der Spieler zu untersuchen und vorherzusagen. Traditionelle QoE-Evaluierungen von Multimediadiensten verwenden kontrollierte subjektive Experimente, bei denen die Teilnehmer gebeten werden, ihre Meinung zu präsentierten Stimuli, z. B. einer Netzwerkbedingung, unter Verwendung validierter Fragebögen nachträglich zu äußern. Um diesen Beurteilungsprozess zu beschreiben, schlagen Möller und Kollegen (2013) eine Taxonomie der Qualitätsaspekte von Cloud-Gaming-Systemen vor. Die Anwendbarkeit etablierter Bewertungsmethoden zur Messung des hochgradig mehrdimensionalen Konstrukts der Gaming-QoE ist jedoch sehr begrenzt. Da sich das Gebiet der Gaming-QoE noch in der Anfangsphase befindet, fehlen validierte Bewertungsmethoden, die speziell für Cloud-Gaming-Dienste entwickelt wurden. Ziel der vorgestellten Forschung ist es daher, eine umfassende, zuverlässige und validierte Bewertungsmethode für die Gaming-QoE für Cloud-Gaming-Dienste zu entwickeln und zu evaluieren. Die Methode ermöglicht die Gestaltung subjektiver Tests zur Erstellung von Datensätzen für Qualitätsvorhersagemodelle und ermöglicht ein detailliertes Verständnis der Beziehungen zwischen einer Vielzahl von Qualitätsaspekten. Als erster Schritt in Richtung eines einheitlichen Evaluierungsansatzes wurden verfügbare Fragebögen auf kompakte Weise zusammengefasst. Da kein Messinstrument zur Bewertung der Interaktionsqualität identifiziert wurde, wurde ein neuer Fragebogen, die Gaming Input Quality Scale (GIPS), entwickelt. Darüber hinaus wurde für dessen Erstellung ein neues Framework zur Bewertung der Gaming-QoE mithilfe eines Crowdsourcing-Ansatzes entworfen. Zuletzt wurde die Evaluierungsmethode basierend auf einem großen Datensatz, der dominante Netzwerk- und Codierungsbedingungen umfasst, unter Verwendung der Strukturgleichungsmodellierung untersucht. Die Forschung ergab, dass das Crowdsourcing-Framework vergleichbare Ergebnisse wie Laborstudien liefern kann. Zudem wurde gezeigt, dass die entwickelte Evaluierungsmethode zuverlässige und gültige Benutzerbewertungen liefert und gleichzeitig ein Testdesign ermöglicht, das zur Entwicklung von Qualitätsvorhersagemodellen geeignet ist. Zusammenfassend sind die Hauptbeiträge der Arbeit (1) eine empirische Validierung einer Taxonomie von Qualitätsaspekten von Cloud-Gaming-Diensten sowie der angewandten Bewertungsmethoden, (2) ein neues Framework für die Durchführung von Qualitätsbewertungsstudien in einer häuslichen Umgebung, die möglicherweise die ökologische Validität von Studienergebnissen erhöht, (3) ein psychometrisch validiertes und zuverlässiges Instrument zur Messung der Interaktionsqualität und (4) zahlreiche Beiträge zu Standardisierungsaktivitäten in Bezug auf Einflussfaktoren (ITU-T Rec. G.1032), subjektive Bewertungsmethoden (ITU-T Rec. P.809) und ein Planungsmodell zur Vorhersage der QoE von Cloud Gaming (ITU-T Rec. G.1072), die in Zukunft zu zuverlässigeren, validen und vergleichbaren Forschungsergebnissen führen können