Applied Machine Learning for Health Informatics: Human Motion Analysis and Affective Computing Application

Il monitoraggio della qualità della vita e del benessere della persona rappresenta una sfida aperta nello scenario sanitario. La necessità di risolvere questo task nella nuova era dell'Intelligenza Artificiale porta all’applicazione di metodi dal campo del machine learning. Gli obiettivi e i contributi di questa tesi riflettono le attività di ricerca svolte (i) nell’ambito dell’analisi del movimento: valutazione e monitoraggio automatico del movimento umano durante la riabilitazione fisica, e (ii) nell’ambito dell’affective computing: stima dello stato affettivo del soggetto. Nel primo tema il candidato presenta un algoritmo in grado di estrarre le caratteristiche di movimento clinicamente rilevanti dalle traiettorie dello skeleton acquisite da un sensore RGBD, e fornire un punteggio sulla prestazione del soggetto. L'approccio proposto si basa su regole derivate da indicazioni cliniche e su un algoritmo di machine learning (i.e., Hidden Semi-Markov Model). L'affidabilità dell'approccio proposto è studiata su un dataset collezionato dal candidato rispetto ad un algoritmo gold standard e alla valutazione clinica. I risultati sostengono l'uso della metodologia proposta per la valutazione quantitativa delle prestazioni motorie durante la riabilitazione fisica. Nel secondo topic il candidato propone l’applicazione del framework di Multiple Instance Learning per l'apprendimento della risposta emotiva in presenza di label continui ed ambigui. Questa varaibilità è spesso presente nella risposta affettiva ad uno stimolo esterno (e.g., interazione multimediale). L'affidabilità dell'approccio di Multiple Instance Learning è indagata su un database di benchmark e un dataset più vicino alle problematiche del mondo reale acquisito dal candidato. I risultati ottenuti evidenziano come la metodologia proposta è consistente per la stima dello stato affettivo.The monitoring of the quality of life and the subject's well-being represent an open challenge in the healthcare scenario. The emergence of solving this task in the new era of Artificial Intelligence leads to the application of methods in the machine learning field. The objectives and the contributions of this thesis reflect the research activities performed on the topics of (i) human motion analysis: the automatic monitoring and assessment of human movement during physical rehabilitation and (ii) affective computing: the inferring of the affective state of the subject. In the first topic, the author presents an algorithm able to extract clinically relevant motion features from the RGB-D visual skeleton joints input and provide a related score about subject’s performance. The proposed approach is respectively based on rules derived by clinician suggestions and machine learning algorithm (i.e., Hidden Semi Markov Model). The reliability of the proposed approach is tested over a dataset collected by the author and with respect to a gold standard algorithm and with respect to the clinical assessment. The results support the use of the proposed methodology for quantitatively assessing motor performance during a physical rehabilitation. In the second topic, the author proposes the application of a Multiple Instance Learning (MIL) framework for learning emotional response in presence of continuous and ambiguous labels. This is often the case with affective response to external stimuli (e.g., multimedia interaction). The reliability of the MIL approach is investigated over a benchmark database and one dataset closer to real-world problematic collected by the author. The obtained results point out how the applied methodology is consistent for predicting the human affective response