Depth based Skeleton tracking

Osnovna ideja ovog rada proučiti je problem implementacije virtualne stvarnosti u program lakše rehabilitacije pacijenata. Jedan od primijećenih problema, jest činjenica da ti sustavi ne prate u potpunosti položaj ljudskog tijela. Ovim radom, proučavamo alternativne načine praćenja ljudskog skeleta, te mogućnosti za njihovu implementaciju unutar sustava virtualne stvarnosti. Unutar projekta izrađen je i implementiran univerzalan način prijenosa podataka između aplikacije koja obrađuje određene podatke te aplikacije koja će te podatke koristiti. Razrađen je problem prikaza trodimenzionalnog svijeta unutar računalne okoline, te su uspoređene postojeće tehnologije kojima se ovaj problem može prebroditi. Kao adekvatna tehnologija, odabrane su Time of Flight (3D) kamere. Tri trenutno dostupne 3D kamere uspoređene su prema svojim mogućnostima za implementaciju praćenja ljudskog skeleta (Orbbec Astra, Intel RealSense R200, Kinect v2), među kojima se kao najbolja iskazala Orbbec Astra. Implementacija praćenja ljudskog skeleta izvršena je pomoću dva različita algoritma, jedan koji nam pruža AstraSDK, te drugi, razvijen od strane Nuitrack organizacije. Dobiveni podatci formatirani su kako bi bili što lakše razumljivi te bi se mogli implementirati neovisno o kameri i programu u kojem će se koristiti. Dobivena funkcionalnost zatim je vizualizirana u različitim okruženjima za vizualizaciju softverskih rješenja, te je izrađena pokazna aplikacija unutar sustava virtualne stvarnosti. Ovim završnim radom bilo je potrebno spojiti znanja i vještine koje su stečene tokom obrazovanja te ih proširiti, djelom individualnim radom i istraživanjem, a djelom savjetovanjem sa stručnjacima iz polja koja su promatrana.Main idea of this project was to look into the problem of implementing virtual reality in patient rehabilitation purposes. One of the problems that was noticed is the fact that existing solutions do not track human skeleton, but instead only track the position of the virtual reality headset and controllers. With this project, we are studying alternative ways of tracking the human skeleton and how to implement that tracking in virtual reality. In this project, universal way for transferring the data between application which uses that data and the application that processes it was designed, created and implemented. Problem of visualizing Three-dimensional space within computer systems has been looked into, and existing technologies which could overcome this problem have been compared. Time of Flight cameras have been selected as an appropriate technology for the problem. Three of the cameras we had readily available were tested for their capabilities in the fields of tracking the human skeleton (Orbbec Astra, Intel RealSense R200, Kinect v2), among which Orbbec Astra has shown the best performances. Implementing the human skeleton tracking has been done with help of two algorithms, one of which is a part of AstraSDK, an the other one, part of Nuitrack. The data we gained were formatted so they could be understood and used with ease. Visualization of final project was done in various platforms for data visualization (Unity, PCL), as well as an implementation in the virtual reality system. Most important elements of this project were using skills that were attained during our education and expansion of those skills, with individual research and development and by consulting with the experts