Operating on 3D models with use of marker and Kinect device

Opracowany został system pozwalający na manipulowanie obiektami 3D za pomocą urządzenia KINECT™ poprzez jednego użytkownika z wykorzystaniem interfejsu NUI, poprzez gesty rąk.W tym celu powstałą aplikacja implementująca trzy różne algorytmy analizy obrazu: SURF, FAST oraz autorski algorytm wykrywania koloru i kształtu. Pozwalają one w sposób jednoznaczny zdefiniować obiekt zwany markerem oraz jego położenie w przestrzeni 2D.Istotą działania aplikacji jest analiza pojedynczej klatki pobranej z kamery RGB znajdującej się w w/w urządzaniu a następnie przeanalizowaniu jej w celu wykrycia wcześniej zdefiniowanego markera. Po poprawnym wykryciu obiektu, ustalana jest jego pozycja. W dalszej części program pobiera pojedynczą klatkę z sensora podczerwieni a następnie analizuję ją w celu ustalenia wszystkich osób znajdujących się w polu „widzenia” urządzenia. Spośród wszystkich widocznych użytkowników wybierany jest ten, którego położenia jest najbliższe położeniu markera. Od tego momentu KINECT™ będzie śledzić jedynie gesty wskazanej osoby, pomijając pozostałe znajdujące się w polu jego widzenia. Użytkownik wybrany w taki sposób może przy pomocy gestów manipulować załadowanym modelem 3D przy pomocy gestów rąk. Aplikacja będzie śledzić jego ruchy do czasu kiedy znajduje się on w polu widzenia lub marker nie zostanie przekazany innej osobie.We have developed a system that allows you to manipulate 3D objects using KINECT ™ devices by a single user using NUI by hand gestures.Result application is implementing three different image analysis algorithms: SURF, FAST and proprietary detection algorithm of color and shape. They allow you to clearly define the object, called a marker and its position in 2D space.The essence of the application is to analyse a single frame taken from a camera located in the above-mentioned device and then analyse it to detect pre-defined marker. After successful detection of an object is determined his position.Next program will take a single frame from infrared sensor camera and then analysed it to determine all persons in the "view" of the device.Of all the visible members selects the one whose position is closest to the marker position. From that moment KINECT ™ will track only gestures indicated person. The user selected in such a way may manipulate the loaded 3D model using hand gestures. The app will keep track of his movements to a time when he is in the field of view or the marker will not be transferred to another person