Recognition of Objects and Their Parts on Complex Scenes

U ovom diplomskom radu opisan je sustav za detekciju i klasifikaciju objekata na RGB-D slikama snimljenim 3D kamerom, te određivanje mjesta na površini objekta prikladnih za hvatanje objekta od strane robota u svrhu robotske manipulacije. YOLO mreža koja detektira objekte na slikama integrirana je s VolumeNet algoritmom koji uz klasifikaciju objekata predlaže prikladan položaj dohvaćanja određenog objekta sa slike. YOLO mreža vraća kao izlaz granični okvir objekata zadanih klasa. Postavljeni su uvjeti za odabir odgovarajućeg graničnog okvira u slučaju da mreža na jednoj slici pronađe više objekta, tako da vraća samo jedan objekt očekivane veličine koja se nalazi blizu središta slike. Podatak o poziciji ciljnog objekta na slici dobiven YOLO mrežom predstavlja ulaz u VolumeNet.This thesis describes a system for detecting and classifying objects on RGB-D images captured by a 3D camera and determining places on the surface of the object suitable for grasping the object by robots for robotic manipulation. The YOLO network that detects objects in images is integrated with the VolumeNet algorithm, which, along with object classification, returns an appropriate position for grasping a target object. The YOLO network returns the bounding box of instances of given classes as output. In the cases where the network detects more than one object, only one object of the expected size that is close to the centre of the image is considered. The position data of the target object in the image obtained by the YOLO network represents the input to the VolumeNet