Vision based robot manipulation

Opisan je sustav koji omogućuje pozicioniranje alata robotske ruke i hvatanje objekata pomoću informacija dobivenih RGB-D kamerom. Korištena je metoda kalibracije kamere i robotske ruke koja se provodi u dvije faze; prva je određivanje dominantne ravnine, a druga uključuje pokret prvog rotacijskog zgloba za poznati kut. Ovi parametri dovoljni su za vizualni servoing pomoću kojeg se alat pozicionira na željenu poziciju, odnosno točku hvatanja. Odgovarajućim programom za prepoznavanje objekata određuje se prisustvo objekta od interesa na sceni te njegov položaj u odnosu na kameru. Točka hvatanja definirana je u odnosu na referentni koordinatni sustav modela objekta od strane korisnika. Nakon određivanja točke hvatanja, računa se kut rotacije alata kako bi se objekt mogao uhvatiti i premjestiti na željeno odredište. Funkcionalnost razvijenog sustava ispitana je pokusima na stvarnoj robotskoj ruci.A system for vision-based tool positioning and grasp planning is described. The camera calibration method is carried out in two phases: the first phase includes detection of the dominant plane, and the second involves the movement of the first rotational joint for a known angle difference. These parameters are sufficient for visual servoing. The target position of the tool is determined by detecting object of interest in an image using an object recognition program. The grasp point is defined by the user in relation to the reference frame of the object model. After determining the grasping point, the rotation angle of the tool is calculated so that the object can fit in and can be moved to a desired destination. The developed system is experimentally tested using a real robot arm