DISCOVERY AND SYNTHESIS OF NEW ROBOT CONTROL POLICIES THROUGH SEARCH IN A HIERARCHICAL DATABASE OF EXAMPLE MOVEMENTS

S staranjem prebivalstva in vedno hitrejšim tempom življenja povpraševanje po robotskem humanoidnem domačem pomočniku narašča. Hkrati potreba po prilagodljivih robotskih celicah narašča tudi v srednjih in majhnih podjetjih, v katerih proizvajajo manjše serije produktov in klasična vpeljava robotskih celic ni primerna. V nasprotju z uporabo robotskih manipulatorjev v industrijskih okoljih, ki izvajajo ponavljajoče se gibe, je potrebno ob vpeljavi avtonomnih robotov v spreminjajoče se okolje premagati veliko število ovir. V tem doktorskem delu obravnavamo tri aspekte uporabe robotov v nestrukturiranem okolju. Ročno programiranje robota za vsako nalogo ni mogoče, saj se naloge in okoliščine v domačih okoljih pogosto spreminjajo. Ena od možnih metod za pridobivanje novih gibov je učenje iz človekovih demonstracij [6, 7, 8]. Ta način temelji na opazovanju demonstratorja, ki zna uspešno izvesti želeno nalogo. Vendar je lahko demonstriranje večjega števila gibov za vsako verzijo želene naloge zamudno. V pristopu, predlaganem v doktorskem delu, demonstracije, zajete preko žičnega vodenja robota (angl.: kinesthetic guiding)[17, 18, 19], zapišemo v hierarhično bazo vzorčnih gibov. Baza temelji na dvojiškem drevesu [45, 46], z dodanimi grafi prehodov na vsakem nivoju. Grafi prehodov označujejo možne prehode med grozdi oz. vozlišči na posameznih nivojih in temeljijo na grafih gibanja [42, 43, 44]. Z iskanjem novih poti v grafu [79] lahko poiščemo nove poti in posledično sintetiziramo nove robotske gibe. Za združitev morebitnih delnih poti, ki niso direktno povezane, smo uporabili princip dinamičnih elementarnih gibov (angl.: Dynamic Movement Primitives { DMPs). Z iskanjem novih trajektorij zmanjšamo potrebo po velikem številu demonstracij. če robot izvaja naloge v nestrukturiranem okolju, obstaja verjetnost nepredvidenih kontaktov z okolico. Sile, ki se ob tem pojavijo, lahko škodujejo okolici ali robotu samemu. Morebitne sile so še posebno nevarne, če pride do nepredvidenega stika s človekom. Minimiziranje sil ob kontaktih je možno na več načinov. Minimiziranje sile ob kontaktih lahko dosežemo s pasivnimi pristopi: preko lažje in mehke konstrukcije samega robota [51, 52, 54] ali preko motorjev z elastičnimi elementi [55]. če se robota obda z mrežo taktilnih senzorjev [48, 49, 50], lahko kontakte aktivno zazna in primerno reagira. Med slabostmi takšnega pristopa je visoka cena senzorjev ter pripadajoča zakasnitev meritev. Neželene sile ob kontaktih lahko občutno zmanjšamo tudi preko aktivne regulacije navorov. Podajno obnašanje robota dosežemo, če dejanske navore primerjamo s teoretičnimi [59, 60, 61]. Vendar za tak pristop poleg senzorjev navora potrebujemo tudi dinami čni model naloge, ki jo želimo izvesti. V doktorskem delu predlagamo pristop aktive regulacije navora, ki pa ne potrebuje matematično določenih dinamičnih modelov želene naloge. Predlagamo uporabo podajnih elementarnih gibov, ki so pridobljeni preko demonstracij in ponovne izvedbe zajetih gibov na robotu. Zajeti niz podajnih gibov razširimo in prilagodimo preko uporabe hierarhične baze ali statističnega posploševanja. Tretja tema, ki jo obravnavamo v doktorskem delu, je sodelovanje robota s človekom. Za uspešno sodelovanje je potrebno najprej razpoznati trenutno človeško gibanje in nato sintetizirati ter izvesti primerni robotski gib. Izvedbo sodelovalnih nalog so med drugim opravili s pomočjo skritih Markovskih modelov (angl.: Hidden Markov Models - HMM) [67, 68]. Ben Amor idr. [69] so na podlagi dinamičnih elementarnih gibov razvili interaktivne elementarne gibe (angl.: Interactive Primitves - IPs). Za sintezo sodelovalnih gibov so bili uporabljeni tudi elementarni gibi, ki temeljijo na verjetnosti [30, 70, 71]. Yamane idr. [45, 72] so zajete sodelovalne gibe zapisali v dvojiško drevo, ki so ga nato uporabili za razpoznavo ter sintezo primernega giba. Podoben pristop predlagamo v našem doktorskem delu. Dva človeka izvedeta niz sodelovalnih gibov, ki jih zajamemo in zapišemo v sodelovalno hierarhično bazo. Osnovni del baze, ki vsebuje človeške gibe, uporabimo za sprotno razpoznavo trenutnega človeškega giba. Dodatni del baze, ki vsebuje pripadajoče robotske gibe, uporabimo za sintezo primernega robotskega giba. Vsi predlagani pristopi uporabe hierarhične baze so bili ovrednoteni preko številnih eksperimentov, ki so pokazali uporabnost baze na vseh treh omenjenih področjih.The vast majority of robots are still used in structured and controlled industrial environments, where their tasks are preprogrammed by hand and repeated multiple times over long periods. In the past number of years, the need and desire to move robots into unstructured environments, where they would need to perform a variety of changing tasks, has been on the rise. For a successful transfer of robots to these environments several hurdles need to be overcome. In this thesis we present several methods which tackle these obstacles. In order to handle the execution of robot tasks, which are prone to change in unstructured environments, we rely on Programming by Demonstration paradigm. Instead of programming various tasks by hand, a human can demonstrate these movements. We proposes to encode the recorded movements in a hierarchical, binary tree-like database. We show that this database can be used to synthesize new robot movements, which were not directly demonstrated, and thus alleviate the burden of multiple human demonstrations. A novel approach of hierarchical partial path search enables us to synthesize new robot movements, even when example movements with no similar parts are encoded in the database. If a robot shares its workspace with a human, tasks need to be executable in a safe manner. To achieve safe movements, we use active torque control to generate compliant movements. To avoid mathematically de_ning often complex dynamical models, which are di_erent from task to task, we introduce a new concept of Compliant Movements Primitives, which can be captured by human demonstration. We show that an example set of compliant movements can be extended by encoding them in a hierarchical database or by using statistical methods. The third issue we considered in this work is human-robot cooperation, which can be seen as a twofold problem. Human intention must _rst be recognized. An appropriate collaborative robot task must then be synthesized and executed. We encode a set of demonstrated cooperative movements in an expanded hierarchical database. The database can be used to recognize human movements and synthesize an appropriate cooperative robot task, based on example sets of movements. To ensure smooth and continuous cooperative robot trajectories we propose integrating the approach with Dynamic Movement Primitives. For evaluation a series of experiments is presented. These include synthesis of new sets of robot movements through search in a hierarchical database, learning and synthesizing compliant movements, and producing cooperative robot movements while recognizing human movements. Key words: programming by demonstration, hierarchical database, compliant robot movements, motion recognition, cooperative tasks, dynamic movement primitives, statistical generalization