Development of techniques for haptic exploration and recognition of objects: a contribution to autonomous robotic hands

Tese de doutoramento em Engenharia Electrotécnica e de Computadores, na especialidade de Automação e Robótica, apresentada ao Departamento de Engenharia Electrotécnica e de Computadores da Universidade de CoimbraDuring the past few years, a new generation of robotic platforms has begun being integrated in distinct environments (e.g. domestic, healthcare, and entertainment). The robotic platforms must execute autonomously a great variety of tasks (to and in cooperation with humans) in uncertain and dynamic environments. To overcome these challenges, the robotic platforms are equipped with a high diversity of sensory (e.g. monocular and stereo cameras; microphones; and force, torque, and tactile sensing arrays) and actuation apparatus (e.g. dexterous robotic arms and hands, touch screens, humanoid heads, and audio speakers). The research works presented in this thesis are related to the subject of robotic dexterous manipulation and haptic exploration of objects (rigid and soft). This thesis contributes to the development of robotic platforms with autonomous dexterous manipulation capabilities by studying the human manipulation and haptic exploration skills, presenting several approaches to translate and transfer them to a robotic platform. The study of the human visual and somatosensory systems, the neuronal and functional units supporting the sensory processing pipeline, as well as the behavioural patterns participating in the action-perception loop were used as guidelines and benchmarks throughout the thesis during the formulation and evaluation of three artificial perception applications. Toward the first application, this thesis presents an approach to model the human strategies executed during a dexterous manipulation task. The human hand is instrumented with a tactile sensing array. The thesis proposes a symbolic description of the tasks using grasping primitives. Each grasping primitive is described by the hand-object contact interaction signature. During the human demonstration of two different dexterous manipulation tasks, the sequence of grasping primitives is recognized by a Bayesian model. The statistical relations emerging from the analysis of the sequence of grasping primitives are used to define the model of the task. The research works presented in this manuscript contribute to a second application consisting of an artificial perception system to discriminate in-hand explored objects with different hardness properties. The human hand is instrumented with a tactile sensing array and a motion tracking sensor. A Bayesian model integrates features (contact intensity, contact area, and contact indentation) extracted from the sensory data acquired during the press-and-release exploration of the objects. The cutaneous and kinesthetic cues are integrated by a Bayesian model so the system can learn to discriminate between three distinct materials (haptic memory). The learned parameters are used to infer the perceived hardness properties of unknown objects based on the haptic memory of the system. The final contribution of this thesis is concerning the implementation of a probabilistic approach to perform active haptic exploration of surfaces using dexterous robotic hands (simulation environment). The proposed approach represents the structure of an unknown surface as a probabilistic grid. As long as the haptic exploration of the surface progresses, haptic cues regarding texture and compliance are integrated by a Bayesian model and used to infer the category of material of that region of the workspace. The approach showed an excellent capability to discriminate between ten different types of materials (haptic stimulus). Based on this perceptual representation of the workspace, the robotic system infers the next region of the unknown workspace that should be explored. This decision is made by integrating bottom-up and top-down cues related to the haptic saliency of the stimulus, uncertainty of the current perceptual representation of the workspace, inhibition-of-return mechanisms, objectives of the task, and the current structure of the exploration path. The Bayesian models involved in this approach were tested on a planar surface, during the detection and following haptic discontinuities between three different materials. The following of haptic discontinuity was performed with good structural accuracy. The tactile attention mechanisms of the system demonstrated a high specificity, following the discontinuities of interest and ignoring the others. The role and impact of the different cues (haptic saliency, inhibition-of-return, uncertainty, and structure of exploration path) was also studied by removing each of these components from the Bayesian models.Nos últimos anos, uma nova geração de plataformas robóticas tem sido integrada em novos tipos de cenários (ex: ambiente doméstico, unidades de saúde, locais de entretenimento). Neste tipo de cenários as plataformas robóticas necessitam de executar autonomamente uma grande variedade de tarefas (para e em cooperação com Humanos), sendo confrontadas com ambientes dinâmicos e imprevisíveis. De forma a ultrapassar estes desafios, as plataformas robóticas são equipadas com uma grande variedade de sensores (ex: câmaras monocular e estéreo, microfones, sensores de força, torque e de tacto) e interfaces/actuadores (mãos e braços robóticos, ecrãs tácteis, cabeças humanóides, sintetizadores de áudio). Os trabalhos de investigação apresentados nesta tese estão relacionados com a manipulação e exploração háptica de objectos (rígidos e moles). Com esta tese pretende-se contribuir para o desenvolvimento de plataforms robóticas com capacidade autónoma de manipulação, através do estudo da perícia Humana em tarefas de manipulação e exploração háptica. São propostas diferentes abordagens para replicar estas habilidades Humanas em platformas robóticas. O estudo do sistema visual e somatosensorial Humano, das unidades neuronais e funcionais envolvidas no processamento sensorial, assim como dos padrões comportamentais intervenientes nos mecanismos do ciclo acção-percepção, foram considerados como referências durante a formulação, desenvolvimento e avaliação do desempenho de três aplicações de percepção artificial. Numa primeira aplicação, propõe-se uma metodologia para modelizar as estratégias utilizadas por Humanos durante uma tarefa de manipulação. A mão Humana é instrumentada com uma série de sensores de tacto. Nesta tese propõe-se uma descrição simbólica das tarefas, utilizando diferentes primitivas para efectuar essa modelização. Cada primitiva é descrita pelo perfil de contacto (região e intensidade do contacto) entre a mão e o objecto. Durante a demonstração de dois tipos de tarefas de manipulação, a sequência temporal de primitivas é reconhecida por um modelo Bayesiano. O modelo de cada um dos tipos de tarefa é extraído a partir das relações de estatísticas de causalidade que se estabelecem entre tipos de primitivas consecutivas que tenham sido inferidas pelo modelo Bayesiano proposto. Esta tese apresenta ainda um segundo sistema de percepção artificial que discrimina objectos com diferentes características de rigidez, durante tarefas de exploração háptica. A mão Humana é instrumentada com uma série de sensores de tacto e um sensor de rastreamento de movimento. Desenvolveu-se um modelo Bayesiano que integra simultaneamente descritores (intensidade de contacto, área de contacto, nível de indentação do contacto) extraídas dos dados sensoriais adquiridos durante a exploração dos objectos através de movimentos de palpação. As componentes cutaneas e quinestésica da interacção dedo-objecto são integradas pelo modelo Bayesiano de forma a que este estime os parâmetros do modelo e aprenda a discriminar três materials diferentes (memória háptica do sistema) As características de rigidez de objectos desconhecidos ao sistema são inferidas pelo modelo Bayesiano, baseando-se na memória háptica do sistema desenvolvida anteriormente. Por fim, esta tese apresenta um sistema de percepção artificial e acção relacionado com a implementação de uma abordagem probabilística para executar a exploração háptica activa de superfícies usando mãos robóticas (ambiente de simulação). Na abordagem proposta a estrutura espacial das superfícies desconhecidas pelo sistema é representada por uma grelha probabilística. À medida que a exploração háptica progride, descritores relacionados com características de textura e complacência são integrados por um modelo Bayesiano e usados para inferir a categoria de material existente naquela região da superfície explorada. Esta abordagem foi testada experimentalmente, sendo capaz de discriminar com um elevado desempenho 10 materials diferentes. A partir da representação perceptual do espaço de trabalho inferida pelo modelo Bayesiano referido anteriormente, o sistema robótico estima qual será a próxima região da superfície a ser explorada. Esta decisão é tomada integrando simultaneamente informação relacionada com a saliência háptica e incerteza associada às diferentes regiões da representação perceptual actual da superfície, mecanismos de inibição-de-retorno, objectivos da tarefa de exploração e estrutura do percurso de exploração efectuado pelo sistema robótico até ao momento. O sistema proposto foi testado numa superfície plana, durante a execução de tarefas de exploração háptica relacionadas com o seguimento de discontinuidades entre três materiais diferentes. As discontinuidades entre os três materiais, correspondentes aos objectivos das diferentes tarefas, foram seguidas com uma boa precisão estrutural. Os mecanismos de atenção táctil demonstraram uma grande especificidade, fazendo com que o sistema seguisse as discontinuidades de interesse para a tarefa, ignorando as restantes descontinuidades existentes no espaço de tabalho. O impacto da contribuição de cada uma das componentes (saliência háptica, inibição-de-retorno, incerteza, estrutura do percurso explorado) foi estudado através da análise do desempenho do sistema quando o efeito de cada uma dessas componente era neutralizado na formulação dos modelos Bayesianos