Multimodal Human-Robot Interaction for Extreme Environmental Telerobot

本文从人机交互过程出发，提出了一种基于多模交互信息增强重建的遥操作机器人人机交互方法。该方法通过对反馈信息补全、交互信息预测和预测信息表达这三个方面的研究来补偿通讯链路对主从交互过程的影响，从而提高了遥操作机器人对复杂任务和精细操作的适应能力。视觉和力觉是操作者感知环境的主要手段，因此本文首先对环境在线建模方法和虚拟机器人接触力计算方法进行了研究，以解决受传感器和通信链路限制所导致的关键反馈信息缺失问题，并为下一步多模交互信息的预测奠定基础。在环境几何模型构建方面，本文利用结构光点云对从端环境进行在线建模，从而保证了虚实环境的一致性，并提出一种自适应随机抽取一致性算法对点云数据进行去噪，而且还对点云的配准和网格化方法进行了研究。在接触力计算方面，提出了一种基于机器人动力学模型的主动式接触力计算方法，不仅解决了刚性接触任务中机器人接触力的计算问题，而且配合环境动力学参数还可以很方便的推广到非刚性接触任务场合。实验表明所提算法具有较高的实时性，且可通过主手运动滤波和反馈力变刚度渲染在人机协作中实现机器人与环境的稳定接触。其次，本文对大时变时延遥操作系统中多模交互信息的预测方法进行了研究，并提出一种对主从交互信息的畸变现象具有补偿功能的预测显示算法。文中首先对基于预测显示的遥操作机器人系统进行动力学分析，并把时延抖动看作是系统的未知扰动；然后分别对系统通讯时延和操作者的前臂运动进行了分析，并根据二者的产生机理和统计规律设计了相应的预测方法；最后利用二者的预测结果在整个遥操作系统中对时变时延引起的系统扰动进行前馈补偿，并在仿真平台上对所提算法进行了实验验证。实验结果表明，在大时变时延遥操作系统中本文提出的预测显示方法可显著提高对从端机器人速度和接触力的预测精度。再次，为了提高人机协作的效率和质量，本文对遥操作系统中多模交互信息的表达方法进行了研究。在力觉和运动信息表达上，本文采用了自行设计的通用型6自由度力反馈主手，并根据主手的物理结构特点和运动学约束提出一种基于简化模型的动力学补偿算法对其自身的动力学特性进行补偿，实验表明该算法可有效减轻操作者的体力负担，且能够保证力觉交互的实时性；在视觉信息表达方面，本文选择了具有深度临场感的头盔显示器来向操作者提供预测图形，为了最小化运动画面延时对操作者的影响，提出了一种对运动画面延时抖动具有补偿功能的卡尔曼滤波算法对用户头部位姿进行预测，文中先对运动画面延时进行分析和预测，然后根据头部运动的相关性分析结果选择合适的位姿预测方式，并在头部运动建模和位姿预测时分别利用延时预测结果对延时抖动进行了补偿，实验结果表明所提算法在多种运动模式下均可显著提高用户头部位姿的预测精度。最后，为了验证本文提出的遥操作机器人人机交互方法的有效性，搭建了具有多模交互信息增强重建功能的遥操作平台框架，并对其软件平台实现过程中要解决的关键问题进行了研究。然后分别在空间遥操作仿真系统和核聚变堆维护遥操作仿真系统中对所提方法进行了验证。实验结果表明：在大时变时延遥操作系统中，本文方法可显著提高接触任务的执行效率和操作安全性；即便是在时延较小的地面遥操作系统中，本文方法也可有效提高精细操作任务的执行效率