Application of head-mounted display to da Vinci Research Kit (dVRK) with its performance evaluation method

학위논문(석사) -- 서울대학교대학원 : 공과대학 협동과정 바이오엔지니어링전공, 2021.8. 김준영.로봇 수술은 발전된 최소 침습 수술 (Minimally invasive surgery, MIS)로서 기존의 내시경 수술과 비교하여 수술 예후를 비롯하여 집도의 와 환자 측면 모두에서 다양한 이점을 지닌다. 하지만, 현재 가장 널리 사용되는 Intuitive surgical 사 (Sunnyvale, CA, USA)의 da Vinci® 수술 로봇 시스템은 3D 영상을 제공하는 디스플레이인 Stereo viewer로 인해 집도의가 수술 중 불편한 자세를 유지해야 하므로 단기적으로는 불편감으로 인해 수술 과정 및 결과에 악영향을 미칠 수 있으며 장기적으로서는 집도의에게 근골격계 질환을 유발할 가능성이 있다. 이후 Open-console 형태의 단일 디스플레이를 채택한 타 수술 로봇이 시장에 출시되어 불편한 자세에서 오는 문제가 해결될 것으로 기대되었으나 단일 디스플레이의 단점으로 인하여 현실과 가까운 높은 수준의 시각적 피드백을 제공할 수 없는 문제가 있었다. 따라서 본 연구에서는 수술 로봇 시스템의 인체공학적 향상을 위해 머리 부분 탑재형 디스플레이 (Head mounted display, HMD)를 Stereo viewer의 대안으로 제시하며 da Vinci® 수술 로봇 시스템에 적용하였다. 연구에서 고안한 시스템은 da Vinci® research kit (dVRK)와 4 자유도의 내시경 제어 시스템 (Endoscope control system, ECS), 그리고 HMD로 구성되며 크게 수술 로봇 조작부와 내시경 영상 송출부로 나눌 수 있다. dVRK는 1세대 da Vinci® 수술 로봇 시스템을 연구 목적으로 전용한 것으로서 Master tool manipulator (MTM)에 가해진 조작이 컴퓨터를 통해 명령으로 변환되어 Patient side manipulator (PSM)을 제어하는 Master-slave 방식이며 ECS에는 한 쌍의 카메라가 병렬로 장착되어 촬영된 영상이 Windows (Microsoft, Redmond, WA, USA) PC에서 3D 영상으로 변환하여 HMD에 송출된다. 한편, HMD는 안면부에 고정되어 시야를 차단하므로 주변 환경과 충돌하는 등의 문제가 발생할 수 있는데 이를 위해 HMD에 송출되는 영상을 HMD 전방에 설치된 카메라에서 받은 영상으로 교체하는 기능을 추가하여 사용자가 HMD를 벗지 않고 외부를 볼 수 있도록 했다. 또한, 구현된 시스템은 기존 시스템과 비교하여 그 효용성을 입증하기 위해 타당한 사용자 평가 방법이 필요할 것으로 사료된다. 따라서, 본 연구에서는 기존 시스템과 새로이 구현된 시스템 간의 비교 평가를 위해 정량·정성적 두 측면에서 Peg transfer task와 NASA-TLX (Task load index)를 사용자 평가 방법으로 제시하였다. 본 연구에서 구현한 HMD가 접목된 수술 로봇 시스템은 기존 시스템과 비교하여 인체공학적인 장점을 보일 것으로 기대된다. 또한, 제시한 정량·정성적 평가를 진행하면 3D 영상 디스플레이가 Stereo viewer에서 HMD로 대체되었을 때 미치는 성능 상의 영향을 확인할 수 있을 것이다. 이러한 결과를 토대로 이후 HMD를 활용한 수술 로봇 개선 연구의 방향을 제시할 수 있을 것이며 HMD의 용적이 Stereo viewer에 비해 매우 작으므로 전체적인 시스템의 용적이 감소하여 수술실의 공간 효율성이 증가하고 민간 및 군사 분야에서 HMD에 적용되어 효용성이 입증된 무선 컨트롤러, 3D 오버레이 등의 다양한 기술을 추가로 접목할 수 있으므로 수술 로봇의 성능 향상을 기대할 수 있을 것이다.Robotic surgery has become prevalent because of its various advantages as a progressive method of minimally invasive surgery. However, the stereo viewer of the most widely used da Vinci® surgical robot system requires the surgeon to maintain an uncomfortable posture that increases the risk of musculoskeletal disorders. After other open-console type surgical robot systems with single display were released to the market, it was expected to solve this problem. But they had shortcomings on the quality of visual feedback, such as flickering, ghosting, and crosstalk due to 3D stereo technique using single display. To overcome this problem, we suggested replacing the stereo viewer with a head-mounted display (HMD). The system suggested in this research was comprised with da Vinci® research kit (dVRK), 4 degree-of-freedom endoscope control system (ECS) and the HMD as a 3D display device. And the system is largely divided into surgical tool control subsystem and 49 endoscope imaging subsystem. dVRK was a research kit which is converted from the early model of da Vinci® surgical robot system and a master-slave type robot that Patient side manipulator (PSM) were controlled by computers following applied movements on Master tool manipulator (MTM). ECS provided a 3D image to HMD by processing images captured by 2 cameras aligned horizontally on ECS through computer. Meanwhile, HMD is mounted on one’s head blocking him/her sight. Therefore, a function of changing a video source between the front of the HMD and the ECS was applied to mitigate this inconvenience. Also, we proposed comparative evaluations, including peg transfer tasks and a modified NASA-Task Load Index (TLX) to determine whether the stereo viewer could be replaced by the HMD and to investigate that the HMD had clear ergonomic advantages. Suggested system on this study is expected to show better ergonomic performance compared to existing surgical robot system. And we can clarify the effects of replacing the Stereo viewer with the HMD and determine concepts of further research. In addition, a volume of surgical robot system will be decreased increasing a spatial efficiency on the operation room. Additional improvement can be expected by combination with existing features using in HMD, such as wireless controllers or 3D overlay.제 1 장 서 론 7 제 1 절 연구의 배경 7 제 2 절 연구의 내용과 목적 12 제 2 장 본 론 13 제 1 절 시스템의 구성. 13 제 2 절 사용자 평가 설계 28 제 3 장 결과 및 분석 . 33 제 1 절 시스템 구성 결과 33 제 2 절 사용자 평가 방법 35 제 4 장 결 론 42 참고문헌 45 Abstract 48석