Recognition and generation of human action in 3D and its application to human-machine interaction

本研究は実空間と仮想空間との境界を意識させない，高度なインタフェースの実現を目指している．具体的には，視覚センサを用いて人体の３次元動作を非接触に計測・解析し，その動作を入力として，実空間上の人間と仮想空間上のイベントや物体との円滑なインタラクションを実現するシステムを開発している．視覚認識の結果を利用して仮想空間において人体動作を再現する場合，少数の部位の位置情報をもとにリアルな動作を生成することが必要となる．また，人にやさしいシステムであるために，システム側が人間すなわちユーザの意図した動作を把握できることが望ましい．これらの二点を考慮したシステムについて報告する．This paper describes an real-time interaction system which enables 3D direct manipulation. Our purpose is to do seamless mapping of human action in the real world into virtual environments. With the aim of making computing systems suited for users, we have developed a vision based 3D direct manipulation interface as smart pointing devices. Our system realizes human motion analysis by 3D blob tracking, and human figure motion synthesis to generate realistic motion from a limit number of blobs. For the sake of realization of smart interaction, we assume that virtual objects in virtual environments can afford human figure action, that is, the virtual environments provide action information for a human figure model, or an avatar. Extending the affordance based approach; this system can employ scene constraints in the virtual environments in order to generate more realistic motion