Control, simulation, and appearance modeling for real-time physics-based hand animation

Digital human characters are a mainstay of video games, film, and interactive computer graphics applications. However, animating hands remains a challenging aspect of human character animation: posing the hand involves coordinating many degrees of freedom, synthesizing a plausible grasp requires careful placement of contacts, and realistic rendering must account for intricate colour and texture variations. Traditional solutions to these problems require significant manual effort by skilled artists. It is therefore of great interest to computer animation researchers to develop fast and automatic methods for animating hands. This thesis presents methods for improving the realism of hands in real-time physics-based virtual environments.We begin by presenting a framework for skilled motion synthesis, wherein reinforcement learning and non-linear continuous optimization are used to generate controllers for single-handed re-orientation tasks. A mid-level multiphase approach breaks the problem into three parts, providing an appropriate control strategy for each phase and resulting in cyclic finger motions that accomplish the task. The exact trajectory is never specified, as the task goals are concerned with the final orientation and position of the object. Offline simulations are used to learn controller parameters, but the resulting control policy is suitable for real-time applications.We then describe a method for the simulation of compliant articulated structures using an approximate model that focuses on plausible endpoint behaviour. The approach is suitable for simulating physics-based characters under static proportional derivative control and stiff kinematic structures, like robotic grippers. The computation time of the dynamical simulation is reduced by an order of magnitude, and faster than real-time frame rates are easily achieved. Additionally, the state of internal bodies is computed independently, and in a parallel fashion.We also demonstrate an approach for synthesizing colour variation in fingers due to physical interaction with objects. A data-driven model relates contact information to visible colour changes for the fingernail and surrounding tissue on the back of the fingertip. The model construction uses the space of hemoglobin concentrations, as opposed to an RGB colour space, which permits transferability across different fingers and different people. Principal component analysis (PCA) on the sample images results in a compact model, enabling efficient implementation as a fragment shader program.Finally, we introduce a system for capturing grasping and dexterous interactions with real-world objects. A novel sensor ensemble collects information about joint motion and pressure distributions for the hand, and the data is used to design grasping controllers for a physics-based climbing simulation. Additionally, we speculate on how the interaction data can be used to derive future control strategies in physics-based animation. Combining interaction data with physical models is a promising approach for skilled motion synthesis involving hands.Les personnages humains numériques jouent un rôle primordial dans les jeux vidéo, les films et les logiciels d'animation interactifs. La main reste toutefois une partie du corps difficile à animer: positionner une main implique de coordonner plusieurs degrés de liberté, la synthèse d'un mouvement réaliste de préhension requiert un placement minutieux des points de contact, et un rendu photoréaliste comporte des difficultés au niveau des variations de couleur et de texture. Les solutions traditionnelles à ces problèmes demandent l'effort de plusieurs artistes hautement qualifiés. Cela motive les chercheurs en animation le développement d'outils permettant d'animer une main automatiquement. Cette thèse présente plusieurs méthodes qui augmentent le réalisme des mains dans des simulations interactives basées sur la physique.Nous commençons par présenter un cadre technique pour la synthèse de mouvements adroits dans lequel un apprentissage par renforcement et une méthode d'optimisation non-linéaire sont utilisés pour générer des contrôleurs d'orientation lors de tâches comportant une seule main. Une méthode à phases multiples basée sur l'état de la simulation divise le problème en trois parties, fournissant une stratégie de contrôle appropriée pour chaque phase et produisant un mouvement cyclique des doigts qui accomplit la tâche souhaitée. La trajectoire exacte des doigts n'est jamais précisée, car les objectifs de la tâche dépendent de la position et de l'orientation de l'objet.Nous exposons ensuite une méthode pour la simulation de structures articulées adaptatives en utilisant un modèle basé sur les comportements plausibles des extrémités. Cette méthode convient à la simulation de personnages physiques régis par un régulateur proportionnel dérivé statique et constitués de liens structurels raides, comme une pince robotique. Le temps de calcul pour une simulation dynamique est réduit par un ordre de grandeur, et une fréquence de rafraîchissement supérieure au niveau interactif est facilement observable. De plus, l'état des liens internes est calculé de façon indépendante et en parallèle.Nous démontrons aussi une méthode pour la synthèse de variations de couleur au niveau des doigts provenant des interactions avec les objets. Un modèle basé sur des données permet de faire le lien entre les informations du contact et les changements de couleur visibles des ongles et des tissus adjacents. En s'inspirant du modèle RGB pour les couleurs, notre modèle utilise un espace paramétrique de la concentration d'hémoglobine, ce qui permet une portabilité entre différents doigts et entre différentes personnes. Une analyse des composantes principales de photographies de doigts en action produit un modèle compact, ce qui rend possible une mise en application efficace de la méthode dans un nuanceur.Finalement, nous introduisons un système permettant l'enregistrement de mouvements de préhensions et de manipulations adroites avec des objets réels. Un groupe de capteurs révolutionnaire récolte l'information provenant du mouvement des articulations et de la distribution de la pression. L'information récoltée est ensuite utilisée dans le développement de régulateurs de préhension lors d'une simulation basée sur la physique d'un personnage escaladant une paroi. De plus, nous spéculons sur la possibilité de tirer avantage de cette information dans le développement d'autres stratégies pour l'animation basée sur la physique. La combinaison de données d'interaction et d'un modèle physique est une méthode prometteuse pour la synthèse de mouvements adroits des mains