Modélisation dynamique inverse de tissus - Apprentissage profond à l'aide de simulations basées sur la physique

Inverse problems arise in various physical domains and solving them from real-world visual observations poses a significant challenge due to the high dimensional nature of the data. Furthermore gathering enough observations that a data driven model can accurately capture the complete distribution of a physical phenomenon is often intractable. In this work we use deep learning to solve inverse problems by applying two basic principles. Deep learning models can be trained using synthetic data generated from physics based simulations. And the employed simulator itself needs to be verified for physical accuracy thus allowing the model to learn the exact physical phenomenon that is desired.To validate the simulator, we introduce rich and compact physical protocols, originally proposed in soft matter physics literature to measure physical parameters. These protocols can be easily replicated in a simulator to test the physical correctness of the model, and the validity of the simulator.We solve the inverse measurement problem of estimating contact friction in soft-bodies which otherwise requires a specialized physics bench and entails tedious acquisition protocols. This makes the prospect of a purely non-invasive, video-based measurement technique particularly attractive. Previous works have shown that such a video-based estimation is feasible for material parameters using deep learning, but this has never been applied to the friction estimation problem which results in even more subtle visual variations. Since acquiring a large dataset for this problem is impractical, we generate it using a frictional contact simulator. As the simulator has been calibrated and verified using controlled experiments, the results are not only visually plausible, but physically-correct enough to match observations made at the macroscopic scale. We propose to our knowledge the first non-invasive measurement network and adjoining synthetic training dataset for estimating cloth friction at contact, for both cloth-hard body and cloth-cloth contacts. We also acquire an extensive dataset of real world experiments for testing. Both the training and test datasets have been made freely available to the community.We also utilize the same protocol for solving the inverse measurement problem of estimating the deformed curvature of a suspended Kirchhoff rod. In order to do such estimation on physical rods, we utilize a deep learning model to visually predict a curvature field from a suspended rod. As creating a dataset from physical rods (even if synthetically constructed), that faithfully covers a representative manifold of deformed curvatures is intractable, we rely on generating such a dataset from a verified simulator. Our work shows a promising way forward for utilizing deep learning models as part of an inversion measurement pipeline.Des problèmes inverses surviennent dans divers domaines physiques et les résoudre à partir d'observations visuelles du monde réel pose un défi important en raison de la nature hautement dimensionnelle des données. De plus, rassembler suffisamment d'observations pour qu'un modèle basé sur les données puisse capturer avec précision la distribution complète d'un phénomène physique est souvent insoluble. Dans ce travail, nous utilisons l'apprentissage profond pour résoudre des problèmes inverses en appliquant deux principes de base. Les modèles d'apprentissage profond peuvent être entraînés à l'aide de données synthétiques générées à partir de simulations basées sur la physique. Et la précision physique du simulateur employé, lui-même, doit être vérifiée, permettant ainsi au modèle d'apprendre le phénomène physique exact souhaité.Afin de valider le simulateur, nous introduisons des protocoles physiques riches et compacts, proposés à l'origine dans la littérature de physique de la matière molle pour mesurer des paramètres physiques. Ces protocoles peuvent être facilement répliqués dans un simulateur pour tester l'exactitude physique du modèle et la validité du simulateur.Nous résolvons le problème de mesure inverse de l'estimation du frottement de contact dans les corps mous qui nécessite sinon un banc de physique spécialisé et un protocole d'acquisition fastidieux. Cela rend la perspective d'une technique de mesure purement non invasive basée sur la vidéo particulièrement attrayante. Des travaux antérieurs ont montré qu'une telle estimation basée sur la vidéo est réalisable pour les paramètres de matériaux en utilisant l'apprentissage profond, mais cela n'a jamais été appliqué au problème d'estimation de la friction qui entraîne des variations visuelles encore plus subtiles. Étant donné qu'il n'est pas pratique d'acquérir un grand ensemble de données pour ce problème, nous le générons à l'aide d'un simulateur de contact frictionnel. Comme le simulateur a été calibré et vérifié à l'aide d'expériences contrôlées, les résultats sont non seulement visuellement plausibles, mais suffisamment corrects physiquement pour correspondre aux observations faites à l'échelle macroscopique. Nous proposons à notre connaissance le premier réseau de mesure non invasif et un jeu de données d'entraînement synthétique adjacent pour estimer le frottement du tissu au contact, à la fois pour les contacts tissu-corps dur et tissu-tissu. Nous acquérons également un vaste ensemble de données d'expériences du monde réel pour les tests. Les ensembles de données de formation et de test ont été mis gratuitement à la disposition de la communauté.Nous utilisons également le même protocole pour résoudre le problème de mesure inverse de l'estimation de la courbure déformée d'une tige de Kirchhoff suspendue. Afin de faire une telle estimation sur des tiges physiques, nous utilisons un modèle d'apprentissage profond pour prédire visuellement un champ de courbure à partir d'une tige suspendue. Comme la création d'un ensemble de données à partir de tiges physiques (même si elles sont synthétiquement construites), qui couvre fidèlement une variété représentative de courbures déformées est insoluble, nous comptons sur la génération d'un tel ensemble de données à partir d'un simulateur vérifié. Notre travail montre une voie prometteuse pour l'utilisation de modèles d'apprentissage profond dans le cadre d'un pipeline de mesure d'inversion