How Language Imposes Structure on Meaning : Construal and Narrative

Cette thèse a été effectuée dans le cadre du projet européen WYSIWYD (What You Say is What You Did). Ce projet a pour but de rendre, plus naturelles, les interactions Humain-robot, notamment par le biais du langage. Le déploiement de robots compagnon et de robots de service requière que les humains et les robots puissent se comprendre mutuellement et communiquer. Les humains ont développé une codification avancée de leur comportement qui fournit la base de la transparence de la plupart de leurs actions et de leur communication. Jusqu'à présent, les robots ne partagent pas ce code de comportement et ne sont donc pas capables d'expliquer leurs propres actions aux humains. Nous savons que dans le langage parlé, il existe un lien direct entre le langage et le sens permettant à une personne qui écoute d'orienter son attention sur un aspect précis d'un événement. Ceci est particulièrement vrai en production de langage. On sait que la perception visuelle permet l'extraction des aspects de «qui a fait quoi à qui» dans la compréhension des événements sociaux. Mais dans le cadre d'interactions humaines, il existe d'autres aspects importants qui ne peuvent être déterminés uniquement à partir de l'image visuelle. L'échange d'un objet peut être interprété suivant différents points de vue, par exemple du point de vue du donateur ou de celui du preneur. Nous introduisons ainsi la notion de construal. Le construal est la manière dont une personne interprète le monde ou comprend une situation particulière. De plus, les événements sont reliés dans le temps, mais il y a des liens de causalité ainsi que des liens intentionnels qui ne peuvent pas être vus d'un point de vue uniquement visuel. Un agent exécute une action, car il sait que cette action satisfait le désir d'un autre agent. Cela peut ne pas être visible directement dans la scène visuelle. Le langage permet ainsi de préciser cette particularité : "Il vous a donné le livre parce que vous le vouliez". La première problématique que nous mettons en évidence dans ce travail est la manière dont le langage peut être utilisé pour représenter ces construals. Autrement dit, la manière dont un orateur choisit une construction grammaticale plutôt qu'une autre en fonction de son centre d'intérêt. Pour y répondre, nous avons développé un système dans lequel un modèle mental représente un événement d'action. Ce modèle est déterminé par la correspondance entre deux vecteurs abstraits : le vecteur de force exercée par l'action et le vecteur de résultat correspondant à l'effet de la force exercée. La deuxième problématique que nous étudions est comment des constructions de discours narratif peuvent être apprises grâce à un modèle de discours narratifs. Ce modèle se base sur des réseaux neuronaux de production et de compréhension de phrases existants que nous enrichissons avec des structures additionnelles permettant de représenter un contexte de discours. Nous présentons également la manière dont ce modèle peut s'intégrer dans un système cognitif global permettant de comprendre et de générer de nouvelles constructions de discours narratifs ayant une structure similaire, mais des arguments différents. Pour chacun des travaux cités précédemment, nous montrons comment ces modèles théoriques sont intégrés dans la plateforme de développement du robot humanoïde iCub. Cette thèse étudiera donc principalement deux mécanismes qui permettent d'enrichir le sens des évènements par le langage. Le travail se situe entre les neurosciences computationnelles, l'élaboration de modèles de réseaux neuronaux de compréhension et de production de discours narratifs, et la linguistique cognitive où comprendre et expliquer un sens en fonction de l'attention est crucialThis thesis takes place in the context of the European project WYSIWYD (What You Say is What You Did). The goal of this project is to provide transparency in Human-robot interactions, including by mean of language. The deployment of companion and service robots requires that humans and robots can understand each other and communicate. Humans have developed an advanced coding of their behavior that provides the basis of transparency of most of their actions and their communication. Until now, the robots do not share this code of behavior and are not able to explain their own actions to humans. We know that in spoken language, there is a direct mapping between languages and meaning allowing a listener to focus attention on a specific aspect of an event. This is particularly true in language production. Moreover, visual perception allows the extraction of the aspects of "who did what to whom" in the understanding of social events. However, in the context of human interaction, other important aspects cannot be determined only from the visual image. The exchange of an object can be interpreted from the perspective of the giver or taker. This introduces the notion of construal that is how a person interprets the world and perceive a particular situation. The events are related in time, but there are causal and intentional connexion that cannot be seen only from a visual standpoint. An agent performs an action because he knows that this action satisfies the need for another person. This may not be directly visible in the visual scene. The language allows specifying this characteristic: "He gave you the book because you like it." The first point that we demonstrate in this work is how the language can be used to represent these construals. In response, we have developed a system in which a mental model represents an action event. This model is determined by the correspondence between two abstract vectors: the force vector exerted by the action and the result vector corresponding to the effect of the applied force. The application of an attentional process selects one of the two vectors, thus generating the construal of the event. The second point that we consider in this work is how the construction of narrative discourse can be learned with a narrative discourse model. This model is based on both existing neural networks of production and comprehension of sentences that we enrich with additional structures to represent a context of discourse. We present also how this model can be integrated into an overall cognitive system for understanding and generate new constructions of narrative discourse based on similar structure, but different arguments. For each of the works mentioned above, we show how these theoretical models are integrated into the development platform of the iCub humanoid robot. This thesis will explore two main mechanisms to enrich the meaning of events through language. The work is situated between computational neuroscience, with development of neural network models of comprehension and production of narrative discourse, and cognitive linguistics where to understand and explain the meaning according to joint attention is crucia