IViHumans platform: the graphical processing layer

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2008Virtual environments that are inhabited by agents with a human like embodiment have many practical applications nowadays, in areas such as entertainment, education, psychotherapy, industrial training, or reconstitution of historical environments. These are examples of areas that may benefit from a flexible platform that supports the generation and rendering of animated scenes with intelligent virtual humans. The IViHumans platform is currently being built with this perspective in mind. The platform is divided in two layers: one for graphical processing and another for artificial intelligence computation. It was projected to provide a set of features which automatically takes care of many issues that are common to applications integrating virtual humans and virtual environments. This document focuses on the conception and development of the Graphical Processing layer, which constitutes the ground for the Artificial Intelligence layer. The connection between the two layers is also addressed. The layers were projected to run in different processes, communicating by means of a simple, yet effective and extensible client/server protocol that we idealized and implemented. The tasks of the graphical processing layer rely, first of all, on graphical representations. For that matter, we highlight the techniques used in 3D object modeling. We also focus on our design and implementation and on how we applied the principles of object oriented design to confer flexibility to the platform. Reynolds' conception of movement is applied according to our own view, to make virtual humans and other objects steer autonomously in the world, while displaying consistent animations that are automatically chosen according to character specific rules. We expose our solution for facial expressions that can be mixed to transmit complex emotions and that are subject to automatic smooth transitions. We show how virtual objects can be characterized with default and custom properties. We discuss the integration of perception through synthetic vision, including how it is coupled with distinct kinds of automatic memory that recalls any attributes of the objects that inhabit the virtual worldOs ambientes virtuais habitados por agentes com uma aparência humanóide têm diversas aplicações práticas nos dias que correm, em áreas como o entertenimento, a educação, a psico-terapia, o treino industrial ou a reconstituição de ambientes históricos. Estes são exemplos de áreas que podem beneficiar de uma plataforma flexível que suporte a geração e produção de cenas animadas com humanos virtuais inteligentes. A plataforma IViHumans está actualmente a ser construída com esta perspectiva. A plataforma divide-se em duas camadas: uma para o processamento gráfico e outra para a computação de inteligência artificial. A sua concepção pressupõe a inclusão de um conjunto de funcionalidades que cobrem muitos aspectos comuns a aplicações que integram humanos virtuais em ambientes virtuais. Este documento atenta na concepção e no desenvolvimento da camada de processamento gráfico, que constitui a base para a camada de inteligência artificial. A ligação entre as duas camadas é também abordada. As camadas foram projectadas de modo a correr em diferentes processos que comunicam por meio de um protocolo cliente/servidor eficaz e extensível, que idealizámos e implementámos. As tarefas da camada de processamento gráfico baseiam-se, antes de mais, em representações gráficas. Assim sendo, destacamos as técnicas usadas na modelação de objectos tridimensionais. Também nos focamos no desenho e na implementação da plataforma e explicamos como aplicámos os princípios do desenho orientado a objectos para lhe conferir flexibilidade. A concepção de movimento de Reynolds é aplicada de acordo com a nossa interpretação, para que humanos virtuais e outros objectos possam conduzir-se autonomamente pelo mundo, enquanto reproduzem animações coerentes que são automaticamente escolhidas com base em regras específicas para cada personagem. Expomos também a nossa solução para expressões faciais que podem ser misturadas de modo a transmitir emoções complexas e que são objecto de transições suaves e automáticas. Mostramos ainda como os objectos virtuais podem ser caracterizados com propriedades pré-definidas ou atribuídas pelo utilizador e discutimos a integração da percepção através de visão sintética, incluindo como ela é acoplada a diferentes tipos de memória que recordam quaisquer atributos dos objectos que habitam o mundo virtua