Modelos algébricos de informação expressiva da face: Estudos de julgamento de dimensões emocionais em faces sintéticas realistas

Tese de doutoramento em Psicologia, na especialidade de Psicologia Cognitiva, apresentada à Faculdade de Psicologia e Ciências da Educação da Universidade de CoimbraO presente trabalho parte do reconhecimento de uma desproporção entre a abundância de informação disponível sobre a associação entre movimentos específicos da face (unidades de ação: UA) e certos estados afetivos/emocionais, por um lado, e a escassez de informação sobre o modo como estes diferentes movimentos são combinados pelos observadores no julgamento de faces emocionais, por outro. Duas razões fundamentais desta desproporção são: 1) a ausência de um quadro teórico adequado ao tratamento analítico da multideterminação (e.g., a forma como várias fontes de informação determinam conjuntamente um julgamento); 2) uma preocupação dominante com a precisão do reconhecimento, que tende a circunscrever a investigação ao reconhecimento de “expressões verdadeiras” e impõe o recurso a métodos de resposta de escolha (discretos), incapazes de espelhar o jogo complexo de múltiplos determinantes. Esta dissertação tem como objetivo contribuir para superar esta desproporção. Para esse efeito, a Teoria da Integração da Informação e a teoria associada da Medida Funcional (Anderson, 1981, 1982), ambas dirigidas ao tratamento da multideterminação, fornecem aqui o quadro operatório de base, e todos os estudos conduzidos se basearam em tarefas de integração fatorial associadas a respostas contínuas. Foram desenvolvidas três séries de estudos, correspondendo aos três capítulos empíricos da Parte II. A primeira série aborda o problema da integração das UA em julgamentos de intensidade e naturalidade de expressões faciais da emoção. UA associadas a cinco emoções básicas e a duas emoções sociais foram tomadas como variáveis independentes em tarefas fatoriais de integração. Para assegurar a manipulação paramétrica das UA, foram utilizados como estímulos faces 3D realistas. Uma regra de integração aditiva-subtrativa, transversal às emoções, tipos de emoção e dimensões de julgamento, foi robustamente estabelecida. Em certas emoções e subgrupos de participantes, algumas UA modificaram o sentido da operação, de aditiva para subtrativa, nos julgamentos de naturalidade. Apesar de uma tendência para o aumento da importância relativa de UA localizadas na região dos olhos nos julgamentos da naturalidade, os padrões de importância dependeram sobretudo das emoções. Duas secções adicionais de seguimento analisam (1) a sobreposição/confusão entre categorias emocionais a partir de dados obtidos numa tarefa secundária opcional e (2) os efeitos de curtas durações de apresentação (300ms) e da inversão das faces (uma manipulação considerada impeditiva do exercício do processamento holístico). Em ambos os casos foi observado um aumento da importância relativa das UA com maior saliência percetiva, consistente com uma dificuldade acrescida de processamento nas duas condições mais do que com uma diferença de mecanismos de processamento. A segunda série de estudos aborda a integração de faces emocionais e de posturas corporais. Expressões faciais e posturas corporais sintéticas foram manipuladas em tarefas fatoriais de integração. Três emoções básicas e duas sociais foram consideradas e as dimensões de julgamento foram a intensidade emocional, valência e ativação. Uma regra de integração por média foi verificada em todas as emoções nos julgamentos de valência e intensidade. Nos julgamentos de ativação, com exceção do orgulho, prevaleceu a regra aditiva. A importância relativa da face foi superior à do corpo em todas as emoções exceto a alegria (com valores quase equivalentes) nos julgamentos de valência e intensidade. O corpo apresentou uma importância relativa superior nos julgamentos de ativação em todas as emoções básicas, apoiando a ideia de que constitui o principal veículo de expressão da ativação, mas o oposto ocorreu nas duas emoções sociais. A última série de estudos refere-se à integração da informação emocional da face e da informação contextual (a ignorar). Num subgrupo de estudos, foram considerados dois tipos de contexto consistindo em faces adjacentes e posturas corporais. Os fatores foram a face focal e o contexto, ambos variando entre expressões de alta intensidade de duas emoções (e.g., cólera-alegria). As dimensões de julgamento foram tendências de ação, valência e ativação. De acordo com a proposta de que valência e ativação são processadas previamente à informação contextual, as faces adjacentes não tiveram efeitos no julgamento destas dimensões. Contudo, quando o contexto consistiu em posturas corporais, registaram-se claros efeitos das posturas nestas mesmas dimensões. As emoções sociais apresentaram um perfil característico nos julgamentos de tendências de ação, com ausência de efeitos contextuais das faces adjacentes e efeitos claros da postura corporal. Um segundo subconjunto de estudos forneceu um teste provisório a duas previsões do modelo de halo de funcionamento do contexto. Os resultados foram globalmente favoráveis ao modelo, que não assume uma interação (no sentido da não-independência) entre a informação focal e contextual.The current work started from the recognition of a gap between the significant amount of information available on the association between specific movements of the face, the facial action units (AU), and particular affective and emotional states, on the one hand, and the scarcity of information on how distinct facial movements are integrated by perceivers when judging emotional faces. Two major reasons for this gap are: (1) the lack of an appropriate framework for analytically handling multiple determination (e.g., the way several pieces of information jointly determine a judgment); (2) an overwhelming concern with recognition accuracy, which largely confines research to the recognition of “true expressions” and enforces the use of choice-based response methods, unable to mirror the interplay of judgment determinants. One general goal of this dissertation is to help bridging this gap. To that end, Information Integration Theory and its companion Functional Measurement Theory (Anderson, 1981; 1982), both congenial to multidetermination, were adopted as a basic framework, and factorial integration tasks coupled with continuous responses (varying in degree) were used in every study. Three major sets of studies were conducted, corresponding to the three empirical chapters in Part II. The first set addresses the integration of facial AU in judgments of intensity and naturalness of emotion expressions in faces. Facial AU related to five basic and two social emotions were taken as independent variables and factorially combined in integration tasks. To ensure the parametric manipulation of AU, synthetic 3D realistic faces were used as stimuli. A robust additive-subtractive integration rule was established across emotions, type of emotion and judgment dimensions. For some emotions and clusters of participants, some AU shifted their operation from additive to subtractive when naturalness was evaluated. A trend for AU in the eyes region to increase their relative importance in the naturalness judgments was apparent, but patterns of importance mainly depended on emotions. Two follow-up sections additionally examine (1) the overlap/confusion between emotional categories with data obtained from a secondary optional task, allowing participants to indicate which emotion(s) other than the labeled one could be represented by the judged expression, and (2) the effects of short presentation durations (300 ms) and of inverting the faces (a manipulation claimed to impair holistic processing). A dislocation of relative importance from less to more perceptually salient AU was found in both short and inverted presentations, consistent with increased processing difficulty rather than a difference in processing mechanisms. The second set of studies addresses the integration of emotional faces and body postures. Synthetic facial expressions and body postures were manipulated as factors in full factorial integration tasks. Three basic emotions and two social emotions were considered and judgment dimensions were emotional intensity, valence and activation. An averaging integration rule was found for all emotions in the valence and intensity judgments. For arousal judgments, with the exception of pride, the simpler additive rule was still the case. Faces had higher relative importance than bodies in all emotions except joy (where they were close to even) for the intensity and valence judgments. Higher relative importance of the body was found for activation in all basic emotions, concurring with a notion of the body as the main carrier of arousal, but the opposite was true for the two social emotions. The last set of studies concerns the integration of emotion information in the face and contextual information (to be ignored). In a subset of studies, two types of context were considered, provided by adjacent faces and by body postures. Fully crossed factors were (1) the focal face, varying between high intensity expressions of two emotions (sadness-joy, anger-joy, shame-pride), and (2) context (adjacent faces/body postures varying between the same two poles). Judgment dimensions were action tendencies, valence and activation. Concurring with proposals that valence and activation are processed before contextual information intervenes, no effects of the contextual adjacent faces were found for valence and activation judgments of the focal face. However, clear contextual effects were found with these same dimensions when body postures provided the context. Social emotions had a distinctive profile as regards action tendencies, with no effects of the contextual adjacent faces and a large effect of the contextual body posture. A second subset of studies affords a provisional test of two predictions of the averaging halo model of context effects. Results were overall favorable to this model, which does not assume an interaction (in the sense of non-independence) of focal and contextual information