Automated Evolution for Design

Doctoral thesis submitted in partial fulfilment of the Doctoral Program in Information Science and Technology supervised by Professor Fernando Jorge Penousal Martins Machado and presented to the Department of Informatics Engineering of the Faculty of Sciences and Technology of the University of Coimbra.Evolutionary Computation has been applied in visual domains, such as graphic design and visual art, to enable the computational exploration of vast design spaces. However, the process of assigning fitness has proven to be a major challenge in most evolutionary design approaches due to the difficulty in automatically evaluating the quality of a visual artefact. As a result, many approaches end up relying on users to manually assess the candidate solutions generated during the evolutionary process. This often leads to user fatigue and, consequently, compromises the evolution of valuable artefacts for the user. In this thesis, we investigate the use of Evolutionary Computation with automated fitness assignment to generate visual design artefacts. We focus on three challenges, each one in a different area: type design, human face generation, and non-photorealistic rendering. We address these challenges by creating evolutionary approaches capable of automatically generating glyph designs, face images, and artificial ant species that paint non-photorealistic renderings. Different approaches are explored to automatically assign fitness and thus guide the evolutionary process. Firstly, for the evolution of glyphs, automated fitness assignment is accomplished using a combination of Machine Learning techniques, visual similarity to target designs, novelty search algorithms, and visual features extracted from the evolved designs. Secondly, for the evolution of face images, fitness assignment is achieved using pre-trained face detectors. Finally, for the evolution of artificial painting ant species, fitness assignment is performed using behavioural statistics calculated during the simulation of the ants and image features extracted from the resulting renderings. On top of this, we explore approaches that allow users to control, through a custom graphical interface, the features that build the fitness functions and, this way, express different goals and preferences that should be sought by the evolutionary process. The experimental results demonstrate the effectiveness of the presented approaches in automatically evolving (i) glyph designs with high legibility and graphical characteristics that match the user preferences; (ii) photorealistic face images that may fool face detectors, improve their performance, and also deceive humans into thinking they are real; and (iii) artificial ants that paint visually appealing and complex artworks with varied aesthetic characteristics that satisfy the preferences expressed by the users. Overall, this work demonstrates the feasibility of using Evolutionary Computation with automated fitness assignment to create autonomous generators capable of quickly creating a wide variety of design artefacts in different visual domains.A Computação Evolucionária tem sido aplicada em domínios visuais, tais como o design gráfico e a arte, de forma a possibilitar a exploração computacional das possibilidades de design de uma forma mais abrangente. No entanto, na maioria das abordagens de design evolucionário, o cálculo da aptidão dos artefactos evoluídos é um grande desafio devido à dificuldade em avaliar automaticamente a qualidade de artefatos de design visuais. Desta forma, grande parte das abordagens existentes requerem, por parte do utilizador, a avaliação manual das soluções criadas ao longo do processo evolucionário. Este processo causa fadiga o que, por sua vez, compromete a evolução de artefatos com valor para o utilizador. Nesta tese, investiga-se o uso da Computação Evolucionária com atribuição automática de aptidão para gerar artefatos de design visuais. Mais concretamente, focamos em três desafios, cada um deles numa área distinta: design de tipos de letra, criação de faces humanas e renderização não-fotorrealista. Para responder a estes desafios, criámos um conjunto de abordagens evolucionárias capazes de gerar automaticamente designs de glifos, imagens de faces e espécies de formigas artificiais que criam renderizações não-fotorrealista. Exploram-se diferentes abordagens de atribuição automática de aptidão. Para a evolução de glifos, a atribuição automática é feita através da combinação de técnicas de Aprendizagem Computacional, semelhança visual com glifos alvo, algoritmos de procura de novidade e características visuais extraídas dos glifos evoluídos. Para a evolução de imagens de faces, a atribuição de aptidão é conseguida através do uso de detetores computacionais de faces. Por último, para a evolução de espécies de formigas artificiais, a atribuição de fitness é realizada através de um conjunto de estatísticas comportamentais calculadas durante a simulação das formigas e de um conjunto de características de imagem extraídas das renderizações resultantes. Adicionalmente, exploramos um conjunto de abordagens que permitem ao utilizador controlar, através de uma interface gráfica, as propriedades das funções responsáveis pelo cálculo da aptidão e, desta forma, expressar diferentes objectivos e preferências que devem ser satisfeitas pelo algoritmo evolucionário. Os resultados experimentais destas abordagens demonstram a sua eficácia na evolução automática de: (i) designs de glifos com legibilidade e características gráficas que correspondem às preferências do utilizador; (ii) imagens de faces fotorrealistas que induzem detetores de faces em erro, que podem ser usadas para melhorar o desempenho destes mesmos detetores, e que levam as pessoas a entender estas faces como verdadeiras; e (iii) formigas artificiais que criam pinturas visualmente apelativas e complexas, com características estéticas que satisfazem as preferências indicadas pelos utilizadores. De forma geral, o presente trabalho demonstra a viabilidade de usar Computação Evolucionária com atribuição automática de aptidão para desenvolver geradores autónomos capazes de criar rapidamente uma grande variedade de artefactos visuais em diferentes domínios visuais