Generation of Concept-Representative Symbols: Towards Visual Conceptual Blending

Abstract

A representação visual de conceitos foi o foco de diversos estudos ao longo da História e é considerada a origem dos sistemas de escrita existentes. A sua exploração levou ao desenvolvimento de vários sistemas de linguagem visual e tem grande importância na área do design gráfico, em tarefas como o design de ícones.À semelhança de problemas de outras áreas, a representação visual de conceitos também tem sido abordada através de abordagens computacionais. Nesta tese, damos foco À geração computacional de símbolos visuais para representação de conceitos, especificamente através do uso de blending ("mistura"). Começamos por estudar aspectos relacionados com os mecanismos de transformação utilizados no processo de mistura visual, o que resultou na proposta de uma taxonomia de mistura visual, possível de ser utilizada para efeitos de estudo e produção de misturas visuais.Além do estudo de mistura visual, concebemos e implementámos vários sistemas: um sistema de geração automática de misturas visuais utilizando uma abordagem descritiva, com o qual realizamos um estudo com três conceitos (porco, anjo e cacto); um sistema de mistura visual baseado na combinação de emojis, o qual chamamos de Emojinating; e um sistema para geração de bandeiras, o qual chamamos de Moody Flags. Os resultados experimentais obtidos através de múltiplos estudos com utilizadores indicam que os sistemas desenvolvidos são capazes de representar conceitos abstratos e podem ser úteis em atividades de ideação e para fins de visualização.De modo geral, o objetivo do nosso estudo é explorar como a representação de conceitos pode ser feita por meio de mistura visual. Identificamos que a mistura visual deve ter uma base conceptual, promovendo o que chamamos de Visual Conceptual Blending ("mistura visio-conceptual"). Descrevemos um plano para a implementação de mistura visio-conceptual e identificamos recursos que podem auxiliar nessa tarefa, como é o caso de uma categorização de emoji direcionada para mistura visual.

The visual representation of concepts was the focus of multiple studies throughout history and is considered to be behind the origin of existing writing systems. Its exploration led to the development of several visual language systems and is a core part of graphic design assignments, such as icon design.As is the case with problems from other fields, the visual representation of concepts has also been addressed using computational approaches. In this thesis, we focus on the computational generation of visual symbols to represent concepts, specifically through the use of blending. We started by studying aspects related to the transformation mechanisms used in the visual blending process, which led to the proposal of a visual blending taxonomy that can be used in the study and production of visual blends.In addition to the study of visual blending, we conceived and implemented several systems: a system for the automatic generation of visual blends using a descriptive approach, with which we conducted an experiment with three concepts (pig, angel and cactus); a visual blending system based on the combination of emoji, which we called Emojinating; and a system for the generation of flags, which we called Moody Flags. The experimental results obtained through multiple user studies indicate that the developed systems are able to represent abstract concepts, which can be useful in ideation activities and for visualisation purposes.Overall, the purpose of our study is to explore how the representation of concepts can be done through visual blending. We identify that visual blending should be grounded on the conceptual level, leading to what we refer to as Visual Conceptual Blending. We delineate a roadmap for the implementation of visual conceptual blending and describe resources that can help in such a venture, as is the case of an emoji categorisation oriented towards visual blending.