Generative Modeling for Automated Type Design

Abstract

O desenho tipográfico é frequentemente um processo moroso que requer competência, perícia e experiência. Para acelerar este processo foram já exploradas técnicas de aprendizagem de máquina para gerar fontes tipográficas completas baseadas num conjunto pequeno de amostras de glifos desenhados manualmente. Contudo, tais sistemas ainda não são práticos para ajudar à criação de fontes funcionais, uma vez que os seus resultados ou estão em formatos rasterizados, ou contêm demasiado ruído, exigindo por isso um grande esforço de pós-edição manual. Nesta dissertação, exploramos uma abordagem combinatória que utiliza técnicas generativas profundas, como Redes Adversárias Generativas e Modelos de Difusão para gerar fontes em formatos vetoriais, permitindo uma maior flexibilidade e controlo no processo de design. Para além disso, contribuímos com modificações inovadoras a sistemas generativos já existentes, produzindo melhorias quantitativas significativas. Estas modificações incluem novas funções de perda baseadas em atenção, que visam orientar melhor o processo de aprendizagem de modelos de geração de fontes. Estas melhorias são seguidas de um estudo da seleção de exemplos iniciais ótimos em cenários de múltiplas entradas. Também criámos uma das primeiras redes de difusão especializadas na geração de glifos, que resolve com sucesso muitos dos defeitos visuais inerentes aos métodos anteriores de rasterização. Estes contributos estão englobados numa aplicação online que permite aos utilizadores gerar tipos de letra completos que se aproximam do estilo e das características das amostras de glifos fornecidas, oferecendo uma ferramenta para que designers e profissionais do sector possam criar tipos de letra personalizados.

Typography design is often a time-consuming process that requires skill, expertise, and experience. To hasten this process, machine learning techniques have been explored to automatically build entire typographical fonts based on a few manually designed glyph samples. However, such existing systems are still not practical to aid the creation of functional fonts as their outputs are either in raster formats or too noisy, therefore requiring considerable manual post-edition. In this dissertation, we explore a combined approach using deep generative techniques such as Generative Adversarial Networks and Diffusion Models to generate fonts in scalable vector graphic formats, allowing for greater flexibility and control in the design process. Moreover, we put forth innovative contributions to existing generative systems, yielding significant quantitative improvements. We propose a new attention-based loss function that aims to better guide the learning process of font generation models. Such improvements are followed by the study of optimal input selection in multi-shot scenarios. We also devise one of the first diffusion networks specialized in glyph generation, which successfully tackles much of the visual defects inherent to previous raster methods. These contributions are embedded in a web application that allows users to generate complete fonts that closely match the style and features of the provided glyph samples, offering a tool for type designers and practitioners to create custom typefaces.