Please use this identifier to cite or link to this item: https://hdl.handle.net/10316/92590
Title: deepSTAIl: Style Transfer for Artificial Illustrations
Other Titles: deepSTAIl: Transferência de Estilo para Illustrações Artificiais
Authors: Agria, João Manuel Pedro
Orientador: Menezes, Paulo Jorge Carvalho
Keywords: Transferência de Estilo com Redes Neuronais; Redes Convolucionais Neuronais; VGG; Rede Convolucional LSTM; Processamento de Vídeo; Neural Style Transfer; Convolutional Neural Networks; VGG; Convolutional LSTM Network; Video Processing
Issue Date: 28-Feb-2020
Serial title, monograph or event: deepSTAIl: Style Transfer for Artificial Illustrations
Place of publication or event: DEEC
Abstract: Transferência de estilo com redes neuronais é a versão mais recente do ramo de interpretações artísticas baseadas em imagens. Historicamente, algoritmos de estilização para interpretações não-realistas foram desenvolvidos especificamente em torno de certas primitivas. Por exemplo, uma interpretação baseada em pinceladas colocava pinceladas virtuais numa imagem, mas era desenvolvida cuidadosamente para um estilo particular de pincelada e revelava-se incapaz de simular um estilo arbitrário. Esta limitação inerente de flexibilidade, estilo e diversidade que alguns algoritmos de interpretações artísticas baseadas em imagens tinham era equilibrada pela sua capacidade de representar fielmente os estilos artísticos para os quais eram criados. A procura por novos algoritmos que respondessem a estas limitações resulta no aparecimento da transferência de estilo com redes neuronais. A introdução de redes neuronais convolucionais causou uma mudança profunda nesta velha área de investigação, e atraiu a atenção de círculos académicos e industriais.Esta dissertação tem como objectivo ultrapassar as limitações computacionais do algoritmo clássico de transferência de estilo treinando uma rede geradora para realizar a mesma tarefa centenas de vezes mais depressa. A continuação lógica de uma transferência de estilo mais rápida, que é a transferência de estilo em vídeo, é um tópico que será explorado nesta dissertação devido às suas variadas aplicações em cenários de realidade aumentada e de realidade virtual, e na indústria de animação. Para solucionar o problema de processamento de vídeo com redes neuronais, duas alternativas são consideradas: utilizar métodos do ramo de visão por computador para guiar o treino da rede, ou alterar a arquitectura da rede para aferir informação temporal e espacial ao mesmo tempo.
Neural style transfer is the most recent facet of image-based artistic rendering. Historically, stylization algorithms for non-photorealistic rendering were designed specifically around certain primitives. For example, stroke based rendering placed virtual strokes on an image, but was carefully designed for only one particular style of stroke and not capable of simulating an arbitrary style. This inherent limitation on flexibility, style and diversity some IB-AR algorithms had was balanced by their capability of faithfully depicting those certain prescribed styles. The demand for novel algorithms to address these limitations gives birth to the field of NST. The introduction of convolutional neural networks caused a paradigm shift in this long standing area of research, and attracted the attention of both academic and industrial circles. This dissertation has the goal of enabling classical neural style transfer to overcome its computational limitations by training a generative network to perform the same task hundreds of times faster. The logical continuation of faster neural style transfer, video style transfer, is a topic that will be explored due to its many possible applications in augmented reality and virtual reality scenarios, and in the animation industry. To solve the task of video processing with neural networks, two alternatives are considered: using computer vision methods to guide a network's training, or changing a networks architecture to take into account spatial and temporal information at the same time.
Description: Dissertação de Mestrado Integrado em Engenharia Electrotécnica e de Computadores apresentada à Faculdade de Ciências e Tecnologia
URI: https://hdl.handle.net/10316/92590
Rights: openAccess
Appears in Collections:UC - Dissertações de Mestrado

Files in This Item:
File Description SizeFormat
TeseMestradoJoaoPedroAgria_compressed.pdf4.02 MBAdobe PDFView/Open
Show full item record

Page view(s)

88
checked on Mar 26, 2024

Download(s)

54
checked on Mar 26, 2024

Google ScholarTM

Check


This item is licensed under a Creative Commons License Creative Commons