Please use this identifier to cite or link to this item: https://hdl.handle.net/10316/35538
Title: Coloração da Imagem Através do Som
Authors: Domingues, Samanta Andreia Silva 
Orientador: Cardoso, Fernando Amílcar Bandeira
Keywords: Sinestesia; Mapeamento som-cor; Extracção de características; Coloração; Fotografia
Issue Date: 11-Sep-2014
Serial title, monograph or event: Coloração da Imagem Através do Som
Place of publication or event: Coimbra
Abstract: Desde o século XIX que muitos artistas procuram explorar a ideia de sinestesia, encontrando uma relação entre duas sensações distintas. Vasilly Kandinsky (1866-1944) foi um dos artistas que estudou a união de sensações, explorando a harmonia entre a relação som-cor. Assim, utilizou expressões musicais para descrever as suas pinturas, nomeadamente “composições e “improvisos . Actualmente, com o avanço tecnológico, o consumo de imagens tem aumentado significativamente, sendo este aumento mais evidenciado com o aparecimento das câmaras digitais, acessíveis na maioria dos dispositivos tecnológicos. Com este projecto pretendeuse unir o som e a cor, através de um mapeamento, possibilitando a criação de uma imagem representativa de multisensorialidade, não só “materializando o que é visível, “congelando um instante, como também o que é audível, registando na fotografia as características sonoras do momento. Ao processo de mapeamento entre som e cor precedem-se duas etapas principais: extracção das características sonoras e classificação do som. Após o resultado da classificação é realizada a atribuição de cor à imagem. Para a realização deste projecto foi necessário construir um catálogo de sons, onde estes foram separados por categorias. Após esta etapa desenvolveu-se um programa para a extracção das principais características sonoras, para que estas fizessem parte constituinte de um conjunto de treino e teste. Este conjunto criado foi utilizado para a formação de um classificador de sons sendo, até à data, a taxa de sons correctamente classificados de 62%. Posteriormente, foi criada uma paleta de cores associada a cada uma das categorias, e desenvolvido um programa que procede à coloração da imagem, previamente transformada em tons de cinza. Com o desenvolvimento deste projecto resultou a criação de um protótipo de uma aplicação representativa de todo o processo desenvolvido. A aplicação permite ao utilizador a captura e upload de uma imagem em níveis de cinzento e de um som. Após a definição do som, a aplicação procede à sua classificação e, estando esta concluída, é apresentada ao utilizador a imagem resultante do processo de coloração. Com este processo concluído, o utilizador tem a opção de atribuir efeitos visuais de acordo com o som analisado, proporcionando uma visualização dinâmica do som sobre a imagem. Esta aplicação permite ao utilizador guardar uma imagem representativa da multisensorialidade, ou mesmo os ficheiros originais, som e imagem, para uma posterior utilização.
Since the 19th century, several artists have been trying to explore the synesthesia idea, finding a relation between two distinct sensations. Vasilly Kandinsky (1866-1944) was one of the artists that studied the union of sensations, exploring the harmony between sound and color. As a result, he used musical expressions to describe his paintings, namely “composition and “improvisation . Nowadays, with the technological advances, the image consumption has significantly increased. The availability of digital cameras in almost every technological device has made this evolution more visible. With this project, we intend to connect audition with vision by mapping sound and color. More concretely, our aim is the creation of a representative image of multisensoraliaty, by “materializing what is visible and what is audible, by “freezing an instant, registering in photograph the sound features of the moment. The process of mapping between sound and color develops in three main tasks: extraction of sound features, sound classification and ascribing color to the image, taking into account the result of the two previous tasks. To accomplish this, it was necessary to create a catalog of sounds organized in a number of different categories. Afterwards, we developed a program for the extraction of the main characteristics of sound, and used it to train-and-test a classifier. At the current stage of the research, we were able to obtain a success rate of 62%. Then, we associated a color palette to each category identified by the classifier, and developed a program that performs coloration of grayscale images according to the category of sound identified by the classifier. We present the prototype of an application that implements the above process. The application allows the user to capture and upload a grayscale image, and the surrounding sound. The sound is then classified, the application presents the image to the user, and then performs the coloration. After this process, the user has the option to add visual effects, dependent on the features of the analyzed sound, providing a dynamic visualization of the sound over the image. This application allows the user to save the final multisensorial artifact, as well as the originals files, sound and image, for a later utilization.
Description: Dissertação de Mestrado em Design e Multimédia apresentada à Faculdade de Ciências e Tecnologia da Universidade de Coimbra
URI: https://hdl.handle.net/10316/35538
Rights: openAccess
Appears in Collections:UC - Dissertações de Mestrado
FCTUC Eng.Informática - Teses de Mestrado

Files in This Item:
File Description SizeFormat
Coloracao da imagem atraves do som e Cor.pdf3.44 MBAdobe PDFView/Open
Show full item record

Page view(s) 50

387
checked on Mar 26, 2024

Download(s) 20

1,575
checked on Mar 26, 2024

Google ScholarTM

Check


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.