Coloração da Imagem Através do Som

Abstract

Desde o século XIX que muitos artistas procuram explorar a ideia de sinestesia, encontrando uma relação entre duas sensações distintas. Vasilly Kandinsky (1866-1944) foi um dos artistas que estudou a união de sensações, explorando a harmonia entre a relação som-cor. Assim, utilizou expressões musicais para descrever as suas pinturas, nomeadamente “composições e “improvisos . Actualmente, com o avanço tecnológico, o consumo de imagens tem aumentado significativamente, sendo este aumento mais evidenciado com o aparecimento das câmaras digitais, acessíveis na maioria dos dispositivos tecnológicos. Com este projecto pretendeuse unir o som e a cor, através de um mapeamento, possibilitando a criação de uma imagem representativa de multisensorialidade, não só “materializando o que é visível, “congelando um instante, como também o que é audível, registando na fotografia as características sonoras do momento. Ao processo de mapeamento entre som e cor precedem-se duas etapas principais: extracção das características sonoras e classificação do som. Após o resultado da classificação é realizada a atribuição de cor à imagem. Para a realização deste projecto foi necessário construir um catálogo de sons, onde estes foram separados por categorias. Após esta etapa desenvolveu-se um programa para a extracção das principais características sonoras, para que estas fizessem parte constituinte de um conjunto de treino e teste. Este conjunto criado foi utilizado para a formação de um classificador de sons sendo, até à data, a taxa de sons correctamente classificados de 62%. Posteriormente, foi criada uma paleta de cores associada a cada uma das categorias, e desenvolvido um programa que procede à coloração da imagem, previamente transformada em tons de cinza. Com o desenvolvimento deste projecto resultou a criação de um protótipo de uma aplicação representativa de todo o processo desenvolvido. A aplicação permite ao utilizador a captura e upload de uma imagem em níveis de cinzento e de um som. Após a definição do som, a aplicação procede à sua classificação e, estando esta concluída, é apresentada ao utilizador a imagem resultante do processo de coloração. Com este processo concluído, o utilizador tem a opção de atribuir efeitos visuais de acordo com o som analisado, proporcionando uma visualização dinâmica do som sobre a imagem. Esta aplicação permite ao utilizador guardar uma imagem representativa da multisensorialidade, ou mesmo os ficheiros originais, som e imagem, para uma posterior utilização.

Since the 19th century, several artists have been trying to explore the synesthesia idea, finding a relation between two distinct sensations. Vasilly Kandinsky (1866-1944) was one of the artists that studied the union of sensations, exploring the harmony between sound and color. As a result, he used musical expressions to describe his paintings, namely “composition and “improvisation . Nowadays, with the technological advances, the image consumption has significantly increased. The availability of digital cameras in almost every technological device has made this evolution more visible. With this project, we intend to connect audition with vision by mapping sound and color. More concretely, our aim is the creation of a representative image of multisensoraliaty, by “materializing what is visible and what is audible, by “freezing an instant, registering in photograph the sound features of the moment. The process of mapping between sound and color develops in three main tasks: extraction of sound features, sound classification and ascribing color to the image, taking into account the result of the two previous tasks. To accomplish this, it was necessary to create a catalog of sounds organized in a number of different categories. Afterwards, we developed a program for the extraction of the main characteristics of sound, and used it to train-and-test a classifier. At the current stage of the research, we were able to obtain a success rate of 62%. Then, we associated a color palette to each category identified by the classifier, and developed a program that performs coloration of grayscale images according to the category of sound identified by the classifier. We present the prototype of an application that implements the above process. The application allows the user to capture and upload a grayscale image, and the surrounding sound. The sound is then classified, the application presents the image to the user, and then performs the coloration. After this process, the user has the option to add visual effects, dependent on the features of the analyzed sound, providing a dynamic visualization of the sound over the image. This application allows the user to save the final multisensorial artifact, as well as the originals files, sound and image, for a later utilization.