Jack-in-the-Mug: An interface to assist in the production of Foley sound effects

Abstract

Durante a observação de um filme ou outro conteúdo audiovisual, a imagem sobressai mais do que o som, mas este contém detalhes que não podem ser transmitidos através da imagem. O som oferece informação pertinente de ações fora de cena e tem a capacidade de imergir no público a atmosfera da cena. A necessidade de uma boa qualidade de som é bastante apreciada e respeitada pela comunidade cinematográfica, inclusivamente os seus profissionais são reconhecidos através de prémios. Os sons gravados durante a filmagem de uma cena de um filme raramente estão presentes na montagem final. Contrariamente, os sons presentes num filme, como os sons das personagens e os sons do ambiente, são criados e compostos por profissionais através de várias técnicas. Uma das técnicas mais predominantes é chamada de Foley, homónima a um dos primeiros praticantes - Jack Foley. O método consiste na recriação e sincronização de sons por artistas especializados com o apoio visual da cena num estúdio de produção áudio. Os artistas utilizam um leque extenso de adereços para recriar os sons pretendidos.Jack-in-the-Mug é uma interface física interativa de suporte à recriação e sincronização de efeitos de sons para uma cena de um filme, uma animação de um videojogo ou outros propósitos num contexto audiovisual. O objetivo da interface é facilitar a produção de efeitos sonoros Foley. Para tal, a interface permite o utilizador gerar diferentes sons através de um único objeto e emula o método convencional de interação com os diferentes adereços. A presente dissertação reporta a conceptualização, implementação e experimentação da interface de produção de sons Foley.

During the observation of a movie or other audiovisual media, the image stands out more than the sound, but the sound contains details that cannot be transmitted by the image. Sound gives relevant information on off-screen actions and has the capability to immerse the audience in the scene’s atmosphere. The necessity of having a good sound quality is respected and appreciated by the film industry, being sound professionals recognized through various awards. The sounds recorded while a movie scene is being filmed are rarely present in the final montage. Instead, the sounds present in a movie, such as the characters sounds and the environment sounds, are created and composed by professionals through various techniques. One of the most predominant techniques is called Foley, homonym to one of the first practitioners - Jack Foley. The method consists on the recreation and synchronization of sounds with visual assistance of the scene by specialized artists in an audio production studio. The artists use a broad collection of props to recreate the intended sound. Jack-in-the-Mug is an interactive physical interface to support the recreation and synchronization of sound effects in a scene of a movie, an animation in a video game or other purposes in the audiovisual media context. The interface’s objective is to facilitate the production of Foley sound effects by allowing the user to generate different sounds with a single object and by emulating the conventional method with the different props. The present dissertation reports the conceptualization, implementation and experimentation of this interface for Foley sound production.