Unimodalidade e multimodalidade nas representações dinâmicas: formatos visuais, auditivos e audiovisuais

Abstract

O presente estudo investiga o grau em que propriedades temporais e espaciais do som podem influenciar o processamento visual do movimento em tarefas de localização espacial, recorrendo a um paradigma de Momento Representacional (MR) intermodal. Os participantes localizaram a última posição percebida de um alvo visual em movimento que imprevistamente desaparecia, ao mesmo tempo que sons contínuos, mantendo relações temporais e/ou espaciais variáveis com o início (onset) e o fim (offset) do movimento visual, eram apresentados por auscultadores. As tarefas de MR visual com movimentos horizontais dão tipicamente lugar a erros de localização para diante, no sentido do movimento (deslocamento M), e para baixo, ortogonais à direção do movimento (deslocamento O, alinhado com a direção da gravidade). Examinar a forma como estes deslocamentos são modulados pela informação auditiva convoca várias questões em aberto no domínio do processamento audiovisual (AV). Primeiro, a de saber se a audição pode afetar a localização espacial de estímulos dinâmicos em visão central (a evidência encontra-se limitada a estímulos estáticos degradados). Segundo, a de saber se os sons podem modular a localização visualmente percebida de um alvo móvel através da informação temporal, espacial, ou de ambos os tipos de informação (apenas efeitos temporalmente mediados foram demonstrados). Por fim, a de saber se as pistas auditivas podem induzir efeitos de melhoria audiovisual na localização de estímulos dinâmicos visuais (apenas enviesamentos de atração foram reportados em estudos anteriores de RM audiovisual). O estudo compreendeu três tarefas contrabalanceadas obedecendo a um mesmo desenho fatorial onset (disparidades AV no início) × offset (disparidades AV no final) mas diferindo no tipo de pista auditiva fornecida: temporal (tarefa T), espacial (tarefa E) e espácio-temporal (tarefa ET). Uma manipulação adicional envolveu o tamanho e número das disparidades AV, maiores (de modo a aumentar a sua saliência percetiva) e em menor número (de modo a aumentar a sua fiabilidade) do que nos estudos anteriores. A hipótese subjacente a esta manipulação foi a de que poderia promover a relevância percebida para a tarefa das contingências AV e mobilizar mecanismos intermodais distintos dos que suportam os enviesamentos de atração para o som. O seguimento oculomotor dos alvos foi permitido, de modo a assegurar que a resposta de localização ocorria em condições de visão central. Os resultados relativos ao deslocamento M documentaram consistentemente a capacidade dos sons para modular o MR visual por meio de pistas auditivas temporais (tarefa T) e espaciais (tarefa E). Este efeito foi atribuível às disparidades AV no offset, apresentando as disparidades no onset efeitos nulos em todas as tarefas. Ao invés de enviesamentos de atração, foi observado um benefício audiovisual generalizado (localização mais exata do alvo nas condições AV). A hipótese de que disparidades AV mais salientes e em menor número poderiam promover a sua relevância para a tarefa e induzir uma alteração qualitativa do padrão dos efeitos modulatórios foi assim suportada. A localização nas condições AV da tarefa E não correspondeu a uma combinação da informação posicional da visão e da audição (avaliadas em ensaios visuais intercalados e numa tarefa suplementar com alvos auditivos unimodais), excluindo o modelo Bayesiano da integração multissensorial como uma explicação da melhoria AV. No conjunto, os resultados mostraram-se favoráveis a uma interpretação baseada numa articulação flexível, mediada pela tarefa, entre processamento multissensorial e atenção endógena intermodal. Os resultados relativos ao deslocamento O ilustraram o típico erro para baixo nas condições audiovisuais, visuais intercaladas e auditivas unimodais. A juntar ao paralelismo global do MR nas duas modalidades, a semelhança no deslocamento O reforça a perspetiva de que mecanismos amodais comuns (possivelmente preditivos) subjazem em parte à localização de alvos dinâmicos na visão e na audição. Não se observaram benefícios AV no deslocamento O. Diferentemente do deslocamento M, o offset percebido nas condições AV das tarefas E e ET pode ser modelizado como uma média ponderada da informação posicional da visão e da audição, envolvendo uma ponderação não ótima (à luz de um critério Bayesiano). Não se verificaram correlações entre a magnitude dos deslocamentos M e O. Embora a independência estatística não exclua a possibilidade de mecanismos comuns, é em todo o caso contrária a mecanismos partilhados que prevejam correlações entre os dois deslocamentos. Vários dos resultados encontrados contêm implicações práticas para a reabilitação compensatória de défices do processamento visual do movimento, brevemente discutidas na secção final da dissertação.

The present study examines the extent to which temporal and spatial properties of sound modulate visual motion processing in spatial localization tasks. To that end, it resorts to a crossmodal Representational Momentum (RM) paradigm. Participants were asked to locate the place at which a moving visual target unexpectedly vanished, while continuous sounds were presented under variable temporal and/or spatial relationships with the onset and offset of visual motion. The typical result in visual RM tasks with horizontal motions is a forward mislocalization in the direction of motion (M displacement), along with some mislocalization downward, orthogonal to motion direction (O displacement, aligned with gravity for horizontal motions). Studying the way these displacements, particularly the first one, are modulated by auditory information, can bring together several open issues in the realm of audiovisual processing. First, whether audition can influence vision in spatial tasks with dynamic stimuli under central vision (clear answers exist only for degraded static visual stimuli). Second, whether sounds can modulate the perceived location of a moving visual stimulus by means of temporal, spatial, or both kinds of auditory cues (only temporally-mediated effects have been demonstrated). Third, whether auditory cues can also lead to audiovisual enhancement in the visual localization of dynamic stimuli and under which conditions (only sound attraction biases have been reported in previous RM studies). These issues were addressed by way of three counterbalanced tasks obeying a similar onset (AV disparities at the onset) × offset (AV disparities at the offset) factorial design, but differing in the type of auditory cues provided: temporal only (task T), spatial only (task S), spatiotemporal (task ST). An additional core manipulation concerned the size and number of AV disparities, which were larger (expectedly increasing their salience) and fewer in number (expectedly increasing their reliability) than in prior studies. This was intended to promote the perceived relevance of AV contingencies to the task and thereby potentially tap into crossmodal mechanisms other than those underpinning sound attraction biases. Oculomotor tracking of the target was allowed, ensuring that localization took place in central vision. Results for M displacement consistently supported the ability of sounds to modulate visual RM through both temporal (task T) and spatial (task E) auditory cues. This effect was entirely due to AV disparities at the offset, with null results for those at the onset across all tasks. In contrast to previous studies, widespread audiovisual enhancement (more accurate localization of the target) was observed, rather than sound attraction biases. This concurred with the expectation that using more salient disparities in fewer numbers could promote their task-relevance and qualitatively shift the pattern of modulatory effects. Localization in AV conditions of task E could not be derived as a combination of visual and auditory positional information (assessed with visual-only trials and unimodal auditory targets in a supplementary task), excluding Bayesian-inspired models of multisensory integration as an account. Taken together, the findings were mostly suggestive of a task-dependent, flexible interplay between endogenous crossmodal attention and multisensory processing. Results for O displacement disclosed the typical downward mislocalization both in audiovisual, visual-only and auditory unimodal condition. Adding to the overall parallelism of visual and auditory RM, this strengthens the view that common amodal mechanisms (possibly predictive) underlie to some extent the localization of dynamic targets in both vision and audition. No AV enhancement was found for O displacement. Differently from M displacement, the perceived offset in AV conditions of tasks E and ET could be modeled by a weighted average of visual and auditory positional information, although with non-optimal weights (as predicted by optimal Bayesian approaches). No correlations between the magnitude of M and O displacements were found. While statistical independence does not rule out the possibility of common mechanisms, it speaks against shared mechanisms that would predict correlations between the two types of displacement. Several of the outcomes reported in the dissertation may hold practical implications for the compensatory rehabilitation of visual motion processing, which are briefly outlined in the final discussion.