Using the body to help predict the brain: integration of body and brain physiological signals to decode visual attention and neural response to objects

Abstract

The perception of a sensory stimulus depends on our neural and physiological state at the time of the stimulus. For example, warning stimuli produce a state of expectation that facilitates perceptual decision-making. This state modulates cortical activity, activates the parasympathetic system, which causes the heart to slow down, and activates the sympathetic system, which is reflected in pupil dilation and changes in skin conductance. The goals of this study were two-fold: to investigate how this state of expectation is reflected in changes in body and neural physiological signals; and to check whether this pre-stimulus state modulates cortical processing of visual stimuli and, consequently, visual perception. We used a warned visual discrimination task where participants were required to determine if the presented visual stimulus consisted of a car or a house. Each trial started with an auditory warning cue that alerted participants of the upcoming stimulus. While participants were engaged in the task, we simultaneously acquired electroencephalography (EEG) and body physiological signals (electrocardiography, respiration, pupillography and eye movements). The study of the association between pre-stimulus EEG activity, body physiological signals and visual stimulus detection suggested that both neural activity and pre-stimulus physiological activity are associated with visual performance. To further study the effect of the neural and body state before stimulus onset on visual processing, we used machine learning and tested different types of classifiers – support vector machines and convolutional neural networks. Two types of analyses were conducted using the classifiers. Firstly, the classifiers were used to predict the participant's perception of the stimulus based on the analysis of the body’s preparation for the stimulus. Secondly, we analyzed the classifier’s ability to discriminate the category of the trial using post-stimulus EEG evoked activity, and determine whether the categorization ability was modulated by pre-stimulus physiological activity. The results suggest that the warning stimulus induces changes in the EEG signal and in body physiology. Between the warning and the presentation of the visual stimulus participants showed a negative shift in their EEG signal, cardiac deceleration, a decrease in saccade and blink rate possibly associated with motor inhibition, pupil dilation and an increase in the duration of the breathing cycle. Only pre-stimulus EEG, respiratory activity and pupil behavior contained information that enabled the classifier to predict stimulus detection. However, when combined with EEG activity, none of the physiological signals provided supplementary information to the classifier. Finally, we evaluated whether this pre-stimulus influence modulated stimulus coding and could help the classifier to discriminate between the two classes of images. Prior studies suggest that specific fluctuations in neural activity may favor recognition of different categories. While these studies focused on neural activity, we extended our analyses to include physiological activity as well. The results of this analysis suggest that pre-stimulus activity does not modulate the way the stimulus is decoded. Overall, the results suggest that pre-stimulus activity influences the recognition of upcoming stimuli but that the changes in body physiology observed are already reflected in the pre-stimulus EEG activity and do not modulate the neural representation of the stimulus.

A perceção de um determinado estímulo sensorial depende do nosso estado neural e fisiológico no momento do estímulo. Por exemplo, estímulos de alerta produzem um estado de expectativa que facilita a tomada de decisões percetivas. Esse estado modula a atividade cortical, ativa o sistema nervoso parassimpático, provocando uma desaceleração cardíaca, e ativa o sistema nervoso simpático, que é refletido pela dilatação da pupila e alterações na condutância da pele. Este estudo é composto por dois principais objetivos: investigar como o estado de expectativa é refletido em mudanças nos sinais fisiológicos do corpo e do cérebro; e verificar se esse estado pré-estímulo modula o processamento cortical de estímulos visuais e consequentemente, a sua perceção visual. Para tal, utilizámos uma tarefa de discriminação visual, na qual os participantes tinham de determinar se o estímulo visual apresentado consistia num carro ou numa casa. Cada trial começava com um sinal sonoro de alerta que informava os participantes sobre a aproximação do estímulo visual. Enquanto os participantes realizavam a tarefa, foram adquiridos simultaneamente eletroencefalografia (EEG) e sinais fisiológicos do corpo (eletrocardiografia, respiração, pupilografia e movimentos oculares). O estudo da associação entre a atividade EEG pré-estímulo, os sinais fisiológicos corporais e a deteção do estímulo visual sugeriu que tanto a atividade neural quanto a atividade fisiológica pré-estímulo estão associadas ao desempenho visual. Para estudar o efeito do estado neural e fisiológico anterior à apresentação do estímulo no processamento visual, usámos machine learning e testámos diferentes tipos de classificadores – support vector machines e convolutional neural networks. Foram realizados dois tipos de análises usando os classificadores. Primeiramente, os classificadores foram usados para prever a perceção do estímulo com base na análise da preparação do corpo para o estímulo. Em segundo lugar, analisamos a capacidade do classificador discriminar a categoria do trial, usando a atividade EEG pós-estímulo, e determinar se a capacidade de categorização foi modulada pela atividade fisiológica pré-estímulo. Os resultados sugerem que o estímulo de alerta induz alterações no sinal de EEG e na fisiologia corporal. Entre o estímulo de alerta e a apresentação do estímulo visual, os participantes apresentaram uma onda negativa no sinal de EEG, desaceleração cardíaca, diminuição na ocorrência de blinks e sacadas associada à inibição motora, dilatação da pupila e aumento da duração dos ciclos respiratórios. Apenas a atividade EEG pré-estímulo, a atividade respiratória e o comportamento da pupila continham informações que permitiram ao classificador prever a deteção do estímulo. Contudo, quando combinados com a atividade neural, nenhum dos sinais fisiológicos forneceu informações suplementares ao classificador. Por fim, avaliamos se esta influência pré-estímulo modulava a codificação do estímulo e se poderia ajudar o classificador a discriminar entre as duas classes de imagens. Estudos anteriores sugerem que determinadas flutuações na atividade neural podem favorecer o reconhecimento de diferentes categorias. Enquanto estes estudos se concentraram na atividade neural, nós decidimos ampliar as nossas análises para também incluir a atividade fisiológica. Os resultados desta análise sugerem que a atividade pré-estímulo não modula a forma como o estímulo é descodificado. No geral, os resultados sugerem que a atividade pré-estímulo influencia o reconhecimento de estímulos futuros, mas que as alterações observadas na fisiologia corporal já se refletem na atividade EEG pré-estímulo e não modulam a representação neural do estímulo.