Towards Contactless Polygraphy - Amplifying small signals in a video to extract information invisible to the human eye

Abstract

The constant transformation of our surroundings often goes unnoticed, but it occurs nonetheless. Imperceptibly, our skin undergoes slight color changes as our hearts beat, and our heads subtly move with each breath. While these alterations may escape our eyes, they are captured by cameras. We can magnify the variation in those small signals to extract important information such as heartbeat rate, which in turn can be used in many real-life applications such as polygraph tests. The polygraph was devised as a way to measure physiological changes in a person when asked pressing questions, which can indicate deceit. The physiological changes that are measured are: heartbeat rate, respiration, skin galvanic response and blood pressure.This thesis aimed to explore the feasibility of using video information to extract heartbeat rates, replacing the traditional sensors that are commonly used to extract this information. Through a series of experiments involving videos of people standing still, and a video of a real-life suspect that was lying, it was consistently possible to enhance the color changes that occur in a person's skin when their heartbeats. Though it was not possible to develop a fully-functioning lie detector test, this thesis proves that the motion and color magnification technique is reliable even when applied to videos of individuals engaged in speech and movement. It also proved that it is an interesting solution that has the potential of revolutionizing how interviews and interrogations are conducted.

O mundo à nossa volta está em constante mudança. Num piscar de olhos, nossas peles mudam subitamente de cor com o batimento de nossos corações, e nossas cabeças movem-se minimamente com cada respiração. Enquanto essas nuances escapam nossa visão humana, câmaras conseguem capturá-las. Amplificando os sinais obtidos pela câmara, é possível extrair informações que podem ser utilizadas em situações da vida real, como o polígrafo. O polígrafo, ou detetor de mentiras, é um aparelho que mede mudanças fisiológicas em um indivíduo para detetar mentiras. Para realizar esse teste, acoplam-se sensores ao indivíduo que está sendo entrevistado para medir batimento cardíaco, respiração, pressão sanguínea e condutividade da pele.O objetivo dessa tese é explorar a viabilidade da utilização de informação obtida por vídeo para extrair informação como batimento cardíaco, substituindo sensores que são usados tradicionalmente. Através de uma série de experimentos, foi possível de forma consistente amplificar as mudanças na cor de pele de várias pessoas diferentes consoante o batimento de seus corações. Apesar de não ter sido possível desenvolver um detetor de mentiras que pudesse ser utilizado em prática, essa tese mostrou que é possível utilizar a técnica de amplificação de mudanças de cor mesmo quando essa técnica é utilizada em vídeos de pessoas em situações da vida real, a falar e a se movimentar. Essa tese também provou que essa técnica é uma solução interessante e que tem o potencial de revolucionar como interrogatórios são conduzidos.