Manipulation of Tactile Perception of Objects in Mixed Reality

Abstract

After the resurgence of virtual reality as a research topic due to, among other advancements in technology, the improvement of head-mounted displays. Mixed reality falls in, naturally, as the next step in human, computer and environment interaction, blending the physical world with the digital one.Heretofore, human interaction with computers occurs through an assortment of devices, which range from trackballs to controllers. With mixed and virtual reality environments, most applications purely rely on proprioception for object interaction, which causes the manipulation challenging, in most cases. While the operation of traditional input methods sound inadequate for the interaction. This dissertation proposes the use of a real object, referred to as instrumented object, with pose tracking, passive haptics and wireless capabilities. The aforementioned systems determines the object's pose, by fusing a visual pose estimation granted by an external camera, with the pose handed over by strapdown inertial navigation employing a MEMS inertial sensor.The visual pose estimation is performed through the tracking of a set of fiducial markers placed on the surface of the instrumented object. The pose tracking in the inertial system is performed by double integration of the measured acceleration in the correct orientation frame, after gravity removal. The attitude tracking is performed by a complementary filter, which combines data from the gyroscope, accelerometer and magnetometer for a orientation estimate. In other to certify the performance of the inertial sensor, an analysis was conducted illustrating the sensor disturbances and a calibration was implemented to lessen these effects.The work hereby presented, concluded in the development of a functioning prototype. It provides an improvement for tactile stimulus which as been neglected until now, therefore enhancing user's immersion, contributing as a complementary tool for adoption within virtual and mixed reality scenarios.

Após o renascimento da realidade virtual como uma área de estudo e pesquisa devido a, entre outros avanços na tecnologia, o desenvolvimento nos capacetes de realidade virtual. A realidade mista é vista como uma natural sucessora, na interacção entre homem, computador e ambiente, misturando o mundo real com o mundo digital.Até aos dias de hoje, a interacção com computadores era feita através de uma miscelânea de dispositivos, que variam desde comandos a ratos. Com a chegada de ambientes de realidade mista e virtual, a interacção com objectos baseia-se, de maneira acentuada, em conceitos como o de propriocepção, o que na maioria dos casos torna a manipulação dos mesmos desafiante. Por outro lado, o uso de periféricos de entrada tradicionais parece inadequado.Esta dissertação propõe a utilização de um objecto, normalmente apelidado de objecto instrumentado, com capacidades hápticas passivas, de seguimento de posição e de comunicação sem-fios. O sistema anteriormente descrito, determina a sua posição através da combinação de uma estimação visual obtida por uma câmara exterior e de um sistema inercial colocado no seu interior.A estimação visual é feita através da identificação da posição de marcadores visuais colocados no exterior do objecto. O seguimento da posição do sistema inercial, é obtido através da dupla integração da aceleração no sistema referencial correcto após subtracção da gravidade. A orientação do sistema inercial é obtida através de um filtro complementar, que combina dados do acelerómetro, giroscópio e do magnetómetro. De maneira a certificar o desempenho do sensor inercial, foi conduzida uma análise demonstrando as perturbações do sensor e, em seguida, feita uma calibração ao mesmo para esbater estes efeitos.O trabalho apresentado culminou no desenvolvimento de um protótipo funcional. Este possibilita o estimulo de um dos cinco sentidos até aqui um pouco negligenciado, o tacto, aumentando desta forma a imersão do utilizador, contribuindo como uma ferramenta complementar ao desenvolvimento de cenários de realidade virtual e mista.