Ultrasound Tracking and Closed-Loop Control of Magnetically-Actuated Biomimetic Soft Robot

Abstract

Soft robots atuados por magnetismo podem fornecer potenciais aplicações médicas e revolucionar a área de intervenções minimamente invasivas. A sua natureza mole e sem fios permite a navegação para alvos de difícil alcance do corpo humano sem danificar os tecidos circundantes. Além disso, a atuação magnética é livre de radiação, não é prejudicial para os seres humanos e elimina a necessidade de ter uma fonte de energia a bordo do robô. Apesar dos recentes desenvolvimentos no projeto e atuação deste tipo de robôs, existem alguns desafios, como localização, perceção e planeamento de caminhos, a serem superados para poderem realizar tarefas em ambientes desafiadores.O objetivo principal do projeto é alcançar o controlo de movimento em malha fechada e o planeamento de um soft robot, o Milípede, usando imagens de ultrassom. Neste estudo, integramos estratégias de localização e controlo num sistema de atuação magnética para direcionar com segurança o soft robot para um alvo. Em relação ao controlo, um controlador Proporcional Integrativo (PI) é usado para calcular as velocidades lineares e angulares para conduzir o robô pelo espaço de trabalho evitando obstáculos. Consoante as velocidades, o campo magnético correspondente é aplicado, utilizando um conjunto com seis bobinas eletromagnéticas. A localização é obtida primeiro de uma câmara a olhar para o espaço de trabalho como prova de conceito dos métodos de controlo e planeamento de movimento. Em seguida, comparamos o desempenho entre dois algoritmos de ultrassom, um geométrico e uma abordagem de aprendizagem profunda, para estimar a pose do Milípede. Por fim, o controlo de circuito fechado do soft robot é obtido, utilizando imagens de ultrassom. Os resultados mostram a possibilidade de usar os soft robots para realizar tarefas de forma autónoma em cenários clinicamente relevantes.

Untethered magnetically actuated soft robots can provide potential medical applications and revolutionize the field of minimally invasive interventions. Its soft, untethered nature allows the navigation to difficult-to-reach targets of the human body without damaging the surrounding tissues. Moreover, magnetic actuation is radiation-free, not harmful for humans and removes the need to have an on-board source of energy in the robot. Despite the recent developments in the design and actuation of soft robots, there are some challenges, such as localization, perception, and path planning, to overcome so that they can perform tasks in challenging environments.The main goal of the current project is to achieve closed-loop motion control and planning of a soft robot, the Millipede, using ultrasound imaging technique. In this study, we integrate localization and control strategies into a magnetic actuation system to safely steer the untethered soft robot to a target. Regarding the control, a Proportional Integrative (PI) controller is used to calculate the linear and angular velocities to steer the robot through the workspace while avoiding obstacles. According to the velocities, the corresponding magnetic field is applied, using a setup with six electromagnetic coils. The localization is first obtained from a top-view camera as a proof-of-concept of the motion control and planning methods. Then, we compare the performance between two ultrasound algorithms, geometric and a deep learning approach, to estimate the pose of the Millipede. Finally, the closed-loop control of the untethered soft robot is achieved using ultrasound imaging. The results show the possibility of using the soft robots to autonomously perform tasks in clinically relevant scenarios.