The control of Baxter Robot, and its interaction with objects using force sensitive AR10 hands, guided by Kinect.

Abstract

A minha tese foi a primeira a estar em contacto com, e pôr a funcionar, o robô Baxter adquirido pelo Departamento de Engenharia Electrotécnica e de Computadores da Universidade de Coimbra. Nesta tese serão apresentados os primeiros problemas que surgiram na utilização do robô e as suas limitações. Com base nestas mesmas limitações, foi feito um estudo em que foram testadas implementações de controladores para os braços do robô por torque e por velocidade. Estes controladores incluem o controlo da posição do “end-effector”, da sua orientação, e da posterior disposição das suas juntas. Para este fim, tirei partido do espaço nulo das equações matemáticas que regem o braço do robô com “7 DOF”. Estes controladores foram testados de maneira a atuarem em simultâneo, e hierarquicamente, durante o seguimento de diversas trajetórias. Depois do estudo da performance das implementações dos controladores, foram colocadas no “end-effector” do robô mãos robóticas AR10; as quais também fui o primeiro a funcionar com, e a deparar-me com os primeiros problemas das mesmas. De maneira a dar a estas mãos “feedback” de pressão nos dedos, estas foram integradas com sensores de pressão moles fabricados, de propósito para o efeito, no departamento. Com estes sensores, em conjugação com as mãos, foram feitos testes em que os sensores permitiram à mão agarrar objectos com a devida força, sem os pressionar demais. De maneira ao robô ser mais autónomo, e descobrir por si só a localização de objectos a agarrar, foi integrada uma Kinect v1.0 com o propósito de encontrar objectos no espaço cartesiano do robô. Depois dos objectos serem encontrados com base na sua côr, foram feitos testes em que o robot tenta pegar num objeto no espaço, e tenta pousá-lo numa zona desejada.

My thesis was the first one to get in contact with, and to work with, Baxter robot acquired by the Department of Electro-techniques and Computer Engineering of the University of Coimbra. In this thesis there will be presented the first problems that came with the first utilization of the robot, and its limitations. Based on this limitations, I conducted a study that tested the implementation of controllers for Baxter arms, using torque and velocity. These controllers include the control of the robot end-effector position, its orientation, and the posterior layout of of the joints of the arm. In order to do this, I took advantage of the null-spaces allowed by the mathematical equations that govern the 7 DOF robot arms. These controllers were tested so that they could act simultaneously and hierarchically during the following of diverse desired trajectory. After the studies on the performances of these controllers, there were placed AR10 robotic hands on the robot’s end-effector; which I was also the first one to work with and to encounter the first problems that came by using them. In order to “give” these hands some kind of pressure feedback on the fingers, they were integrated with soft electronic sensors, made specifically for the job, in the department. With these sensors “connected” to the hands, there were made tests where the sensors allowed the hand to grasp objects with the required force, without squishing them too hard. In order to make the robot more autonomous, and find for itself the location of the objects to be grasped, there was also integrated a Kinect v1.0 sensor, with the purpose of finding objects in the Cartesian space of the robot. After the objects have been found based on their color, there were made tests in which the robot tries to grab an object in space, and places it in a desired landing site.