Probabilistic Learning of Human Manipulation of Objects towards Autonomous Robotic Grasping

Abstract

Nesta tese estuda-se a forma como os seres humanos manipulam objectos do quotidiano, modelando-os de forma probabilística. Os modelos probabilísticos são também utlizados para a representação das tarefas e dos movimentos, com o objectivo de dotar mãos robóticas com elevado grau de autonomia. Um modelo volumétrico probabilístico centrado no objecto é proposto para representar a sua forma a partir de exploração táctil. O mapa volumétrico do objecto é também útil para a fusão de dados multimodais, mapas da região de contacto e força táctil durante uma pega estável. Este modelo é refinado através da segmentação do volume em componentes, aproximadas por superquádricas, e sobrepondo os pontos de contactos tendo em conta o contexto da tarefa. Uma nova técnica para identificação de objectos através de exploração táctil de objectos é proposta. Diferentes pontos de contacto são associados a forma de um objecto através de modelos de misturas, permitindo a identificação de um objecto através de um conjunto de configurações base que a mão toma durante a exploração. Os seres humanos destacam-se quando se trata de tarefas de manipulação do quotidiano, sendo capaz de aprender novas habilidades ou adaptar-se a novos e complexos ambientes. Esta capacidade resulta de uma aprendizagem pessoal, mas também da observação de pessoas experientes. Para que mãos robóticas adquiram essa destreza, é necessária uma capacidade cognitiva, que as permitam lidar com as incertezas. Através da extracção de informação multisensorial do ambiente, o conhecimento de manipulações anteriores pode ser generalizado para a aplicação em diferentes contextos. Baseado nesta estratégia, as demonstrações de tarefas de manipulação são capturadas, tanto do ponto de vista do objecto como o da mão. O sistema de aquisição multimodal captura poses da mão e de cada um dos dedos, as medidas de flexão dos dedos, a força táctil distribuída na mão, imagens RGB, imagens de profundidade, e também a pose do objecto. Estes dados permitem modelar classes de tarefas a partir de conjuntos de demonstrações repetidas da mesma tarefa, para que um modelo probabilístico generalizado possa ser derivado e usado no planeamento de tarefas por parte de sistemas artificiais. Nesta tese também se aborda a síntese da configuração geométrica da mão em tarefas de manipulação, baseados no conhecimento adquirido através das demonstrações humanas. Um processo de aprendizagem é desenvolvido para quantificar as distribuições probabilísticas e a incerteza. Estas distribuições são combinadas com conhecimento prévio com o objectivo de se inferir a forma correcta de agarrar o objecto, dada uma nuvem de pontos de um objecto desconhecido. O método proposto é dividido em dois processos: decomposição do objecto e a síntese da configuração geométrica da mão para agarrar um objecto. A decomposição do objecto em primitivas permite que se usem semelhanças de observações passadas para novos objectos desconhecidos. As acções são associadas com as várias primitivas de um objecto, para que se determinem as regiões do objecto nas quais os objectos possam ser agarrados. A pose da mão relativa ao objecto é calculada para a fase de aproximação e contacto com o alvo. Os resultados apresentados nesta tese mostram que a exploração táctil de um objecto é útil para modelar e representar a forma do objecto, permitindo a sua identificação através da configuração geométrica da mão durante a exploração. As características extraídas a partir das demonstrações são suficientes para distinguir padrões chave que caracterizam cada etapa da tarefa de manipulação, desde a simples movimentação do objecto, onde a mesma pega é aplicada durante a manipulação (manipulação homogénea), até interacções mais complexas, tais como reorientação do objeto, refinamento da pose ou rotação sequencial. A nossa técnica de síntese de configurações da mão para agarrar um objecto foi validada numa plataforma robótica real. Os resultados demonstram que a segmentação de objectos em primitivas, permite identificar as regiões mais adequadas para os agarrar, tendo uma melhor performance que as aproximações analíticas. A aprendizagem através de demonstrações humanas, bem como as características extraídas de objectos, mostram vantagens na geração de muita autonomia de mão robótica permitindo a manipulação de novos objectos.

In this thesis we study how humans manipulate everyday objects, and construct a probabilistic representation model for the tasks and objects useful for autonomous grasping and manipulation by robotic hands. An object-centric probabilistic volumetric model is proposed to represent the object shape acquired by in-hand exploration. The object volumetric map is also useful to fuse the multimodal data and map contact regions, and tactile forces during stable grasps. This model is refined by segmenting the volume into components approximated by superquadrics modeling, and overlaying the contact points used taking into account the task context. A novel approach for object identification by human in-hand exploration of objects is proposed. Different contact points are associated to an object shape, modeled by mixture models, allowing the object identification through the set of hand configurations used during the in-hand exploration. Humans excel when dealing with everyday manipulation tasks, being able to learn new skills, and to adapt in different complex environments. This results from a lifelong learning, and also observation of other skilled humans. To obtain similar dexterity with robotic hands, cognitive capacity is needed to deal with uncertainty. By extracting relevant multi-sensor information from the environment (objects), knowledge from previous grasping tasks can be generalized to be applied within different contexts. Based on this strategy, human demonstrations of manipulation tasks are recorded from both the human hand and object points of view. The multimodal data acquisition system records human hand and fingers 6D pose, finger flexure, tactile forces distributed on the inside of the hand, color images and stereo depth map, and also object 6D pose. From the acquired data, relevant features are detected concerning motion patterns, tactile forces and hand-object states. This will enable modeling a class of tasks from sets of repeated demonstrations of the same task, so that a generalized probabilistic representation is derived to be used for task planning in artificial systems. In this research we also address an artificial system that relies on knowledge from previous human object grasping demonstrations to accomplish the objective of robot grasp synthesis for unknown objects. A learning process is adopted to quantify probabilistic distributions and the uncertainty. These distributions are combined with preliminary knowledge towards inference of proper grasps given a point cloud of an unknown object. We designed a method that comprises a twofold process: object decomposition and grasp synthesis. The decomposition of objects into primitives is used, across which similarities between past observations and new unknown objects can be made. The grasps are associated with the defined object primitives, so that feasible object regions for grasping can be determined. The hand pose relative to the object is computed for the pre-grasp and the selected grasp. The results presented in this thesis show that the in-hand exploration of object is useful to model and represent the object shape allowing its identification by the hand configurations during the exploration. The features extracted from human grasp demonstrations are sufficient to distinguish key patterns that characterize each stage of the manipulation tasks, ranging from simple object displacement, where the same grasp is employed during manipulation (homogeneous manipulation) to more complex interactions such as object reorientation, fine positioning, and sequential in-hand rotation (dexterous manipulation). We have validated our approach of grasp synthesis on a real robotic platform (a dexterous robotic hand). Results show that the segmentation of the object into primitives allows identifying the most suitable regions for grasping based on previous learning. The proposed approach provides suitable grasps, better than more time consuming analytical and geometrical approaches. Learning from human grasp demonstrations along with features extracted from objects is a useful way to endow a robotic dexterous hand with enough skills to autonomously grasp and manipulate novel objects.