Automated 3D object recognition in underwater scenarios for manipulation

Abstract

In recent decades, the rapid development of intelligent vehicle and 3D scanning tecnologies has led to a growing interest in applications based on 3D point data processing, with

many applications such as augmented reality or robot manipulation and obstacle avoidance,

scene understanding, robot navigation, tracking and assistive technology among

others, requiring an accurate solution for the 3D pose of the recognized objects. Thus object

recognition is becoming an important topic in computer vision, where machine vision

and robotics techniques are becoming key players.

In this thesis work, the main objective is to develop a semantic mapping method by

integrating a 3D object recognition pipeline with a feature-based SLAM system, in order

to assist autonomous underwater interventions in the near future.

To this end, the work proposed in this paper targets three axes. First, it aims to

compare the performance of 3D global descriptors within the state of the art, focusing on

those based on point clouds and targeted at real-time object recognition applications. For

this purpose, we selected a set of test objects representative of Inspection, Maintenance

and Repair (IMR) applications and whose shape is usually known a priori. Their CAD

models were used to: 1) create a data base of synthetic object views used as a priori

knowledge, and 2) simulate the point clouds that would be gathered during the scanning

under realistic conditions, with added noise and varying resolution. Extensive experiments

were performed with both virtual scans and real data collected with an AUV equipped

with a fast laser scanner developed at our research centre.

The second goal of our work was to use a real-time laser scanner mounted on an AUV

to detect, identify, and locate objects in the robot’s environment, with the aim of allowing

an intervention Autonomous Underwater Vehicle (I-AUV) to know what manipulation

actions could be performed on each object. This goal was tackled by the design and

development of a 3D object recognition method for uncolored point clouds (laser scans)

using point features. The algorithm uses a database of partial views of the objects stored

as point clouds. The recognition pipeline includes 5 stages: 1) Plane segmentation, 2)

Pipe detection, 3) Semantic Object-segmentation, 4) Feature-based Object Recognition

and 5) Bayesian estimation. To apply Bayesian estimation, it is necessary to track objects

across scans. For this purpose, the Inter-distance Joint Compatibility Branch and Bound

(IJCBB) data association algorithm was proposed based on the distances between objects.

The performance of the method was tested using a dataset of the inspection of a pipe

infrastructure made of PVC objects connected by pipes. The structure is representative of

those commonly used by the offshore industry. Experimental results show that Bayesian

estimation improves the recognition performance with respect to the case where only the descriptor is used. The inclusion of semantic information about object pipe connectivity

further improves recognition performance.

The final goal of the thesis, consists of integrating the 3D object recognition system

with a feature-based SLAM system to implement a semantic map providing the robot

with information about the location and the type of objects in its surroundings. The

SLAM improved both the accuracy and reliability of pose estimates of the robot and the

objects. This is especially important in challenging scenarios where significant changes in

viewpoint and appearance arise

A les darreres dècades, el ràpid desenvolupament de vehicles intel·ligents i de les tecnologies d’escaneig 3D han contribuït a augmentar l’interès en les aplicacions basades en processament de núvols de punts 3D, amb aplicacions com la realitat augmentada, la manipulació robòtica, l’evasió d’obstacles, la comprensió d’escenes, la navegació robòtica, el seguiment d’objectes i la tecnologia d’assistència, etc., que requereixen una soluci´o precisa de la posició 3D i l’orientació d’un objecte. Per tant, el reconeixement d’objectes

s’està convertint en un tema, on la visió per computador i les tècniques robòtiques esdevenen protagonistes clau. En aquest treball de tesi, l’objectiu principal és desenvolupar

un mètode per a la construcció de mapes semàntic mitjançant la integració d’una cadena

de processament per al reconeixement d’objectes 3D, amb un sistema de SLAM basat en

característiques, amb l’objectiu d’ajudar a les futures intervencions submarines. Per això,

el treball proposat en aquesta tesi es divideix en tres eixos principals. El primer té com a

objectiu comparar el rendiment de descriptors globals d’última generació, centrant-se en

els basats en núvols de punts 3D i destinats a aplicacions de reconeixement d’objectes en

temps real. Per a aquest objectiu, s’ha seleccionat un conjunt d’objectes de prova representatius d’aplicacions d’inspecció, manteniment i reparació (IMR), la forma dels quals es coneix a priori. Els seus models CAD s’han utilitzat per a: 1) crear una base de dades

amb les vistes sintètiques dels objectes, i 2) simular els núvols de punts que adquiriria,

en condicions realistes, un escàner làser incloent soroll sintètic i simulant diferents resolucions.

S’han dut a terme experiments tant a partir d’escaneigs virtuals com de dades

reals recopilades amb un AUV equipat amb un escàner làser de temps real desenvolupat

al nostre centre de recerca. El segon objectiu del nostre treball va consistir en utilitzar

aquest escàner làser, muntat a un AUV per detectar, reconèixer i localitzar objectes a

l’entorn del robot, per tal de permetre, a un Vehicle Submarí Autònoms d’Intervenció (IAUV),

saber quines accions de manipulació podria fer amb cada objecte. Aquest objectiu es

va abordar amb el disseny i el desenvolupament d’un mètode de reconeixement d’objectes

3D en núvols de punts incolors (escanejos làser) utilitzant descriptors dels punts 3D.

L’algorisme utilitza una base de dades de vistes parcials dels objectes emmagatzemats en

forma de núvols de punts. El procés de reconeixement consta de 5 passos: 1) Segmentació

de plànols, 2) Detecció de canonades, 3) Segmentació semàntica d’objectes, 4) Reconeixement d’objectes a partir dels descriptors de punts 3D i 5) Estimació bayesiana. Per aplicar l’estimació bayesiana, cal ser capaços de fer un seguiment dels objectes en escanejos successius. Per fer-ho, s’ha proposat l’algorisme Inter-distance Joint-Compatibility Branch and Bound (IJCBB) d’associació de dades basada en les distancies entre objectes dins del núvol de punts. El rendiment del mètode es va avaluar fent servir dades experimentals relatives a la inspecció d’una infraestructura composta de canonades interconnectades per objectes de PVC. L’estructura ´es representativa de les comunament utilitzades per la indústria offshore. Els resultats experimentals mostren que l’estimació bayesiana millora el rendiment del reconeixement en comparació de l’ús ´únic del descriptor. La inclusió d’informació semàntica sobre la connectivitat d’objectes a canonades millora encara més el rendiment del reconeixement. L’objectiu final de la tesi va abordar la integració del sistema de reconeixement d’objectes 3D basat en descriptors amb un sistema de SLAM basat en característiques, per implementar un mapa semàntic que proporciona al robot informació sobre la ubicació i el tipus d’objectes a l’entorn. La utilització de tècniques

de SLAM ha millorat la precisió i la fiabilitat de les estimacions de la postura del robot i

els objectes. Això és especialment important en escenaris difícils on es produeixen canvis

significatius de perspectiva i aparença