Underwater 3d sensing using structured light: development of an underwater laser scanner and a non-rigid point cloud registration method

Abstract

Accurate underwater 3D perception is essential to advance towards the automation

of expensive, dangerous and/or time-consuming tasks, such as the inspection, maintenance

and repair of off-shore industrial sites. Accurate underwater 3D sensors can potentially

have a large positive impact on the progress of tasks like object detection and

semantic mapping, which are key to the development of robotic platforms capable of a

higher level of abstraction. Moreover, these advances would decidedly contribute to the

transition from remotely operated vehicles (ROVs) towards autonomous underwater vehicles

(AUVs) in industrial operations. However, accurate underwater 3D perception is very

hard to achieve because of the many physical particularities of light propagation in water,

including refraction: the direction of light rays changes due to the different refraction

indices of the media it travels through.

This thesis focuses on the development of a novel underwater 3D scanner and a nonrigid

point cloud registration method aimed at enabling underwater 3D reconstructions

with accuracies in the order of millimeters both in static and dynamic missions.

The thesis is structured according to these two main contributions, which resulted in

five journal articles. The first main contribution of this thesis is designing and building an

underwater 3D scanner using a 2-axis mirror. The second axis of the rotating mirror allows

us to project optimally-curved scanning patterns designed to counteract refraction, so that

they transform into straight lines when entering the water. This results in a decrease in

computational complexity of the 3D reconstruction while maintaining millimeter accuracy.

Minor contributions of this part of the thesis are the design of a ray-tracing model to

study the effect of each optical component on the quality of the 3D reconstruction and the

development of a simplified calibration algorithm based on numeric projection functions.

The second main contribution of this thesis is the development of a non-rigid point cloud

registration method that can successfully minimize the motion distortion that appears

when the scanner is mounted on a moving robot.

Finally, this thesis also includes unpublished 3D reconstructions performed during

missions both in the water tank at the Centre d’Investigació en Robòtica Submarina

(CIRS) and at sea

Una percepció submarina 3D d’alta precisió és essencial per avançar cap a l’automatització

de tasques com la inspecció, el manteniment i la reparació d’estructures industrials

submarines, las quals actualment comporten un elevat preu, risc i/o durada. Disposar

de sensors 3D subaquàtics d’alta precisió podria accelerar el progrés de tasques com

la detecció d’objectes i el mapejat semàntic, claus per al desenvolupament de plataformes

robòtiques capaces d’un nivell d’abstracció més alt. A més, aquest avenç contribuiria de

forma decisiva a la transició a nivell industrial des de vehicles submarins operats remotament

(ROVs) cap a vehicles submarins autònoms (AUVs). No obstant això, aconseguir

percepció 3D d’alta precisió sota l’aigua és difícil per les moltes particularitats físiques de

la propagació de la llum a l’aigua, incloent-hi la refracció: la llum canvia de direcció a

causa dels diferents índexs de refracció dels mitjans pels quals viatja.

Aquesta tesi se centra en el desenvolupament d’un nou escàner 3D submarí i un mètode

de registre no-rígid de núvols de punts amb l’objectiu de crear reconstruccions submarines

en 3D amb precisions a l’ordre de mil·límetres tant en missions estàtiques com dinàmiques.

La tesi s’estructura segons aquestes dues contribucions principals, las quals ens han

permès publicar cinc articles en revistes científiques. La primera contribució principal és

el disseny i la construcció d’un escàner 3D submarí usant un mirall de dos eixos de rotació.

El segon eix del mirall ens permet projectar patrons d’escaneig corbats de manera òptima

per contrarestar la refracció, de manera que es transformin en línies rectes en entrar

a l’aigua. Així, podem disminuir la complexitat computacional de la reconstrucció 3D

mentre mantenim una precisió mil·limètrica. Altres contribucions de menor rang d’aquesta

part de la tesi són el disseny d’un model de la direcció del feix làser per estudiar l’efecte

de cada component òptic en la qualitat de la reconstrucció 3D, i el desenvolupament d’un

algoritme de calibració simplificat basat en funcions numèriques de projecció. La segona

contribució principal és un mètode de registre no-rígid de núvols de punts que minimitza

la distorsió present als escanejats quan el sensor està muntat en un robot en moviment.

Finalment, aquesta tesi també inclou reconstruccions 3D no publicades fins ara i que

van ser realitzades en missions tant a la piscina del Centre d’Investigació en Robòtica

Submarina (CIRS) com al mar