Efficient topology estimation for large scale optical mapping

Abstract

Large scale image mosaicing methods are in great demand among scientists who study different aspects of the seabed, and have been fostered by impressive advances in the capabilities of underwater robots in gathering optical data from the seafloor. Cost and weight constraints mean that lowcost Remotely operated vehicles (ROVs) usually have a very limited number of sensors. When a low-cost robot carries out a seafloor survey using a down-looking camera, it usually follows a predetermined trajectory that provides several non time-consecutive overlapping image pairs. Finding these pairs (a process known as topology estimation) is indispensable to obtaining globally consistent mosaics and accurate trajectory estimates, which are necessary for a global view of the surveyed area, especially when optical sensors are the only data source. This thesis presents a set of consistent methods aimed at creating large area image mosaics from optical data obtained during surveys with low-cost underwater vehicles. First, a global alignment method developed within a Feature-based image mosaicing (FIM) framework, where nonlinear minimisation is substituted by two linear steps, is discussed. Then, a simple four-point mosaic rectifying method is proposed to reduce distortions that might occur due to lens distortions, error accumulation and the difficulties of optical imaging in an underwater medium. The topology estimation problem is addressed by means of an augmented state and extended Kalman filter combined framework, aimed at minimising the total number of matching attempts and simultaneously obtaining the best possible trajectory. Potential image pairs are predicted by taking into account the uncertainty in the trajectory. The contribution of matching an image pair is investigated using information theory principles. Lastly, a different solution to the topology estimation problem is proposed in a bundle adjustment framework. Innovative aspects include the use of fast image similarity criterion combined with a Minimum spanning tree (MST) solution, to obtain a tentative topology. This topology is improved by attempting image matching with the pairs for which there is the most overlap evidence. Unlike previous approaches for large-area mosaicing, our framework is able to deal naturally with cases where time-consecutive images cannot be matched successfully, such as completely unordered sets. Finally, the efficiency of the proposed methods is discussed and a comparison made with other state-of-the-art approaches, using a series of challenging datasets in underwater scenarios

Els mètodes de generació de mosaics de gran escala gaudeixen d’una gran demanda entre els científcs que estudien els diferents aspectes del fons submarí, afavorida pels impressionants avenços en les capacitats dels robots submarins per a l’obtenció de dades ptiques del fons. El cost i el pes constitueixen restriccions que impliquen que els vehicles operats remotament disposin habitualment d’un nombre limitat de sensors. Quan un robot de baix cost duu a terme una exploració del fons submarí utilitzant una càmera apuntant cap al terreny, aquest segueix habitualment una trajectòria que dóna com a resultat diverses parelles d’imatges amb superposició de manera sequencial. Trobar aquestes parelles (estimació de la topologia) és una tasca indispensable per a l’obtenció de mosaics globalment consistents així com una estimació de trajectòria precisa, necessària per disposar d’una visió global de la regió explorada, especialment en el cas en què els sensors òptics constitueixen la única font de dades. Aquesta tesi presenta un conjunt de mètodes robustos destinats a la creació de mosaics d’àrees de grans dimensions a partir de dades òptiques (imatges) obtingudes durant exploracions realitzades amb vehicles submarins de baix cost. En primer lloc, es presenta un mètode d’alineament global desenvolupat en el context de la generació de mosaics basat en característiques 2D, substituint una minimització no lineal per dues etapes lineals. Així mateix, es proposa un mètode simple de rectificació de mosaics basat en quatre punts per tal de reduir les distorsions que poden aparèixer a causa de la distorsió de les lents, l’acumulació d’errors i les dificultats d’adquisició d’imatges en el medi submarí. El problema de l’estimació de la topologia s’aborda mitjanant la combinació d’un estat augmentat amb un altre de Kalman estès, amb l’objectiu de minimitzar el nombre total d’intents de cerca de correspondències i obtenir simultàniament la millor trajectòria possible. La predicció de les parelles d’imatges potencials té en compte la incertesa de la trajectòria, i la contribució de l’obtenció de correspondències per a un parell d’imatges s’estudia d’acord amb principis de la teoria de la informació. Així mateix, el problema de l’estimació de la topologia és abordat en el context d’un alineament global. Les innovacions inclouen l’ús d’un criteri ràpid per a determinació de la similitud entre imatges combinat amb una solució basada en arbres d’expansió mínima, per tal d’obtenir una topologia provisional. Aquesta topologia és millorada mitjançant l’intent de cerca de correspondències entre parelles d’imatges amb major probabilitat de superposició. Contràriament al que succeïa en solucions prèvies per a la construcció de mosaics de grans àrees, el nostre entorn de treball és capaç de tractar amb casos en què imatges consecutives en el temps no han pogut ser relacionades satisfactòriament, com és el cas de conjunts d’imatges totalment desordenats. Finalment, es discuteix l’eficiència del mètode proposat i es compara amb altres solucions de l’estat de l’art, utilitzant una sèrie de conjunts de dades complexos en escenaris subaquàtics.