Real-time Weakly Supervised Semantic Segmentation of Seabed Sediments in Side-scan Sonar Images

Abstract

Real-time Weakly Supervised Semantic Segmentation of Seabed Sediments in Side-scan Sonar Images Distinguishing between marine benthic habitat characteristics is of key importance in a wide array of applications from installations of oil rigs to laying networks of cables and monitoring the impact of humans on marine ecosystems. The Side Scan Sonar (SSS) is a widely used sensor in this regard. It works on the principle of acoustic propagation and reflection to produce high-resolution images by logging the intensities of sound waves reflected back from the seafloor. The goal of this work would be to leverage these acoustic intensity maps to produce pixel-wise categorization of different seafloor types. The annotations of the seafloor used to supervise model training were somewhat noisy. This results from the fact that the annotations were made on SSS mosaics while we are working with raw SSS waterfalls. Transferring these annotations to raw waterfalls is not a straightforward process, especially without having access to the internal parameters used for mosaicing and thus, leads to certain discrepancies. Therefore, the ground truth generated for the raw waterfalls is not pixel-wise accurate and the trained models suffer from weak supervision. Therefore, we plan to adopt a weakly supervised learning framework to achieve our goal of seabed segmentation. We further plan to supplement the framework by leveraging the noisy ground truth that we have available acting as pseudo masks to regularize training. Steps to be done: ● The structure of available data should be understood ● Selection of two best approach to implement ● Two best approach should be working, tuned and trained (loss converging) on remote server (Falcon) ● Comparison of performance of the two approach (speed, IoU) ● Comparison with fully supervised approach (chosen baseline) keywords: Seafloor Segmentation, side-scan sonar, Weakly supervised approach, real-time.

Distingir entre les característiques de l'hàbitat bentònic marí és de vital importància en una àmplia gama d'aplicacions, des de les instal•lacions de plataformes petrolieres fins a la instal•lació de xarxes de cables i el seguiment de l'impacte dels humans en els ecosistemes marins. El Side Scan Sonar (SSS) és un sensor àmpliament utilitzat en aquest sentit. Funciona segons el principi de propagació acústica i reflexió per produir imatges d'alta resolució registrant les intensitats de les ones sonores reflectides des del fons marí. L'objectiu d'aquest treball seria aprofitar aquests mapes d'intensitat acústica per produir categorització per píxels de diferents tipus de fons marí. Les anotacions del fons marí utilitzades per supervisar l'entrenament del model eren una mica sorolloses. Això es deu al fet que les anotacions es van fer en mosaics SSS mentre treballàvem amb cascades SSS en brut. Transferir aquestes anotacions a cascades en brut no és un procés senzill, sobretot sense tenir accés als paràmetres interns utilitzats per al mosaic i, per tant, condueix a certes discrepàncies. Per tant, la veritat de terreny generada per a les cascades en brut no és precisa a nivell de píxel i els models entrenats pateixen una supervisió feble. Per tant, tenim previst adoptar un marc d'aprenentatge feblement supervisat per aconseguir el nostre objectiu de segmentació del fons marí. A més, tenim previst complementar el marc aprofitant la veritat de terreny sorollosa que tenim disponible actuant com a pseudo màscares per regularitzar l'entrenament. Passos a seguir: ● S'ha d'entendre l'estructura de les dades disponibles ● Selecció dels dos millors enfocaments per implementar ● Els dos millors enfocaments haurien de ser treballar, ajustar i entrenar (convergència de pèrdues) en un servidor remot (Falcon) ● Comparació del rendiment dels dos enfocaments (velocitat, IoU) ● Comparació amb un enfocament totalment supervisat (línia de base escollida).