http://hdl.handle.net/10256/26745 2025-06-18T18:08:56Z 2025-06-18T18:08:56Z Muhammad, Umar http://hdl.handle.net/10256/26779 2025-05-16T12:31:54Z 2021-06-01T00:00:00Z

Vision Based Reactive Navigation for Agricultural Robotics Operations Muhammad, Umar Given the lack of labour and the increasing demand of agriculture requiring a lot of manpower, agriculture is a sector that would greatly benefit from automation and robotics solutions. The technologies and algorithms developed in the robotics sector for localization and autonomous navigation have been intensively addressed in the last two decades, mainly in indoor environments (for example, logistics warehouses). In these cases, the scenario is usually quite structured, controlled, predictable and limited in size, and the terrain is usually quite flat and regular. Lidar based SLAM, for instance, has been intensively implemented and deployed with great results. These solutions, however, do not perform well in agricultural scenarios. The objective of this Thesis is to develop: ● A reactive navigation solution, based on vision and lidar sensors, in order to obtain a robust navigation solution. ● Overcome the problems associated with navigation derived from an erratic localization system, given the difficulty of the scenario.; Donada la manca de mà d'obra i la creixent demanda d'agricultura que requereix molta mà d'obra, l'agricultura és un sector que es beneficiaria enormement de solucions d'automatització i robòtica. Les tecnologies i algoritmes desenvolupats en el sector de la robòtica per a la localització i navegació autònoma s'han abordat intensament en les darreres dues dècades, principalment en entorns interiors (per exemple, magatzems logístics). En aquests casos, l'escenari sol ser força estructurat, controlat, previsible i limitat en mida, i el terreny sol ser força pla i regular. El SLAM basat en Lidar, per exemple, s'ha implementat i desplegat intensament amb grans resultats. No obstant això, aquestes solucions no funcionen bé en escenaris agrícoles. L'objectiu d'aquesta Tesi és desenvolupar: ● Una solució de navegació reactiva, basada en sensors de visió i lidar, per obtenir una solució de navegació robusta. ● Superar els problemes associats amb la navegació derivats d'un sistema de localització erràtic, donada la dificultat de l'escenari.

2021-06-01T00:00:00Z Changoluisa Caiza, Iván David http://hdl.handle.net/10256/26777 2025-05-16T12:21:16Z 2021-06-01T00:00:00Z

Frontier-based Autonomous 3D : Exploration for UAVs Changoluisa Caiza, Iván David Autonomous exploration is a crucial task that enables a mobile robot to navigate through unfamiliar environments while simultaneously mapping the surroundings. By acquiring a comprehensive understanding of the environment, the vehicle can navigate safely and efficiently, determining the shortest obstacle-free paths to reach any location within the map. Exploration forms a fundamental component of various mobile robotic applications, including scene reconstruction, search and rescue operations, and continuous monitoring. Initially, autonomous exploration was primarily implemented using Unmanned Ground Vehicles (UGVs), which offered robustness and extended autonomy. However, UGVs were limited to op- erating in a 2D space, restricting coverage range and the amount of information gathered. With the advancements in Unmanned Aerial Vehicles (UAVs) and their increased autonomous capabilities, along with reduced manufacturing costs, UAVs have emerged as a promising solution to overcome these limitations and significantly expand the boundaries of robotic exploration due to their flexibility and expanded coverage range. Nevertheless, implementing autonomous exploration with UAVs introduces additional complexity due to the three-dimensional (3D) operating space. gathered. With the advancements in Unmanned Aerial Vehicles (UAVs) and their increased autonomous capabilities, along with reduced manufacturing costs, UAVs have emerged as a promising solution to overcome these In this context, this thesis project aims to design and implement an explo- ration algorithm that enables a UAV to autonomously navigate unexplored en- vironments. This is accomplished by establishing an exploration strategy that not only ensures a fast exploration but also provides a meticulous analysis of the environment, thereby reducing the risk of local minima. The proposed approach uses a LiDAR sensor as the primary source of information. This data informs a frontier-based exploration technique [16] integrated within the OctoMap Frame- work [9], facilitating efficient and rapid map analysis. The proposed approach strives to strike a balance between the exploration of the unknown and the exploitation of known map data. The exploitation compo- nent, driven by a greedy behavior, seeks to minimize travel distance by targeting the nearest exploration point. Conversely, exploration is facilitated by storing all detected exploration targets throughout the process.; L'exploració autònoma és una tasca crucial que permet a un robot mòbil navegar per entorns desconeguts mentre mapeja alhora els voltants. En adquirir una comprensió completa de l'entorn, el vehicle pot navegar de manera segura i eficient, determinant els camins més curts sense obstacles per arribar a qualsevol ubicació del mapa. L'exploració forma un component fonamental de diverses aplicacions robòtiques mòbils, incloent la reconstrucció d'escenes, operacions de cerca i rescat, i el monitoratge continu. Inicialment, l'exploració autònoma es va implementar principalment utilitzant vehicles terrestres no tripulats (UGVs), que oferien robustesa i autonomia estesa. No obstant això, els UGVs estaven limitats a operar en un espai 2D, restringint l'abast de cobertura i la quantitat d'informació recollida. Amb els avenços en vehicles aèris no tripulats (UAVs) i les seves millores en les capacitats autònomes, juntament amb la reducció dels costos de fabricació, els UAVs han emergit com una solució prometedora per superar aquestes reunits. Amb els avenços en Vehicles Aèris Sense Pilot (UAVs) i les seves capacitats autònomes millorades, juntament amb la reducció dels costos de fabricació, els UAVs han emergit com una solució prometedora per superar aquestes limitacions i expandir significativament les fronteres de l'exploració robòtica gràcies a la seva flexibilitat i àrea de cobertura ampliada. No obstant això, implementar l'exploració autònoma amb UAVs introdueix una complexitat addicional a causa de l'espai operatiu tridimensional (3D). En aquest context, aquest projecte de tesi té com a objectiu dissenyar i implementar un algorisme d'exploració que permeti a un UAV navegar de manera autònoma per entorns no explorats. Això s'aconsegueix establint una estratègia d'exploració que no només assegura una exploració ràpida, sinó que també proporciona una anàlisi meticulosa de l'entorn, reduint així el risc de mínimes locals. L'enfocament proposat utilitza un sensor LiDAR com a font principal d'informació. Dades informen una tècnica d'exploració basada en fronteres [16] integrada dins del marc d'OctoMap [9], facilitant una anàlisi de mapa eficient i ràpida. L'enfocament proposat busca equilibrar l'exploració del desconegut i l'explotació de dades de mapa conegudes. El component d'explotació, impulsat per un comportament groller, busca minimitzar la distància de viatge apuntant al punt d'exploració més proper. A l'inrevés, l'exploració es facilita emmagatzemant tots els objectius d'exploració detectats durant el procés.

2021-06-01T00:00:00Z Bin Zaman, Nafees http://hdl.handle.net/10256/26774 2025-05-16T12:12:19Z 2021-06-01T00:00:00Z

Deep Learning on Meshes for Grasp Segmentation and Quality Assessment Bin Zaman, Nafees In recent years, the research community has paid a great deal of attention to deep learn- ing, mostly in LLMs (Large Language Models) and the vision domain utilizing natural and medical images. However, relatively little research has been conducted on deep learning for polygonal meshes. Polygonal meshes are an effective way of representing 3D shapes since they explicitly express both shape surface and topology but are not limited to uniformity to portray both large flat expanses and sharp, complex details. Hence, polygonal meshes serve crucial roles in robotic applications such as grasping. The field of robotic grasping has been an active area of research for decades, with many successful approaches relying on hand-designed heuristics and feature engineering. Unfortunately, generating suitable grasps and measuring the quality of grasping on a broad scale with existing methods is rather expensive. Hence, this master’s thesis implements an end-to-end pipeline for producing optimal grasps for robotic arms by segmenting edges with a deep learning network, MeshCNN. Shapenet-Core, a well-known 3D dataset, has been utilized for this purpose. Although there are fifty-five categories available in the Shapenet dataset, this thesis develops a training algorithm for five categories that are considered graspable objects for a parallel jaw gripper. Prior to the training phase, 3D models are converted into watertight mesh models using a robust approach for generating watertight 2-manifold surfaces. For data annotation, a grasp sampler algorithm is developed. Finally, the performances of the implemented scheme are quantitatively and qualitatively evaluated.; En els darrers anys, la comunitat de recerca ha prestat molta atenció a l'aprenentatge profund, principalment en LLMs (Models de Llenguatge Gran) i en el domini de la visió utilitzant imatges naturals i mèdiques. Tanmateix, s'ha realitzat relativament poca recerca sobre l'aprenentatge profund per a malles poligonals. Les malles poligonals són una forma eficaç de representar formes en 3D, ja que expressen de manera explícita tant la superfície de la forma com la topologia, però no es limiten a la uniformitat per retratar tant àmplies extensions planes com detalls aguts i complexos. Per tant, les malles poligonals exerceixen rols crucials en aplicacions robòtiques com la captura. El camp de la captura robòtica ha estat una àrea activa de recerca durant dècades, amb molts enfocaments reeixits basats en heurístiques dissenyades a mà i en l'enginyeria de característiques. Per tant, aquesta tesi de màster implementa un flux de treball de principi a fi per a la producció d'agafades òptimes per a braços robòtics mitjançant la segmentació de vores amb una xarxa d'aprenentatge profund, MeshCNN. S'ha utilitzat Shapenet-Core, un conjunt de dades 3D molt conegut, per a aquest propòsit. Encara que hi ha cinquanta-cinc categories disponibles en el conjunt de dades Shapenet, aquesta tesi desenvolupa un algorisme de formació per a cinc categories que es consideren objectes agafables per a un gripper de mandíbula paral·lela. Abans de la fase de formació, els models 3D es converteixen en models de malla estancs mitjançant un enfocament robust per a la generació de superfícies 2-manifold estancs. Per a l'annotació de dades, s'ha desenvolupat un algorisme de mostreig de grapat. Finalment, les actuacions del sistema implementat es valoren de manera quantitativa i qualitativa.

2021-06-01T00:00:00Z Jahan, Mahmuda Rawnak http://hdl.handle.net/10256/26773 2025-05-16T11:08:53Z 2021-06-01T00:00:00Z

Real-time Weakly Supervised Semantic Segmentation of Seabed Sediments in Side-scan Sonar Images Jahan, Mahmuda Rawnak Real-time Weakly Supervised Semantic Segmentation of Seabed Sediments in Side-scan Sonar Images Distinguishing between marine benthic habitat characteristics is of key importance in a wide array of applications from installations of oil rigs to laying networks of cables and monitoring the impact of humans on marine ecosystems. The Side Scan Sonar (SSS) is a widely used sensor in this regard. It works on the principle of acoustic propagation and reflection to produce high-resolution images by logging the intensities of sound waves reflected back from the seafloor. The goal of this work would be to leverage these acoustic intensity maps to produce pixel-wise categorization of different seafloor types. The annotations of the seafloor used to supervise model training were somewhat noisy. This results from the fact that the annotations were made on SSS mosaics while we are working with raw SSS waterfalls. Transferring these annotations to raw waterfalls is not a straightforward process, especially without having access to the internal parameters used for mosaicing and thus, leads to certain discrepancies. Therefore, the ground truth generated for the raw waterfalls is not pixel-wise accurate and the trained models suffer from weak supervision. Therefore, we plan to adopt a weakly supervised learning framework to achieve our goal of seabed segmentation. We further plan to supplement the framework by leveraging the noisy ground truth that we have available acting as pseudo masks to regularize training. Steps to be done: ● The structure of available data should be understood ● Selection of two best approach to implement ● Two best approach should be working, tuned and trained (loss converging) on remote server (Falcon) ● Comparison of performance of the two approach (speed, IoU) ● Comparison with fully supervised approach (chosen baseline) keywords: Seafloor Segmentation, side-scan sonar, Weakly supervised approach, real-time.; Distingir entre les característiques de l'hàbitat bentònic marí és de vital importància en una àmplia gama d'aplicacions, des de les instal•lacions de plataformes petrolieres fins a la instal•lació de xarxes de cables i el seguiment de l'impacte dels humans en els ecosistemes marins. El Side Scan Sonar (SSS) és un sensor àmpliament utilitzat en aquest sentit. Funciona segons el principi de propagació acústica i reflexió per produir imatges d'alta resolució registrant les intensitats de les ones sonores reflectides des del fons marí. L'objectiu d'aquest treball seria aprofitar aquests mapes d'intensitat acústica per produir categorització per píxels de diferents tipus de fons marí. Les anotacions del fons marí utilitzades per supervisar l'entrenament del model eren una mica sorolloses. Això es deu al fet que les anotacions es van fer en mosaics SSS mentre treballàvem amb cascades SSS en brut. Transferir aquestes anotacions a cascades en brut no és un procés senzill, sobretot sense tenir accés als paràmetres interns utilitzats per al mosaic i, per tant, condueix a certes discrepàncies. Per tant, la veritat de terreny generada per a les cascades en brut no és precisa a nivell de píxel i els models entrenats pateixen una supervisió feble. Per tant, tenim previst adoptar un marc d'aprenentatge feblement supervisat per aconseguir el nostre objectiu de segmentació del fons marí. A més, tenim previst complementar el marc aprofitant la veritat de terreny sorollosa que tenim disponible actuant com a pseudo màscares per regularitzar l'entrenament. Passos a seguir: ● S'ha d'entendre l'estructura de les dades disponibles ● Selecció dels dos millors enfocaments per implementar ● Els dos millors enfocaments haurien de ser treballar, ajustar i entrenar (convergència de pèrdues) en un servidor remot (Falcon) ● Comparació del rendiment dels dos enfocaments (velocitat, IoU) ● Comparació amb un enfocament totalment supervisat (línia de base escollida).

2021-06-01T00:00:00Z