Deep Learning on Meshes for Grasp Segmentation and Quality Assessment

Abstract

In recent years, the research community has paid a great deal of attention to deep learn-

ing, mostly in LLMs (Large Language Models) and the vision domain utilizing natural

and medical images. However, relatively little research has been conducted on deep

learning for polygonal meshes. Polygonal meshes are an effective way of representing 3D

shapes since they explicitly express both shape surface and topology but are not limited

to uniformity to portray both large flat expanses and sharp, complex details. Hence,

polygonal meshes serve crucial roles in robotic applications such as grasping. The field

of robotic grasping has been an active area of research for decades, with many successful

approaches relying on hand-designed heuristics and feature engineering. Unfortunately,

generating suitable grasps and measuring the quality of grasping on a broad scale with

existing methods is rather expensive.

Hence, this master’s thesis implements an end-to-end pipeline for producing optimal

grasps for robotic arms by segmenting edges with a deep learning network, MeshCNN.

Shapenet-Core, a well-known 3D dataset, has been utilized for this purpose. Although

there are fifty-five categories available in the Shapenet dataset, this thesis develops a

training algorithm for five categories that are considered graspable objects for a parallel

jaw gripper. Prior to the training phase, 3D models are converted into watertight mesh

models using a robust approach for generating watertight 2-manifold surfaces. For data

annotation, a grasp sampler algorithm is developed. Finally, the performances of the

implemented scheme are quantitatively and qualitatively evaluated.

En els darrers anys, la comunitat de recerca ha prestat molta atenció a l'aprenentatge profund, principalment en LLMs (Models de Llenguatge Gran) i en el domini de la visió utilitzant imatges naturals i mèdiques. Tanmateix, s'ha realitzat relativament poca recerca sobre l'aprenentatge profund per a malles poligonals. Les malles poligonals són una forma eficaç de representar formes en 3D, ja que expressen de manera explícita tant la superfície de la forma com la topologia, però no es limiten a la uniformitat per retratar tant àmplies extensions planes com detalls aguts i complexos. Per tant, les malles poligonals exerceixen rols crucials en aplicacions robòtiques com la captura. El camp de la captura robòtica ha estat una àrea activa de recerca durant dècades, amb molts enfocaments reeixits basats en heurístiques dissenyades a mà i en l'enginyeria de característiques.

Per tant, aquesta tesi de màster implementa un flux de treball de principi a fi per a la producció d'agafades òptimes per a braços robòtics mitjançant la segmentació de vores amb una xarxa d'aprenentatge profund, MeshCNN. S'ha utilitzat Shapenet-Core, un conjunt de dades 3D molt conegut, per a aquest propòsit. Encara que hi ha cinquanta-cinc categories disponibles en el conjunt de dades Shapenet, aquesta tesi desenvolupa un algorisme de formació per a cinc categories que es consideren objectes agafables per a un gripper de mandíbula paral·lela. Abans de la fase de formació, els models 3D es converteixen en models de malla estancs mitjançant un enfocament robust per a la generació de superfícies 2-manifold estancs. Per a l'annotació de dades, s'ha desenvolupat un algorisme de mostreig de grapat. Finalment, les actuacions del sistema implementat es valoren de manera quantitativa i qualitativa.